Oracle GoldenGate 路线图和战略

GoldenGate 团队非常高兴地在 Oracle CloudWorld 上宣布今年对平台的重大更新。

结合实时，流式技术，Oracle GoldenGate 提供了一体化平台，集成了实时 Data Fabric 和 Data Mesh 功能。这一统一平台旨在支持各种工作流程模式、生成式人工智能、机器学习和数据语义，以实现极致自动化和简化。

GoldenGate 平台具备多云和分布式架构，优化了数据处理的各个环节，无论数据重心位于何处，平台都能提供无缝连接，确保数据得到优秀的管理和利用。

GoldenGate 平台以数据产品为核心，为流式数据的生产者和消费者提供先进的工具支持。无论是数据生成还是数据消费，Oracle GoldenGate都提供了先进的解决方案。

此外，GoldenGate平台还支持应用、运营和分析，为整个数据生态提供实时数据解决方案。客户可以通过我们的平台实时监控应用性能，进行运营决策，并进行深入的数据分析。

而且，GoldenGate平台可以与1000多种其他工具进行无缝集成，为客户提供更多选择和灵活性。

我们始终致力于保持平台的经济性、高效和开放性，为客户提供免费和低成本的产品选择。

GoldenGate 23c 免费版发布

Oracle的GoldenGate 23c 版本带来了一系列令人振奋的新特性，为数据同步和数据管理领域注入了新活力。关键特点如下：

1. 高可用性配置简化

GoldenGate 23c通过除去对DBFS和ACFS的依赖，大幅简化了99.999%高可用性配置。观察者/集群生命周期控制更加灵活，内置微服务代理，使系统更为稳定。

2. 强大的数据流处理

引入了Data Streams（AsyncAPI），支持创建和发布数据流通道，以及AsyncAPI REST APIs和JSON格式。同时，发布/订阅交互模型的采用，为数据生产者和消费者提供了更便捷的数据交互方式。

3. 可观测性和可诊断性提升

通过集成StatsD和Telegraf，GoldenGate 23c 实现了更高级的遥测数据处理。加强了AWR（自动工作负载存储库）功能，并引入OCI健康检查和告警功能，为应用/捕获功能的诊断和故障排除提供了更便捷的工具。

4. 强大的数据库支持

支持Database 23c 上多达100种新特性和功能，包括自动冲突检测增强、向量、区块链、无锁保留列等。新的Web Studio界面使用户体验更加友好，支持在线应用程序升级，满足了不同应用场景的需求。

5. 安全与治理升级

GoldenGate 23c集成了OCI身份域的单点登录功能，同时在安全性上进行了多项增强。Veridata微服务和Java Helidon等技术的引入，使得系统更具安全性和可控性。

6. 高性能和易用性

引入了更快的并行复制应用，实现了快速故障检测和自动重新连接。这些特性的加持，使GoldenGate 23c在性能和易用性方面达到了新的高度。

7. 多源/多目标支持

新增了对Azure、AWS、GCP数据存储的支持，以及对Lakehouse数据/交易处理的全新支持，扩大了GoldenGate 23c的应用场景。

Oracle GoldenGate 23c Free 与世界各地的企业所依赖的功能强大的 Oracle GoldenGate 相同。它提供了全功能的体验，并且易于使用且易于免费下载。无论您是开发人员、数据科学家、DBA、教育工作者，还是只是对实时数据感兴趣，Oracle GoldenGate 23c Free 都是理想的入门方式。它为低延迟复制、现代数据类型、微服务和所有top GoldenGate 功能提供本机支持 - 所有这些都内置在一个易于使用的免费软件包中。

新版本的 23c 包括对 Oracle Database 23c 的支持，并为通过自动冲突检测和解决 (ACDR) 设置多活动数据复制带来了全新的、大大简化的用户体验。

与往常一样，GoldenGate Free 永远完全免费，并且可以轻松地从 Oracle 容器注册表的预构建容器中下载。

GoldenGate 在人工智能、矢量嵌入和流式数据上的创新

作为 2023 年热门的科技领域之一，每个人都在谈论生成式人工智能 (GenAI) 及其已经对世界产生的影响。Oracle GoldenGate 不仅受到 GenAI 的影响，还帮助塑造 GenAI 如何更好地与企业数据结合使用。企业和组织正在迅速认识到一种称为检索增强生成 (RAG) 的技术的优势，该技术是将安全、较新的企业数据纳入 GenAI 答案的一种方法。如果没有 RAG，训练和微调 GenAI 模型可能成本高昂、不安全，并且通常只能提供过时的数据集。RAG 技术通过提供新数据作为可与 GenAI 引擎一起使用的向量数据类型嵌入来解决此问题。

Oracle GoldenGate 平台可用于将实时数据变化流式传输到 GenAI 引擎使用的 RAG 向量嵌入中，以回答企业数据的问题。GoldenGate 可用于实时准备和清理数据，然后将数据“矢量化”到嵌入存储中。GoldenGate 有多种方法可以解决这个问题。

上图简要描述了整个过程：

GoldenGate 可以实时捕获来自所有流行数据生产者的数据事件，然后将这些事务移至 Oracle Database 23.4，其中事件变更被转换为向量嵌入并与 GenAI 程序一起使用。
GoldenGate Stream Analytics可以直接与 Oracle Machine Learning 集成，以调用外部文本转换器（例如用户提供的），然后外部文本转换器将创建并存储向量嵌入，以便进一步与 Oracle 23.4 矢量存储一起使用。
GoldenGate Stream Analytics可以使用 ONNX（开放神经网络交换）集成直接与任何 ONNX 兼容的大型语言模型 (LLM) 连接。此过程可用于获取通过流数据流动的任何文本，对数据进行矢量化，然后将其存储到流管道中的所有支持的数据目标中。
GoldenGate Stream Analytics是在矢量嵌入过程之前实时准备、标准化和清理数据事件的理想平台。这有助于确保高质量数据进入现代 GenAI 应用程序使用的向量嵌入中。

用于分布式应用程序和分析的 GoldenGate

GoldenGate for Big Data是过去十年中成功的独立 GoldenGate 产品之一。当 Oracle 在 2014 年推出 GoldenGate for Big Data 时，占主导地位的大数据技术平台是 Apache Hadoop，而 Apache Kafka 才刚刚开始流行。当时常常谈论是所谓的用于批量和实时处理的 Lambda 架构。

如今，数据生态系统的技术范围更加多样化，数据的物理位置也更加分散。在 Hadoop 的早期，大数据是一种单一的集中式的概念。但当今的数据生产者和数据消费者很少在相同的基础设施上运行。记录系统（又名：事实来源）本身通常在分布式服务网格架构上运行。数据“中心”通常只是许多其他去中心化数据存储库中的单个节点。单一的数据湖很少能满足整个企业的需求，而是有许多数据湖，数据流将它们连接起来。

因此 Oracle 将“GoldenGate for Big Data”更名为新名称“GoldenGate for Distributed Applications and Analytics”，以此表明 GoldenGate 重新关注分布式应用程序和去中心化分析。这个新名称更适合现在以及至少未来十年的现代数据解决方案。该软件包中的两个新组件：

(1) GoldenGate Data Streams

(2) Transaction Manager for Microservices Enterprise Edition (MicroTx EE)。

结合现有的组件

(D) 从 NoSQL 和消息系统捕获/应用

(E) 应用到数十种大数据、Lakehouse 和 Warehouse 目标

的现有功能，该产品具有巨大的价值。

GoldenGate for Big Data 的现有客户无需执行任何操作即可获得此新产品包的新特性和功能，无需任何额外的许可或复杂的迁移。

GoldenGate 数据流和微服务事务管理

用于分布式应用程序和分析的 GoldenGate 的新产品包装推出了两项非常酷的新功能，支持应用程序开发和流处理。

GoldenGate Data Streams – 针对 JSON 格式数据事件的全新 “发布-订阅” 模式的 REST 接口。利用开放的 AsyncAPI 标准，软件客户端现在可以直接订阅来自 GoldenGate 的更改事件，而无需被迫使用 Apache Kafka 等复杂且昂贵的消息传递软件。客户可以直接从 GoldenGate 流数据通道使用“扇出”式数据分发。

微服务事务管理器企业版 (MicroTx EE) – MicroTx EE 旨在帮助应用程序开发人员确保微服务和云原生应用程序之间的一系列数据一致性，而无需编写任何复杂的代码。通过选择事务协议以及使用客户端库中包含的 API 和注释，MicroTx EE 可以轻松地在 Kubernetes 和 Docker Swarm 中部署的应用程序中使用分布式事务。开发人员可以在各种 Java、Javascript、C/C++、区块链和 Tuxedo 应用程序中轻松创建多阶段提交、尝试确认/取消或长时间运行的 Saga 事务模式。

这些令人兴奋的新功能明显扩展了 GoldenGate 在 IT 运营和应用程序方面可以解决的用例，同时通过专注于帮助确保分布式数据架构中的高一致性数据事务来保持 GoldenGate 的传统。

OCI GoldenGate 数据转换（Data Transforms）

Oracle OCI GoldenGate (OCI-GG) 是一个用于数据复制的完全托管的云服务，在过去 12 个月里，创新步伐持续快速。去年，我们发布了完全托管的流式处理服务 OCI GoldenGate Stream Analytics，现已推出。今年，我们宣布数据转换即将登陆 OCI GoldenGate。如果您使用了Oracle 自治数据库，可能已经对数据转换功能有所了解，数据转换已成为 Autonomous 数据工具的一部分。现在我们正在通过 OCI GoldenGate 使其更广泛地用于更多场景和用例！

Data Transforms 是一种丰富的数据管道功能，用于数据转换、机器学习和批量/微批量 ETL/ELT 处理。内置超过100个连接器，支持所有流行的应用程序，支持加载到任何常用的数据仓库和种类繁多的OLTP数据库。并且提供了更大的灵活性，客户可以自定义计算配置并按需自动扩展3备的计算能力。提供全生命周期的自动化服务，包括完全托管的元数据存储库，自动升级/补丁修复，自动备份/恢复等操作。

使用 OCI GoldenGate 的开发人员现在可以将数据转换作为一种新型的 OCI-GG 部署 - 添加处理复杂批量数据处理的功能，无论是否使用自治数据库。

Oracle 继续向 OCI GoldenGate 新添加了 40 多个新的数据平台支持，用于实时连接以及新的数据转换部署类型。

OCI GoldenGate 进一步扩大了其在云数据集成领域的引领地位。

Oracle GoldenGate Veridata 23c 测试计划启动

Oracle GoldenGate Veridata 是实时、高可用性数据比较和同步的终极解决方案。在当今快节奏的业务环境中，保持数据的准确性和一致性至关重要。GoldenGate Veridata 支持跨多种数据库的数据比较和数据修复的能力，并提供完整的报告。使企业能够以闪电般的速度识别并解决源数据库和目标数据库之间的数据差异。

Oracle GoldenGate Veridata 的新版本（称为 23c）经过精心重新设计，转变为基于云的服务。

Veridata 专注于“数据验证”，并为各种不同的数据存储提供比较和修复功能。Veridata 并不特别依赖于其他 GoldenGate 组件，可以独立使用。Veridata 为数据提供了可信且可验证的 SLA，以确保数据存储之间的数据记录相同。