工业分布式技术变革乘风破浪 数据库本地化浪潮加速
近日，在2020中国系统架构师大会上，腾讯云数据库技术负责人雷海林分享了腾讯云数据库异构多源同步迁移技术方案。“未来数据库必须向分布式方向发展，数据库核电升级时代即将到来。”雷海林说。
局部巨浪加速
自计算机出现以来，在各行各业的电子发展过程中，传统的关系数据库发挥了至关重要的作用，成为银行、保险、证券、政务、医疗等行业电子系统的核心基础软件系统。
随着云计算、数字互联网等新一代技术的变化，关系数据库近年来也发生了变化，形成了从以国外商业数据库为代表的传统集中式数据库向国内技术巨头开发的分布式数据库转变的趋势，从而实现整个行业技术的分布式转型升级。国外传统集中式数据库存在明显的性能瓶颈和巨大的成本消耗，而基于云计算时代的灵活可扩展分布式数据库具有高性能、低成本、灵活性和可扩展性等优势。从集中走向分散，就像柴油发电终将被核电取代。
对于国内产业机构来说，实现核心技术的安全可控性、降低成本、提高效率已经成为产业升级下实施变革的迫切需要。随着政府相关监管部门近年来重要指导政策的不断出台，企业数据库摆脱对国外数据库的依赖，从国外传统的集中式数据库向国内分布式数据库迁移已成为大势所趋。国际权威咨询机构Gartner在最新的数据库行业研究报告中指出，预计到2021年，云数据库在整个数据库市场的比重将首次达到50%；到2023年，75%的数据库将在云平台上运行。
然而，由于数据库关系数据的安全生命线、迁移成本、技术复杂性高以及选择新目标数据库的困难，过去企业数据库的本地化过程仍处于逐步探索和推广的过程中。腾讯云数据库是基于近年来大量丰富的数据库迁移实践。一方面，它沉淀了一整套面向云计算的分布式数据库产品系列，能够满足大规模企业数据库迁移和转换的需求。同时沉淀和构建了标准成熟、可验证、可复用的数据库迁移解决方案，——多源异构迁移同步解决方案，DBbridge，使其成为基于平台的能力，帮助客户实现平稳快速的数据库迁移，大大降低了数据库迁移和转换的成本。
在此基础上，行业内分布式技术的转型也冒着风浪，数据库本地化的浪潮正在加速，成为时代技术变革的重要推动力。据统计，经过几年的发展，随着底层数据库能力的升级和智能调度、智能诊断、异构迁移同步等外围能力的提高，截至2020年9月，腾讯云数据库服务客户数量已超过50万，其中拥有1万多个数据库实例的客户众多，充分证明腾讯云数据库系列产品能力和数据库迁移同步服务能力具有领先优势。
数据库迁移的难点
数据库负责所有业务系统的数据存储、计算和交易。同时，由于多年来传统的基于生态封闭的国外数据库产品，系统兼容性复杂。更重要的是，作为系统架构转型的关键支点，数据库迁移一方面可以是安全可控的，需要帮助企业考虑如何应对云计算时代未来业务和系统的数字化和多元化发展需求，因此数据库选择也非常重要。
因此，在第
l数据库迁移技术比较复杂。数据库迁移对操作人员的技术水平要求很高，不仅要掌握源数据库的技术，还要了解目的数据库的技术，了解数据库之间的迁移技术。
l异构数据库的兼容性很难评估。从源数据库迁移到目标数据库的对象的兼容性如何，SQL应用程序的兼容性如何，如何定量评估迁移和转换的风险和困难。
l迁移过程中没有标准化的流程。整个迁移过程复用程度低，没有标准化的最佳实践方案。
l目标数据库选择困难。国内的数据库类型很多，无法快速选择适合业务场景的数据库类型。
数据库更新迭代也很容易
在对外开放核心技术产品、推动行业数据库和系统技术架构转型升级的产业化实践中，腾讯云数据库基于数据库运维工程师R&D多年在腾讯联合生态的技术积累，将海量数据迁移同步经验和技术实践沉淀到DTS-DBbridge数据库迁移平台中，为行业提供了一个易用的数据库迁移平台。
具体来说，DTS-DBbridge数据库迁移平台以腾讯云数据库多源异构数据迁移同步(MULTISRCSYNC)为技术核心，包括功能强大的自动评测和转换工具、标准化异构数据库迁移流程方案等。从评估、选择、转换、迁移、验证等各个环节。用户只需要用鼠标完成可视化操作，即可以实现高性能、高可用性、高可靠性的数据库迁移，确实方便安全。
同时，腾讯云提供自主开发的多引擎云原生数据库cyonsdb、金融级分布式数据库cyonsdb(TDSQL)和分析型数据库cyonsdb(Tbase)等完善的数据库产品系统，能够满足云计算时代数据库的各种业务场景，为企业客户提供完整的数据库迁移和转换解决方案。
数字地面系统-数据库桥解决方案架构
数据库迁移的评估和决策
在数据库迁移之前，DTS-DBbridge平台首先会在对原始数据库的数据分析和企业实际业务规划的基础上，综合评估包括兼容性、复杂性、工作量、迁移时间等数百个指标的可行性和最佳方案，最后生成详细的迁移报告，并根据各个企业的技术和业务规划特点，输出个性化的数据库整体解决方案。
在评估过程中，例如兼容性评估，可以精细扫描和识别哪些是兼容的，哪些是不兼容的，并将根据客户的要求评估不兼容之处，并形成转换计划。
数据迁移的准备和实施
经过评估和决策后，应用系统和源数据库可以基于DBbridge实现，目标系统和数据库可以迁移和转换。
除了数据库转型升级的场景需求外，实际上，为了实现数据解耦和聚合的需求，企业基于数据迁移、分发和容灾备份的需求进行多源异构迁移。针对以上场景，腾讯云数据库DBbridge具有高性能、高一致性的特点，支持各种异构数据平台的数据分发。它支持从腾讯云数据库到MySQL、Oracle、PostgreSQL、消息队列等平台的数据实时同步分发，也支持以腾讯云数据库为目标的MySQL或Oracle数据到腾讯云数据库的实时同步。它部署灵活，支持多种复制拓扑，如一对多和多对一。
典型的多源同步模块基于日志的CDC复制技术具有以下系统架构：
同时，基于高度标准化和基于平台的产品和服务，DBbridge支持用户可视化、便捷的操作，完成多源异构间的结构迁移和增量同步
最后，在这一套同步数据链接的过程中，腾讯云DTS-DBbridge还提供了数据验证服务，保证了基于多活动的数据迁移同步的一致性和可靠性。主要包括两个方面：一是增量验证，即会实时验证该数据是从源端提取的，到其增量变化，然后写入目标端后，该数据会落入数据库而不准确，是否写在正确的目标上；第二，库存检查，可能是定期批量运行，例如定期检查源和目标的整个数据，以便主动、及时地发现整个数据路径中的问题和错误。
基于数据同步的跨城市主动-主动架构；
首先，左右代表不同的城市。比如深圳在左边，上海在右边。从图中可以看出，SZ的腾讯云锁阳DB(TDSQL)会不断将业务写入的增量数据写入城市的消息队列中。城市的SH也会不断将自己业务访问的增量数据写入消息队列。同时，每个城市都有自己的一套消费服务，会拉动对端的增量数据，也就是重放城市消息队列中的增量数据，从而实现两套基于数据同步的跨城市双重活动。这种双重活动有一个前提条件：——，即同时写SZ和SH时，它们的访问主键必须是分开的，在这套逻辑下无法同时修改同一个主键。
数据库迁移高可用性多源同步
安全性是数据库迁移中最重要的考虑因素。值得一提的是，基于多源同步的方案实践也可以实现数据库迁移中的安全风险控制。由于准实时数据同步分发和双向数据迁移的性能特点，易于实现多源同步服务的解耦和风险控制，系统可持续可用。
数据库迁移涉及大量核心数据信息，“快”和“稳”缺一不可。多源同步服务，作为腾讯云数据库的内置功能，在数据库本地化改造的实践中久经考验，已帮助600多家金融政企机构迁移投产。
以某省广电局迁移案例为例，腾讯云多源同步迁移服务通过业务系统的重新部署，从迁移准备、迁移评估、方案设计、资源准备和数据库转换、迁移实施、结果验证，仅需30天。资源准备和数据库转换最关键的环节需要7天！客户的业务系统数据库从Oracle迁移到了cyonsdb(TDSQL)，cyonsdb(TDSQL)的性能满足了客户现有的业务压力。业务系统迁移过程中数据完整性保证为新业务系统的后续运行和维护提供了良好的数据基础。
在一些金融级高敏感业务系统的迁移实践中，CanosDB(TDSQL)很好地实现了兼顾性能和安全性的迁移服务策略。以张家港银行核心系统数据库迁移为例，张家港银行结合腾讯云和系统构建商常亮科技，充分结合传统银行业务和互联网业务场景的差异，重新设计业务逻辑，完成新一代核心系统应用兼容性改造和数据库升级优化。同时，依托腾讯云提供的异构数据库同步方案，三方还实施了锁阳数据库(TDSQL)与集中式数据库数据的准实时同步策略作为底层方案。值得一提的是，这种双版本同步方案最终将无需使用，新的核心系统将顺利投入运行。