CloudCanal 是一款可視化的數(shù)據(jù)同步、遷移工具，可以幫助企業(yè)構(gòu)建高質(zhì)量數(shù)據(jù)管道，具備實(shí)時(shí)高效、精確互聯(lián)、穩(wěn)定可拓展、一站式、混合部署、復(fù)雜數(shù)據(jù)轉(zhuǎn)換等優(yōu)點(diǎn)。
應(yīng)用場(chǎng)景 CloudCanal 可以幫助企業(yè)實(shí)現(xiàn)以下數(shù)據(jù)應(yīng)用場(chǎng)景：
? 數(shù)據(jù)同步 ：通過(guò)消費(fèi)源端數(shù)據(jù)源增量操作日志，準(zhǔn)實(shí)時(shí)在對(duì)端數(shù)據(jù)源重放，以達(dá)到數(shù)據(jù)同步目的，具備斷點(diǎn)續(xù)傳、DDL 同步、元數(shù)據(jù)映射裁剪、自定義代碼數(shù)據(jù)處理、操作過(guò)濾、數(shù)據(jù)條件過(guò)濾、高性能對(duì)端寫(xiě)入等特點(diǎn)。 ? 數(shù)據(jù)遷移 ：將指定數(shù)據(jù)源數(shù)據(jù)全量搬遷到目標(biāo)數(shù)據(jù)源，支持多種數(shù)據(jù)源，具備斷點(diǎn)續(xù)傳、順序分頁(yè)掃描、并行掃描、元數(shù)據(jù)映射裁剪、自定義代碼數(shù)據(jù)處理、批量寫(xiě)入、并行寫(xiě)入、數(shù)據(jù)條件過(guò)濾等特點(diǎn)，對(duì)源端數(shù)據(jù)源影響小且性能好，同時(shí)滿(mǎn)足數(shù)據(jù)輕度處理需求。 ? 數(shù)據(jù)校驗(yàn)和訂正 ：將源端和對(duì)端數(shù)據(jù)分別取出，逐字段對(duì)比，可選擇差異數(shù)據(jù)訂正，功能可單獨(dú)使用，也可配合數(shù)據(jù)遷移或數(shù)據(jù)同步使用，滿(mǎn)足用戶(hù)數(shù)據(jù)質(zhì)量驗(yàn)證與修復(fù)的需求。 ? 結(jié)構(gòu)遷移和同步 ：幫助用戶(hù)快速將源端結(jié)構(gòu)執(zhí)行到對(duì)端的功能，具備類(lèi)型轉(zhuǎn)換、數(shù)據(jù)庫(kù)方言轉(zhuǎn)換、命名映射等特點(diǎn)，可獨(dú)立使用，也可作為數(shù)據(jù)遷移或數(shù)據(jù)同步準(zhǔn)備步驟。
CloudCanal 目前已經(jīng)支持的數(shù)據(jù)源包括：MySQL、Oracle、PostgreSQL、SQL Server、RDS for MySQL、ElasticSearch、Hive、Kafka、RocketMQ、RDS for PG、ADB for PG、Greenplum、RabbitMQ、TiDB、PolarDB、ClickHouse、PolarDB-X、Redis、Kudu、MongoDB、StarRocks、OceanBase、Doris、SelectDB、SAP Hana、MariaDB、Hudi、Aurora、RedShift、IBM Db2、達(dá)夢(mèng)數(shù)據(jù)庫(kù)、高斯數(shù)據(jù)庫(kù)、AutoMQ、DocumentDB 等。
系統(tǒng)架構(gòu)
CloudCanal 系統(tǒng)主要分為三個(gè)組件部分：
? Console ：集中化的管控服務(wù)，以 web 服務(wù)集群存在；承載產(chǎn)品化功能，包括數(shù)據(jù)源/機(jī)器/數(shù)據(jù)任務(wù)生命周期管理、容災(zāi)調(diào)度、監(jiān)控告警、元數(shù)據(jù)管理等。 ? Sidecar ：部署于具體數(shù)據(jù)遷移同步機(jī)器上，承擔(dān)包括獲取需要運(yùn)行的任務(wù)配置、啟停數(shù)據(jù)任務(wù)進(jìn)程、收集和上報(bào)任務(wù)狀態(tài)、執(zhí)行任務(wù)的健康檢查等工作。 ? CloudCanal Core ：部署于具體數(shù)據(jù)遷移同步機(jī)器上，執(zhí)行具體的數(shù)據(jù)遷移、同步、校驗(yàn)、訂正任務(wù)。 其中，CloudCanal Core 由以下功能模塊組成：
? 數(shù)據(jù)源插件 ：包含各個(gè)數(shù)據(jù)庫(kù)、消息、數(shù)據(jù)倉(cāng)庫(kù)等數(shù)據(jù)源數(shù)據(jù)讀寫(xiě)、元數(shù)據(jù)獲取邏輯和對(duì)應(yīng)驅(qū)動(dòng)。各個(gè)插件通過(guò) Java 類(lèi)加載機(jī)制隔離，任務(wù)運(yùn)行時(shí)只加載對(duì)應(yīng)數(shù)據(jù)源插件。 ? 核心 ：包含內(nèi)核代碼骨架、操作過(guò)濾、元數(shù)據(jù)映射、DDL 轉(zhuǎn)換、自定義數(shù)據(jù)處理等部分。 ? 支撐 ：包含元數(shù)據(jù)、任務(wù)配置、位點(diǎn)、監(jiān)控指標(biāo)，以及和管控交互的邏輯。 產(chǎn)品優(yōu)勢(shì) CloudCanal 相比同類(lèi)產(chǎn)品的優(yōu)勢(shì)如下：
? 實(shí)時(shí)高效 ：數(shù)據(jù)同步功能延遲普遍小于 5 秒 , 期間完成增量數(shù)據(jù)解析、攢批、操作過(guò)濾、數(shù)據(jù)轉(zhuǎn)換、元數(shù)據(jù)映射、數(shù)據(jù)寫(xiě)入等動(dòng)作。 ? 精確互聯(lián) ：對(duì)于數(shù)據(jù)鏈路兩端的數(shù)據(jù)類(lèi)型、結(jié)構(gòu)規(guī)范、讀寫(xiě)特點(diǎn)做了精確匹配與轉(zhuǎn)換，讓每一個(gè)數(shù)據(jù)源種類(lèi)、版本差異 得到妥善解決。 ? 穩(wěn)定可擴(kuò)展 ：產(chǎn)品內(nèi)核精簡(jiǎn)，單進(jìn)程架構(gòu)，系統(tǒng)分布式、高可用部署。產(chǎn)品通過(guò)組合各個(gè)職能的任務(wù)進(jìn)程，實(shí)現(xiàn)大規(guī)模、分布式、高質(zhì)量數(shù)據(jù)管道集群。 ? 一站式 ：匯集結(jié)構(gòu)遷移、數(shù)據(jù)遷移、數(shù)據(jù)同步、數(shù)據(jù)校驗(yàn)與訂正、修改訂閱等功能，通過(guò)有限狀態(tài)機(jī)讓功能自動(dòng)流轉(zhuǎn)和運(yùn)行。一站式支持用戶(hù)數(shù)據(jù)準(zhǔn)備與長(zhǎng)期同步過(guò)程的一系列工作。 ? 混合部署 ：支持各個(gè)公有云、本地機(jī)房私有部署，首要關(guān)注用戶(hù)數(shù)據(jù)安全，有效支持異地、云上云下、多云之間數(shù)據(jù)安全同步需求。 ? 復(fù)雜數(shù)據(jù)轉(zhuǎn)換 ：產(chǎn)品默認(rèn)包含元數(shù)據(jù)映射、裁剪、過(guò)濾等標(biāo)準(zhǔn)能力，同時(shí)支持 用戶(hù)上傳業(yè)務(wù)代碼 進(jìn)行數(shù)據(jù)復(fù)雜處理。 版本對(duì)比 CloudCanal 目前提供三種版本的產(chǎn)品，分別為社區(qū)版、商業(yè)試用版、商業(yè)版，三種版本的特點(diǎn)與功能對(duì)比如下：
閱讀原文：原文鏈接
400 186 1886
?
