一、產(chǎn)品簡介
1.1什么是Datacanal
Datacanal是一個(gè)分布式、易擴(kuò)展、可視化任務(wù)調(diào)度平臺(tái)，提供圖形任務(wù)編排、定時(shí)調(diào)度和分布式批量處理等功能?？梢栽赪eb系統(tǒng)中編排流程，用流程方式進(jìn)行任務(wù)調(diào)度和數(shù)據(jù)傳遞。通過定時(shí)調(diào)度或API調(diào)用任務(wù)的方式進(jìn)行任務(wù)處理和數(shù)據(jù)傳遞。分布式編程模型可以將大量數(shù)據(jù)分發(fā)到多臺(tái)機(jī)器上并行執(zhí)行。其致力于解決數(shù)據(jù)處理流程中錯(cuò)綜復(fù)雜的邏輯關(guān)系和處理技術(shù)，使調(diào)度系統(tǒng)在數(shù)據(jù)處理流程中開箱即用。同時(shí)Datacanal也是數(shù)據(jù)遷移同步工具，幫助企業(yè)快速構(gòu)建高質(zhì)量、高可用、高靈動(dòng)的數(shù)據(jù)流通通道。
1.2適用場景
數(shù)據(jù)遷移：將指定數(shù)據(jù)源的數(shù)據(jù)完整無損的或按條件傳輸?shù)侥繕?biāo)數(shù)據(jù)源中，支持多種數(shù)據(jù)源，具備數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)校驗(yàn)、速度控制、合理切分、并行寫入、數(shù)據(jù)條件過濾等特點(diǎn)，滿足業(yè)務(wù)數(shù)據(jù)平滑切換需求。
集群運(yùn)維：集群內(nèi)節(jié)點(diǎn)同時(shí)執(zhí)行運(yùn)維命令，如清理集群日志、上報(bào)機(jī)器狀態(tài)等，滿足運(yùn)維需要。
分布計(jì)算：分布式處理，如計(jì)算大量數(shù)據(jù)，單機(jī)執(zhí)行耗時(shí)非常長，可以使用MapReduce處理器完成任務(wù)的分發(fā)處理，調(diào)動(dòng)整個(gè)集群加速計(jì)算。
業(yè)務(wù)異構(gòu)：有N個(gè)現(xiàn)已正式運(yùn)行的業(yè)務(wù)系統(tǒng)，數(shù)據(jù)庫不統(tǒng)一，需要把各個(gè)業(yè)務(wù)系統(tǒng)的某些業(yè)務(wù)數(shù)據(jù)進(jìn)行整合，處理后結(jié)果傳輸?shù)揭粋€(gè)或某幾個(gè)業(yè)務(wù)系統(tǒng)上，也可對外開放接口提供融合業(yè)務(wù)數(shù)據(jù)服務(wù)。
邏輯處理：某些業(yè)務(wù)需求或數(shù)據(jù)處理可能會(huì)隨時(shí)發(fā)生變化的業(yè)務(wù)邏輯在線編排。
1.3產(chǎn)品功能
可視化任務(wù)編排：把"任務(wù)"做為最小單位按照業(yè)務(wù)需要進(jìn)行編排，任務(wù)之間有先后順序，任務(wù)的流轉(zhuǎn)執(zhí)行有業(yè)務(wù)判斷分支循環(huán)等，每個(gè)“任務(wù)”輸入數(shù)據(jù)是前一個(gè)環(huán)節(jié)的輸出數(shù)據(jù)，數(shù)據(jù)在各個(gè)任務(wù)中流轉(zhuǎn)。編排之后能形成一個(gè)基于任務(wù)單元的自動(dòng)化處理模型。
豐富任務(wù)環(huán)節(jié)：具有多種任務(wù)環(huán)節(jié)，例如腳本、shell、kettle、sql腳本等，每類任務(wù)的功能不同。
分布式計(jì)算：可以將大量數(shù)據(jù)分發(fā)到各個(gè)worker上分布處理，然后合并。
定時(shí)調(diào)度：根據(jù)中文或cron表達(dá)式進(jìn)行設(shè)置某個(gè)模型的調(diào)度規(guī)則。
1.4產(chǎn)品優(yōu)勢
簡單易用：可以通過非常簡單的可視化界面拖拽操作構(gòu)建數(shù)據(jù)處理流程。通過API與第三方系統(tǒng)集成。實(shí)時(shí)監(jiān)視運(yùn)行狀態(tài)。
性能強(qiáng)勁：分布式任務(wù)處理，發(fā)揮多臺(tái)計(jì)算機(jī)合作性能。
高可靠性：去中心化多Master多Worker服務(wù)，可隨時(shí)橫向擴(kuò)展。
開放平等：對于數(shù)據(jù)源的支持，秉承中立的原則，讓用戶自由選擇、搭配風(fēng)險(xiǎn)。不強(qiáng)綁定任何數(shù)據(jù)產(chǎn)品、平臺(tái)、體系，平等支持各中數(shù)據(jù)環(huán)境。
逐步全面：開發(fā)團(tuán)隊(duì)逐步添加各種計(jì)算節(jié)點(diǎn)，豐富功能，提高完整性，使其更加全面。
二、技術(shù)特性
2.1產(chǎn)品技術(shù)架構(gòu)
三、Datacanal簡單使用事例
