數(shù)據(jù)接入是大數(shù)據(jù)資源中心數(shù)據(jù)接入的入口,大數(shù)據(jù)資源中心自身不產(chǎn)生數(shù)據(jù),其數(shù)據(jù)來自于業(yè)務(wù)系統(tǒng)、日志、文件、圖片等,這些數(shù)據(jù)分散在不同的網(wǎng)絡(luò)環(huán)境和存儲平臺中,難以利用,很難產(chǎn)生業(yè)務(wù)價值。數(shù)據(jù)接入則把各種異構(gòu)網(wǎng)絡(luò)、異構(gòu)數(shù)據(jù)源、不同類型的數(shù)據(jù)采集到大數(shù)據(jù)資源中心進行集中存儲,為后續(xù)數(shù)據(jù)治理奠定基礎(chǔ)。數(shù)據(jù)接入的方式有結(jié)構(gòu)化數(shù)據(jù)接入、非結(jié)構(gòu)化數(shù)據(jù)接入、API數(shù)據(jù)接入、流式數(shù)據(jù)接入等。
核心亮點
1. 數(shù)據(jù)庫配置 數(shù)據(jù)庫連接配置:支持MySQL、SQLServer、PostgreSQL、Oracle、DM(達夢數(shù)據(jù)庫)數(shù)據(jù)源連接信息的配置管理,包括:增刪改查、測試連通性。 可查看每一數(shù)據(jù)源關(guān)聯(lián)的業(yè)務(wù)流程。
2. CSV文件數(shù)據(jù)源 CSV文件可作為數(shù)據(jù)集成的數(shù)據(jù)源進行數(shù)據(jù)同步。
3. 文件數(shù)據(jù)源 文件數(shù)據(jù)源即非結(jié)構(gòu)化數(shù)據(jù),包括:pdf、圖片、word等,均可作為非結(jié)構(gòu)化數(shù)據(jù)集成的數(shù)據(jù)源進行數(shù)據(jù)同步。
4. 文件服務(wù)器配置 支持FTP文件服務(wù)器的連接配置,對文件服務(wù)器的管理維護包括:增刪改查、測試連通性。可查看該數(shù)據(jù)源關(guān)聯(lián)的業(yè)務(wù)流程明細。
5. API配置 支持對API數(shù)據(jù)源的配置管理(協(xié)議、URL、報文格式),對API管理維護包括:增刪改查、測試連通性。可查看該數(shù)據(jù)源關(guān)聯(lián)的作業(yè)明細。
6. 實時數(shù)據(jù)信道管理 實時數(shù)據(jù)信道作為管理流式數(shù)據(jù)的載體,對數(shù)據(jù)中臺內(nèi)部數(shù)據(jù)源進行管理維護,包括對Topic的增刪改查。
產(chǎn)品展示