SequoiaDB從「多模數(shù)據(jù)湖」、「實(shí)時(shí)數(shù)據(jù)湖」發(fā)展到「湖倉(cāng)一體」架構(gòu)，為客戶(hù)提供「數(shù)據(jù)核心」所需的全量數(shù)據(jù)存儲(chǔ)，實(shí)時(shí)對(duì)客服務(wù)，及基于統(tǒng)一數(shù)據(jù)源的分析能力，充分激活客戶(hù)的離線(xiàn)數(shù)據(jù)。當(dāng)中，數(shù)據(jù)入湖的時(shí)效性直接影響整體數(shù)據(jù)應(yīng)用效果，巨杉數(shù)據(jù)庫(kù)通過(guò)對(duì)接業(yè)界主流的Flink,Spark和Storm等主流的流式框架，實(shí)現(xiàn)實(shí)時(shí)生產(chǎn)數(shù)據(jù)的高速入湖，原汁原味的將數(shù)據(jù)保留在巨杉數(shù)據(jù)庫(kù)中。SequoiaDB是巨杉數(shù)據(jù)庫(kù)通過(guò)10年的不斷迭代，從多模數(shù)據(jù)湖架構(gòu)演進(jìn)出來(lái)的“湖倉(cāng)一體”架構(gòu)產(chǎn)品。SequoiaDB的“湖倉(cāng)一體”結(jié)合了數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù)，是一個(gè)融合的基礎(chǔ)設(shè)施環(huán)境，支持從原始數(shù)據(jù)到精煉數(shù)據(jù)的整個(gè)過(guò)程，并最終提供優(yōu)化后的數(shù)據(jù)以供消費(fèi)。
秒級(jí)數(shù)據(jù)入湖
從客戶(hù)的結(jié)構(gòu)化數(shù)據(jù)需求出發(fā)，巨杉眾多的金融客戶(hù)著眼于盤(pán)活海量的歷史存量數(shù)據(jù)，并同時(shí)卸載發(fā)生在傳統(tǒng)Oracle/DB2上的業(yè)務(wù)。因此，巨杉依托自研的SequoiaDB分布式數(shù)據(jù)庫(kù)，形成了歷史數(shù)據(jù)平臺(tái)的方案。從業(yè)務(wù)的角度出發(fā)，SequoiaDB通過(guò)高性能的連接器，對(duì)接包括Flink,Spark和Storm等主流的流式框架，實(shí)現(xiàn)實(shí)時(shí)生產(chǎn)數(shù)據(jù)的高速入湖，原汁原味的將數(shù)據(jù)保留在巨杉數(shù)據(jù)庫(kù)中。這里起到的作用有點(diǎn)像數(shù)倉(cāng)模型中的ODS層，但巨杉又利用其分布式數(shù)據(jù)庫(kù)高并發(fā)訪(fǎng)問(wèn)的能力，可以直接對(duì)外提供實(shí)時(shí)數(shù)據(jù)訪(fǎng)問(wèn)服務(wù)。
鑒于SequoiaDB多副本高可用的特性，很多用戶(hù)實(shí)際上把巨杉數(shù)據(jù)庫(kù)作為全系統(tǒng)數(shù)據(jù)的全量最終存儲(chǔ)。在部署實(shí)踐里，前端操作型數(shù)據(jù)庫(kù)產(chǎn)生的數(shù)據(jù)變更在通過(guò)ogg/CDC等工具抽取后，通過(guò)批量的方式load到巨杉數(shù)據(jù)庫(kù)中;或是加載到以kafka為代表的各類(lèi)消息隊(duì)列，再通過(guò)流式引擎寫(xiě)入巨杉數(shù)據(jù)庫(kù)中。流式和批量數(shù)據(jù)匯總加工整合即可對(duì)外提供服務(wù)，根據(jù)業(yè)務(wù)需要，實(shí)時(shí)入湖的數(shù)據(jù)從業(yè)務(wù)實(shí)際發(fā)生到在巨杉中提供訪(fǎng)問(wèn)服務(wù)時(shí)延在秒級(jí)。
上圖有兩個(gè)核心技術(shù)點(diǎn)需要關(guān)注。一是數(shù)據(jù)入庫(kù)鏈路，從架構(gòu)中可以很清晰的看到通過(guò)流和批兩條數(shù)據(jù)鏈路，這是當(dāng)前比較成熟的一個(gè)典型的Lambda架構(gòu)。為了盡可能的高效接收來(lái)自不同數(shù)據(jù)源的數(shù)據(jù)，SequoiaDB開(kāi)發(fā)了Spark connector和Flink connector等多種通用數(shù)據(jù)格式的解析器，打通實(shí)現(xiàn)了高可靠的數(shù)據(jù)鏈路，支持增刪改各類(lèi)操作，并在客戶(hù)場(chǎng)景中解決exactly once數(shù)據(jù)入庫(kù)問(wèn)題。
其次是隨著巨杉數(shù)據(jù)庫(kù)在業(yè)務(wù)系統(tǒng)的深入，很多用戶(hù)發(fā)現(xiàn)把數(shù)據(jù)從取出，做ETL，加載到DW層再做完各類(lèi)統(tǒng)計(jì)分析匯總時(shí)，會(huì)存在以下問(wèn)題：
1.時(shí)延較高，無(wú)法滿(mǎn)足實(shí)時(shí)分析的需求
2.搬遷復(fù)制數(shù)據(jù)成本高，數(shù)據(jù)要在不同條件下保存多份，還要開(kāi)發(fā)大量的工具
3.傳統(tǒng)數(shù)倉(cāng)模型不能很好的適應(yīng)業(yè)務(wù)變更，需要的專(zhuān)業(yè)技能門(mén)檻也很高
所以部分客戶(hù)開(kāi)始跟巨杉一起探討直接在海量數(shù)據(jù)湖上做數(shù)據(jù)轉(zhuǎn)換和分析的可能，也就形成了現(xiàn)在巨杉數(shù)據(jù)庫(kù)的“湖倉(cāng)一體”架構(gòu)。
流式數(shù)據(jù)加工
針對(duì)客戶(hù)提出的流式數(shù)據(jù)加工處理，以及未來(lái)越來(lái)越多的實(shí)時(shí)分析場(chǎng)景，SequoiaDB在結(jié)合Spark Streaming和對(duì)接Flink后，提供簡(jiǎn)單易用的數(shù)據(jù)加載工具和列存的數(shù)據(jù)加載功能。SequoiaDB還開(kāi)發(fā)了行存數(shù)據(jù)到列存數(shù)據(jù)的自動(dòng)化轉(zhuǎn)換工具，客戶(hù)只需要基于需求簡(jiǎn)單配置需要轉(zhuǎn)換分析的表，就可以實(shí)現(xiàn)實(shí)時(shí)增量數(shù)據(jù)同步轉(zhuǎn)換，極大的方便簡(jiǎn)化數(shù)據(jù)加工師和分析師的工作?？偟膩?lái)說(shuō)，客戶(hù)可以在一個(gè)SequoiaDB平臺(tái)實(shí)現(xiàn)低延時(shí)的數(shù)據(jù)入庫(kù)，高并發(fā)的即時(shí)數(shù)據(jù)查詢(xún)，幾乎透明的行列數(shù)據(jù)轉(zhuǎn)換，以及高性能的數(shù)據(jù)加工分析能力。
結(jié)語(yǔ)
SequoiaDB通過(guò)對(duì)接業(yè)界主流的流式框架，實(shí)現(xiàn)了多源數(shù)據(jù)的快速入湖。未來(lái)，巨杉數(shù)據(jù)庫(kù)將繼續(xù)不斷創(chuàng)新，打造更加安全、穩(wěn)定、可靠的數(shù)據(jù)庫(kù)系統(tǒng)，持續(xù)助力金融行業(yè)客戶(hù)信息化創(chuàng)新，釋放全量數(shù)據(jù)價(jià)值。
申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！
