PB 級(jí)數(shù)據(jù)倉(cāng)庫(kù) | GaussDB(DWS) 超大規(guī)模數(shù)據(jù)保護(hù)最佳實(shí)踐
發(fā)布人：scutech 發(fā)布日期：2025-03-25 12:06:15 點(diǎn)擊數(shù)：85
隨著數(shù)字化轉(zhuǎn)型的加速，各行業(yè)業(yè)務(wù)場(chǎng)景日趨豐富，海量數(shù)據(jù)從交易系統(tǒng)、物聯(lián)網(wǎng)設(shè)備、用戶行為等渠道持續(xù)涌入，數(shù)據(jù)規(guī)模呈現(xiàn)爆炸式增長(zhǎng)，數(shù)據(jù)倉(cāng)庫(kù)應(yīng)運(yùn)而生。華為云數(shù)據(jù)倉(cāng)庫(kù)GaussDB(DWS)憑借高并發(fā)查詢能力、行列混合存儲(chǔ)、向量化引擎等技術(shù)，可實(shí)現(xiàn) PB 級(jí)數(shù)據(jù)秒級(jí)分析，目前已廣泛服務(wù)于金融、電信、能源等行業(yè)，成為國(guó)產(chǎn)首選的數(shù)據(jù)倉(cāng)庫(kù)解決方案。
而超大規(guī)模 GaussDB(DWS)的數(shù)據(jù)保護(hù)方案，往往面臨備份數(shù)據(jù)巨大、備份窗口過(guò)長(zhǎng)、恢復(fù)準(zhǔn)確度低、性能調(diào)優(yōu)不便等困難。鼎甲 DBackup 作為華為長(zhǎng)期的合作伙伴，與華為云深度融合開(kāi)發(fā)，推出 XBSA 流式 GaussDB(DWS)數(shù)據(jù)倉(cāng)庫(kù)保護(hù)方案，打破上述備份難題，并于兩年前順利上線國(guó)內(nèi)頭部銀行 1.6PB 超大規(guī)模 GaussDB(DWS)，且穩(wěn)定運(yùn)行至今。
1. DBackup × GaussDB(DWS)?，保護(hù)方案四大核心優(yōu)勢(shì)
一、精細(xì)化備份恢復(fù)
支持庫(kù)、表、schema 級(jí)的靈活備份恢復(fù)，精準(zhǔn)定位目標(biāo)數(shù)據(jù)，恢復(fù)效率提升 80%。
二、云原生性能調(diào)優(yōu)
深度融合的云原生備份工具 Roach，專為多種業(yè)務(wù)場(chǎng)景設(shè)計(jì)，提供了 10 項(xiàng)關(guān)鍵的性能調(diào)優(yōu)參數(shù)，以確保卓越的性能表現(xiàn)。
三、分布式重復(fù)數(shù)據(jù)刪除
采用分布式重刪架構(gòu)，為多節(jié)點(diǎn)模式下的 GaussDB(DWS) 集群提供數(shù)據(jù)保護(hù)，并支持負(fù)載均衡調(diào)度、故障容錯(cuò)機(jī)制和在線擴(kuò)展能力。項(xiàng)目實(shí)測(cè)數(shù)據(jù)顯示，備份重刪比平均可達(dá) 86%。
四、官方認(rèn)證解決方案
國(guó)內(nèi)頭部銀行在其核心業(yè)務(wù)中采用 GaussDB(DWS)，系統(tǒng)架構(gòu)超 150 個(gè)數(shù)據(jù)節(jié)點(diǎn)，日需高效處理數(shù)十億級(jí)別的交易記錄，累積高達(dá) 1.6PB 的數(shù)據(jù)量。面對(duì)如此超大規(guī)模集群，客戶期望數(shù)據(jù)保護(hù)能實(shí)現(xiàn)以下優(yōu)化目標(biāo)：
●?快速備份恢復(fù)——2 小時(shí)備份窗口，TB 級(jí)數(shù)據(jù)在分鐘級(jí)恢復(fù)；
● 精準(zhǔn)數(shù)據(jù)保護(hù)——需支持細(xì)粒度恢復(fù)，如：?jiǎn)伪砘謴?fù)；
●?高效存儲(chǔ)管理——重刪比高，大幅度節(jié)省備份數(shù)據(jù)的存儲(chǔ)成本。
實(shí)施方案
鼎甲 DBackup 結(jié)合客戶實(shí)際組網(wǎng)架構(gòu)與軟硬件要求，打造如下部署方案：
國(guó)內(nèi)頭部銀行在其核心業(yè)務(wù)中采用 GaussDB(DWS)，系統(tǒng)架構(gòu)超 150 個(gè)數(shù)據(jù)節(jié)點(diǎn)，日需高效處理數(shù)十億級(jí)別的交易記錄，累積高達(dá) 1.6PB 的數(shù)據(jù)量。面對(duì)如此超大規(guī)模集群，客戶期望數(shù)據(jù)保護(hù)能實(shí)現(xiàn)以下優(yōu)化目標(biāo)：
1、非侵入式部署：備份組網(wǎng)無(wú)需在 GaussDB(DWS) 節(jié)點(diǎn)上安裝代理軟件，僅需要在獨(dú)立的服務(wù)器或存儲(chǔ)服務(wù)器上配置備份主機(jī)，用于連接 GaussDB(DWS) 和備份系統(tǒng)。現(xiàn)場(chǎng)實(shí)施中，僅部署 12 臺(tái)備份主機(jī)，即滿足 150+ GaussDB(DWS) 集群節(jié)點(diǎn)的并行備份要求。
2、分布式重刪： 備份系統(tǒng)采用分布式重刪架構(gòu)，通過(guò)構(gòu)建 48 節(jié)點(diǎn)的重刪存儲(chǔ)池和極致的重刪比，有效承載 1.6PB 業(yè)務(wù)數(shù)據(jù)經(jīng)備份生成的多份歷史副本。
3、TCO 低：項(xiàng)目采用萬(wàn)兆網(wǎng)卡和低成本的機(jī)械硬盤，而非 25/40G 高性能網(wǎng)絡(luò)和 SSD 硬盤，通過(guò)高效的備份軟件，實(shí)現(xiàn)備份數(shù)據(jù)高速傳輸與持久化存儲(chǔ)。
實(shí)現(xiàn)效果
●?高吞吐備份：生產(chǎn)環(huán)境增量備份平均速度可達(dá) 9.62 GiB/s
●?分鐘級(jí)恢復(fù)：1 分鐘內(nèi)精準(zhǔn)恢復(fù) 200GB 表，滿足金融行業(yè)嚴(yán)苛的 RPO 要求
●?極致重刪壓縮比：完全備份重刪率最高可達(dá) 99%
●?上線至今 0 故障，穩(wěn)定運(yùn)行超 18 個(gè)月！
面對(duì)蓬勃發(fā)展的大數(shù)據(jù)浪潮，數(shù)據(jù)保護(hù)已成為永恒的話題。鼎甲推出的華為云數(shù)據(jù)倉(cāng)庫(kù) GaussDB(DWS) 保護(hù)方案，在功能細(xì)化與性能方面表現(xiàn)卓越，并歷經(jīng)超大規(guī)模場(chǎng)景下的打磨，成為業(yè)界數(shù)倉(cāng)保護(hù)的新標(biāo)桿！
更多 DBackup 支持 GaussDB(DWS) 功能細(xì)節(jié)，可閱讀：
DBackup 新版：高性能 GaussDB(DWS) 非侵入式方案，引領(lǐng)業(yè)界國(guó)產(chǎn)數(shù)倉(cāng)保護(hù)！
