根據(jù)世界經(jīng)濟(jì)論壇的估算，2020年全世界產(chǎn)生了超過(guò)44ZB的數(shù)據(jù)量，而在十年前全球的數(shù)據(jù)總量還只有1ZB。
數(shù)據(jù)量的指數(shù)級(jí)增長(zhǎng)，預(yù)示著人類文明徹底進(jìn)入了數(shù)字化時(shí)代，數(shù)據(jù)已經(jīng)成為人類存在的另一種方式。特別是在新基建、數(shù)字經(jīng)濟(jì)等宏觀話題大行其道的當(dāng)下，數(shù)據(jù)的存儲(chǔ)、挖掘、應(yīng)用早已和經(jīng)濟(jì)直接掛鉤。
11月18日的國(guó)際超級(jí)計(jì)算大會(huì)SC21上，正式公布了最新的全球IO500榜單。其中華為OceanStor Pacific存儲(chǔ)在IO500榜單和10節(jié)點(diǎn)榜單中均名列第二，刷新了華為覇榜IO500的新紀(jì)元。
作為存儲(chǔ)性能最權(quán)威的世界排行榜之一，IO500包括總榜單和10節(jié)點(diǎn)榜單兩大類別。由于10節(jié)點(diǎn)榜單將基準(zhǔn)性能測(cè)試限制為10個(gè)計(jì)算節(jié)點(diǎn)，可以準(zhǔn)確反應(yīng)存儲(chǔ)系統(tǒng)為實(shí)際程序提供的I/O性能，被視為衡量超級(jí)計(jì)算機(jī)應(yīng)用效率的核心指標(biāo)。
當(dāng)華為OceanStor Pacific代表的企業(yè)占領(lǐng)IO500榜單的頭部，乃至將榜單前三名均收入囊中的時(shí)候，對(duì)整個(gè)存儲(chǔ)市場(chǎng)意味著什么？
01 高性能計(jì)算三部曲
想要理解數(shù)據(jù)存儲(chǔ)性能的價(jià)值所在，似乎有必要回顧下高性能計(jì)算（HPC）的進(jìn)化歷程。畢竟在人類從工業(yè)文明邁向信息文明的過(guò)程中，HPC扮演了不可或缺的角色，甚至說(shuō)是科技創(chuàng)新的典型標(biāo)桿。
以往在復(fù)盤HPC進(jìn)化史的時(shí)候，不少人習(xí)慣按照時(shí)間軸進(jìn)行整理，直觀地展現(xiàn)算力上的爆炸性增長(zhǎng)。倘若從需求驅(qū)動(dòng)的思路審視HPC的發(fā)展史，或許可以找到一個(gè)新的視角，即應(yīng)用需求深度影響了HPC的進(jìn)化方向。
最早的“超級(jí)計(jì)算機(jī)”屬于政府主導(dǎo)的項(xiàng)目，第一臺(tái)電子計(jì)算機(jī)ENIAC的誕生為起點(diǎn)，HPC在長(zhǎng)達(dá)幾十年的時(shí)間里被應(yīng)用于高能物理、流體力學(xué)等學(xué)術(shù)領(lǐng)域，數(shù)值計(jì)算的場(chǎng)景決定了HPC不斷提升計(jì)算能力的演變軌跡。
隨著越來(lái)越多的商業(yè)公司進(jìn)入到計(jì)算產(chǎn)業(yè)，HPC的應(yīng)用場(chǎng)景逐步向油氣勘探、氣象預(yù)測(cè)、芯片研發(fā)等領(lǐng)域傾斜，模擬仿真的需求漸漸超過(guò)了數(shù)值計(jì)算，HPC的進(jìn)化不再只是主攻算力，而是存儲(chǔ)、網(wǎng)絡(luò)等多元化的性能。
到了2020年前后，自動(dòng)駕駛、基因測(cè)序、深空探索等商業(yè)智能蓬勃向上，HPC的應(yīng)用場(chǎng)景也進(jìn)一步轉(zhuǎn)變：需要卷積更多的歷史數(shù)據(jù)參與計(jì)算分析，不斷提升分析的精度，對(duì)數(shù)據(jù)存儲(chǔ)的性能需求逐漸上升到了新的高度。
正是在這樣的大背景下，John Bent、Julian Kunkel、Jay Lofstead在內(nèi)的學(xué)者紛紛推動(dòng)IO性能的測(cè)試方法、基準(zhǔn)測(cè)試程序和規(guī)則，通過(guò)模擬應(yīng)用需要的不同IO模型，驗(yàn)證數(shù)據(jù)帶寬（GIB/s）和元數(shù)據(jù)(KIOP/S)兩個(gè)關(guān)鍵維度的性能表現(xiàn)，并在一些TOP500計(jì)算機(jī)上進(jìn)行了測(cè)試。
2017年的國(guó)際超級(jí)計(jì)算大會(huì)上，VI4IO組織公布了第一份IO500榜單，約定每年在SC和ISC大會(huì)上各更新一次排名。
IO500榜單的出現(xiàn)就像是一道江湖集結(jié)令，拉開了各路英雄角逐存儲(chǔ)性能的序幕：新興存儲(chǔ)硬件層出不窮，新興文件系統(tǒng)應(yīng)運(yùn)而生，標(biāo)準(zhǔn)和架構(gòu)也不斷推陳出新，數(shù)據(jù)存儲(chǔ)進(jìn)入了群雄逐鹿的年代。
畢竟HPC領(lǐng)域的所有玩家都明白一個(gè)道理：現(xiàn)實(shí)中許多場(chǎng)景參與計(jì)算的數(shù)據(jù)量已經(jīng)達(dá)到了PB級(jí)，計(jì)算過(guò)程中需要頻繁進(jìn)行訪存操作，存儲(chǔ)性能直接影響著計(jì)算的效率，同時(shí)對(duì)數(shù)據(jù)可靠性和安全性的要求也越來(lái)越高。數(shù)據(jù)存儲(chǔ)性能預(yù)料之中的成了高性能計(jì)算的聚焦點(diǎn)，也是各大廠商的必爭(zhēng)之地。
02 HPDA的產(chǎn)業(yè)態(tài)勢(shì)
為何IO500榜單有這么大的魔力？答案還要從需求的變化說(shuō)起。就像在HPC的進(jìn)化歷程中，一個(gè)明顯的態(tài)勢(shì)是從“以計(jì)算為中心”到“以數(shù)據(jù)為中心”的轉(zhuǎn)變，進(jìn)入到了“數(shù)據(jù)密集型”的新階段。
國(guó)際權(quán)威分析師機(jī)構(gòu)Hyperion Research，曾在2020年對(duì)全球HPC市場(chǎng)的增速做出預(yù)測(cè)：2019年到2024年的時(shí)間周期內(nèi)，存儲(chǔ)市場(chǎng)的復(fù)合增長(zhǎng)率有望達(dá)到12.1%，遠(yuǎn)高于服務(wù)器、中間件、應(yīng)用、服務(wù)等市場(chǎng)。
之所以給出這樣的判斷，離不開一個(gè)特定的產(chǎn)業(yè)共識(shí)：在自動(dòng)駕駛、氣象預(yù)測(cè)、宇宙探索等熱門的應(yīng)用場(chǎng)景中，HPC和AI、大數(shù)據(jù)的融合越來(lái)越緊密，HPC向HPDA（數(shù)據(jù)密集型超算）的演進(jìn)，屢屢成為行業(yè)論壇上的主流議題。
可以找到的例子有很多。
過(guò)去地震勘探是二維的，從二維到三維的演進(jìn)中，采集和處理的數(shù)據(jù)量增加了5—10倍；電影渲染逐漸從2K向4K乃至8K過(guò)渡，對(duì)應(yīng)的數(shù)據(jù)量增加了16倍；衛(wèi)星測(cè)繪領(lǐng)域的精度從20米縮小到2米，數(shù)據(jù)量同比增長(zhǎng)了70倍……再加上數(shù)據(jù)分析處理的算法越來(lái)越復(fù)雜，采集、存儲(chǔ)、處理、存檔的數(shù)據(jù)量呈現(xiàn)出爆炸式增長(zhǎng)。
然而傳統(tǒng)的HPC存儲(chǔ)主要用于建模和仿真，包括項(xiàng)目文件共享、搜索、歸檔等等，主要是結(jié)構(gòu)化的數(shù)據(jù)，且通常是基于順序的大I/O型。但人工智能的工作流程涉及到數(shù)據(jù)收集、注入、訓(xùn)練、推理和歸檔，不僅涵蓋結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)，數(shù)據(jù)存取的場(chǎng)景也更加復(fù)雜，AI負(fù)載需要順序大I/O型和隨機(jī)小I/O型的組合，特別是AI數(shù)據(jù)集標(biāo)注的元數(shù)據(jù)管理，需要快速的隨機(jī)小I/O型。
也就是說(shuō)，推動(dòng)數(shù)據(jù)存儲(chǔ)性能不斷提升的因素，絕不只是IO500榜單，而是隱藏在榜單背后的市場(chǎng)需求。傳統(tǒng)HPC的數(shù)據(jù)存儲(chǔ)已經(jīng)跟不上需求，能否打破數(shù)據(jù)存儲(chǔ)、性能、效率的限制，已經(jīng)是HPC產(chǎn)業(yè)革新的掣肘因素。
按照Hyperion Research在《HPDA趨勢(shì)白皮書》中的建議，針對(duì)HPDA負(fù)載中經(jīng)常出現(xiàn)的非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)存儲(chǔ)應(yīng)該進(jìn)行針對(duì)性的創(chuàng)新，包括支持不同的I/O模型、支持多協(xié)議訪問、支持各種數(shù)據(jù)訪問頻率、高密度高效設(shè)計(jì)等等，不斷提升數(shù)據(jù)利用率，進(jìn)一步釋放數(shù)據(jù)潛力。
恰恰是數(shù)據(jù)存儲(chǔ)的新一輪革命，為華為等企業(yè)提供了重拾話語(yǔ)權(quán)的機(jī)會(huì)，并趁機(jī)進(jìn)行直線超車。
03 華為越級(jí)的硬實(shí)力
也就解釋了文初的一幕：幾年前的IO500榜單還被Intel、DDN、IBM等企業(yè)占領(lǐng)，當(dāng)HPC向HPDA演進(jìn)的時(shí)候，華為OceanStor Pacific等新勢(shì)力頻頻出現(xiàn)，而且就拿到了讓人振奮的位次。
如同中國(guó)超算力量的強(qiáng)勢(shì)崛起，華為OceanStor Pacific斬獲IO500榜單全球第二的消息并不令人意外。在這場(chǎng)技術(shù)硬實(shí)力的較量中，華為OceanStor Pacific的“越級(jí)”離不開4000多位研發(fā)人員夜以繼日的努力，以及3000多項(xiàng)專利構(gòu)成的技術(shù)創(chuàng)新，打破了HPC產(chǎn)業(yè)的三重壁壘：
一是多業(yè)務(wù)混合負(fù)載能力。傳統(tǒng)HPC存儲(chǔ)只支持單一負(fù)載，形成了性能上的孤島，導(dǎo)致流程間的數(shù)據(jù)需要在不同存儲(chǔ)間遷移，可以說(shuō)是效率降低的“元兇”。
華為OceanStor Pacific存儲(chǔ)搭載了新一代并行文件系統(tǒng)，針對(duì)傳統(tǒng)HPC的問題進(jìn)行了對(duì)癥下藥：采用目錄DHT分區(qū)、大IO直通小IO聚合、多粒度磁盤空間管理列技術(shù)，一套存儲(chǔ)同時(shí)實(shí)現(xiàn)了大文件高帶寬、小文件高IOPS，配合分布式并行客戶端技術(shù)，輕松滿足了客戶對(duì)多業(yè)務(wù)混合負(fù)載的需求。
二是多協(xié)議無(wú)損互通方案。在數(shù)據(jù)處理過(guò)程中，多樣性的數(shù)據(jù)轉(zhuǎn)化、拷貝、加載等環(huán)節(jié)就占據(jù)了35%以上的時(shí)間，人為制造了阻礙效率升維的格式壁壘。
華為OceanStor Pacific的切入點(diǎn)是協(xié)議互通，通過(guò)統(tǒng)一的數(shù)據(jù)管理系統(tǒng)和硬件資源池，文件、對(duì)象、大數(shù)據(jù)客戶端可以同時(shí)讀寫同一個(gè)文件，不需要協(xié)議轉(zhuǎn)換的過(guò)程，讓數(shù)據(jù)分析的效率提升了30%以上，并且避免了數(shù)據(jù)拷貝產(chǎn)生的冗余副本，節(jié)省了端到端的存儲(chǔ)資源，讓硬件發(fā)揮出極限性能。
三是超高密設(shè)計(jì)的硬件。當(dāng)海量數(shù)據(jù)的價(jià)值被進(jìn)一步分析挖掘，就需要保留更多更長(zhǎng)久的數(shù)據(jù)資源，對(duì)機(jī)房空間、功耗、存儲(chǔ)成本等都提出了新的挑戰(zhàn)。
為了解決這些“癢點(diǎn)”，華為OceanStor Pacific推出了系列化超高密硬件，支持不同硬件間的數(shù)據(jù)自動(dòng)分級(jí)，全面降低了HPC場(chǎng)景的存儲(chǔ)成本。以華為OceanStor Pacific 9950為例，每個(gè)5U機(jī)箱可容納8個(gè)存儲(chǔ)節(jié)點(diǎn)，提供128TB至614.4TB裸容量，節(jié)省了60%以上的機(jī)柜空間和能耗。
可以看到，華為OceanStor Pacific的軟硬件創(chuàng)新，填補(bǔ)了HPC向HPDA轉(zhuǎn)型的數(shù)據(jù)存儲(chǔ)短板，無(wú)形中為HPDA進(jìn)程按下了“快進(jìn)鍵”，也為站在轉(zhuǎn)型節(jié)點(diǎn)上的企業(yè)，提供了迎合數(shù)據(jù)密集型趨勢(shì)的“理想之選”。
04 寫在最后
衡量一款產(chǎn)品、一家企業(yè)的價(jià)值標(biāo)桿，絕非是這樣或那樣的榜單，倘若只是靜靜地躺在榜單上，再好的結(jié)果也沒有太大的意義。盡管是IO500榜單上一鳴驚人的新秀，但華為OceanStor存儲(chǔ)并不讓人陌生。
中石化物探研究院采用華為OceanStor存儲(chǔ)的服務(wù)，降低了30%的數(shù)據(jù)存儲(chǔ)成本，勘探效率提升了16%，運(yùn)維管理成本降低了50%；上海天文臺(tái)在華為OceanStor存儲(chǔ)的幫助下，搭建了世界首臺(tái)SKA原型機(jī)，性能較傳統(tǒng)存儲(chǔ)提升了10倍；華大基因?qū)⑷A為OceanStor存儲(chǔ)用于無(wú)創(chuàng)產(chǎn)前基因檢測(cè)業(yè)務(wù)模型中，數(shù)據(jù)存儲(chǔ)性能提升了30%左右，基因檢測(cè)報(bào)告從15天壓縮到了7天……
相較于那些為了沖榜而送測(cè)的企業(yè)，華為OceanStor Pacific正在以一種潤(rùn)物細(xì)無(wú)聲的方式滲透進(jìn)社會(huì)生活的方方面面，幫助千行百業(yè)解決數(shù)據(jù)密集型升級(jí)帶來(lái)的挑戰(zhàn)，IO500榜單第二的殊榮不過(guò)是水到渠成的結(jié)果。
申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！
