隨著企業(yè)數(shù)字化轉(zhuǎn)型的深入,分布式存儲由初的開發(fā)測試、桌面云等非關鍵應用,逐步走向生產(chǎn)應用。生產(chǎn)應用除了上述可靠性SLA要求之外,對分布式存儲的性能,尤其是數(shù)據(jù)訪問的穩(wěn)定低時延提出了更嚴苛的要求。軟硬件解耦的分布式存儲在性能設計上存在兩大天然缺陷:標準服務器不具備機房突然斷電時保護內(nèi)存數(shù)據(jù)的電池(BBU),所以只能用SSD卡/盤來做數(shù)據(jù)緩存。SSD的時延遠高于內(nèi)存,導致業(yè)界絕大多數(shù)的軟硬解耦的分布式存儲時延無法和生產(chǎn)存儲媲美。單獨采購的分布式存儲軟件無法和第三方服務器的SSD盤緊密配合,從而無法像業(yè)界先進的全閃存存儲一樣實現(xiàn)全局垃圾回收,控制數(shù)量眾多的SSD盤各自的垃圾回收導致的生產(chǎn)應用時延波動。 分布式存儲是未來數(shù)字產(chǎn)業(yè)生態(tài)系統(tǒng)構建與新基建的重要引擎。紹興分布式存儲系統(tǒng)架構
分布式存儲系統(tǒng)中還可能使用基于寫多個存儲節(jié)點的復制協(xié)議(Replicated-writeprotocol)。比如Dynamo系統(tǒng)中的NWR復制協(xié)議,其中,N為副本數(shù)量,W為寫操作的副本數(shù),R為讀操作的副本數(shù)。NWR協(xié)議中多個副本不再區(qū)分主和備,客戶端根據(jù)一定的策略往其中的W個副本寫入數(shù)據(jù),讀取其中的R個副本。只要W+R>N,可以保證讀到的副本中至少有一個包含了的更新。然而,這種協(xié)議的問題在于不同副本的操作順序可能不一致,從多個副本讀取時可能出現(xiàn)。這種方式在實際系統(tǒng)中比較少見,不建議使用。 金華大數(shù)據(jù)分布式存儲的一般架構為了保證分布式存儲系統(tǒng)的高可靠和高可用,數(shù)據(jù)在系統(tǒng)中一般存儲多個副本。
自誕生以來,分布式存儲就被視為存儲的未來,被萬眾期待。然而分布式存儲起步于寒門,早應用于互聯(lián)網(wǎng)日志、企業(yè)備份歸檔、開發(fā)測試等場景,追求極zhi成本,性能和可靠性卻不敢恭維。但它還算爭氣,憑借多年的打怪練級,越來越多地開始承載自動駕駛研發(fā)、超高清編輯、運營商5G網(wǎng)絡云等企業(yè)的關鍵業(yè)務,走上變成高富帥、贏取白富美的道路。正所謂人紅是非多,存儲領域也是一樣,坊間一直流傳著關于分布式存儲的各種流言蜚語。好事的筆者現(xiàn)今就來探尋一番,揭開謊言背后的真相。
得益于合理的分布式架構,分布式存儲可預估并且彈性擴展計算、存儲容量和性能。分布式存儲的水平擴展有以下幾個特性:1)節(jié)點擴展后,舊數(shù)據(jù)會自動遷移到新節(jié)點,實現(xiàn)負載均衡,避點過熱的情況出現(xiàn);2)水平擴展只需要將新節(jié)點和原有集群連接到同一網(wǎng)絡,整個過程不會對業(yè)務造成影響;3)當節(jié)點被添加到集群,集群系統(tǒng)的整體容量和性能也隨之線性擴展,此后新節(jié)點的資源就會被管理平臺接管,被用于分配或者回收。隨著分布式存儲的發(fā)展,存儲行業(yè)的標準化進程也不斷推進,分布式存儲優(yōu)先采用行業(yè)標準接口進行存儲接入。在平臺層面,通過將異構存儲資源進行抽象化,將傳統(tǒng)的存儲設備級的操作封裝成面向存儲資源的操作,從而簡化異構存儲基礎架構的操作,以實現(xiàn)存儲資源的集中管理,并能夠自動執(zhí)行創(chuàng)建、變更、回收等整個存儲生命周期流程,從而降低了存儲采購和管理成本。 分布式存儲將如何挑戰(zhàn)互聯(lián)網(wǎng)巨頭?
說到分布式存儲,我們先來看一下傳統(tǒng)的存儲是怎么個樣子。傳統(tǒng)的存儲也稱為集中式存儲,從概念上可以看出來是具有集中性的,也就是整個存儲是集中在一個系統(tǒng)中的,但集中式存儲并不是一個單獨的設備,是集中在一套系統(tǒng)當中的多個設備,比如下圖中的EMC存儲就需要幾個機柜來存放。在這個存儲系統(tǒng)中包含很多組件,除了核xin的機頭(控制器)、磁盤陣列和交換機等設備外,還有管理設備等輔助設備。結構中包含一個機頭,這個是存儲系統(tǒng)中為核xin的部件。通常在機頭中有包含兩個控制器,互為備用,避免硬件故障導致整個存儲系統(tǒng)的不可用。 分布式存儲系統(tǒng)中的多臺服務器通過網(wǎng)絡進行連接。蕪湖數(shù)據(jù)分布式存儲系統(tǒng)原理解析
分布式存儲能夠?qū)崿F(xiàn)內(nèi)容感知,配合前端應用對海量數(shù)據(jù)進行大數(shù)據(jù)分析和價值挖掘。紹興分布式存儲系統(tǒng)架構
為了保證分布式存儲系統(tǒng)的高可靠和高可用,數(shù)據(jù)在系統(tǒng)中一般存儲多個副本。當某個副本所在的存儲節(jié)點出現(xiàn)故障時,分布式存儲系統(tǒng)能夠自動將服務切換到其他的副本,從而實現(xiàn)自動容錯。分布式存儲系統(tǒng)通過復制協(xié)議將數(shù)據(jù)同步到多個存儲節(jié)點,并確保多個副本之間的數(shù)據(jù)一致性。客戶端將寫請求發(fā)送給主副本,主副本將寫請求復制到其他備副本,常見的做法是同步操作日志(CommitLog)。主副本首先將操作日志同步到備副本,備副本回放操作日志,完成后通知主副本。接著,主副本修改本機,等到所有的操作都完成后再通知客戶端寫成功。下圖中的復制協(xié)議要求主備同步成功才可以返回客戶端寫成功,這種協(xié)議稱為強同步協(xié)議。 紹興分布式存儲系統(tǒng)架構
江蘇魏晉元興智能科技有限公司致力于數(shù)碼、電腦,是一家貿(mào)易型公司。公司業(yè)務分為網(wǎng)絡安全,VR,MR,VR,AI,視頻監(jiān)控安防,出入口門禁失控制等,目前不斷進行創(chuàng)新和服務改進,為客戶提供良好的產(chǎn)品和服務。公司將不斷增強企業(yè)重點競爭力,努力學習行業(yè)知識,遵守行業(yè)規(guī)范,植根于數(shù)碼、電腦行業(yè)的發(fā)展。魏晉元興智能秉承“客戶為尊、服務為榮、創(chuàng)意為先、技術為實”的經(jīng)營理念,全力打造公司的重點競爭力。