分布式存儲(chǔ)包含的種類繁多,除了傳統(tǒng)意義上的分布式文件系統(tǒng)、分布式塊存儲(chǔ)和分布式對(duì)象存儲(chǔ)外,還包括分布式數(shù)據(jù)庫(kù)和分布式緩存等,但其中架構(gòu)無(wú)外乎于三種;以Ceph為代biao的架構(gòu)是其典型的代biao。在該架構(gòu)中與HDFS不同的地方在于該架構(gòu)中沒(méi)有中心節(jié)點(diǎn)??蛻舳耸峭ㄟ^(guò)一個(gè)設(shè)備映射關(guān)系計(jì)算出來(lái)其寫(xiě)入數(shù)據(jù)的位置,這樣客戶端可以直接與存儲(chǔ)節(jié)點(diǎn)通信,從而避免中心節(jié)點(diǎn)的性能瓶頸。以Ceph為代biao的架構(gòu)是其典型的代biao。在該架構(gòu)中與HDFS不同的地方在于該架構(gòu)中沒(méi)有中心節(jié)點(diǎn)??蛻舳耸峭ㄟ^(guò)一個(gè)設(shè)備映射關(guān)系計(jì)算出來(lái)其寫(xiě)入數(shù)據(jù)的位置,這樣客戶端可以直接與存儲(chǔ)節(jié)點(diǎn)通信,從而避免中心節(jié)點(diǎn)的性能瓶頸。 分...
分布式存儲(chǔ)系統(tǒng)具有如下特性:數(shù)據(jù)分為多個(gè)分片存儲(chǔ)在多臺(tái)服務(wù)節(jié)點(diǎn)上。每個(gè)分片有多個(gè)副本,存儲(chǔ)在不同的服務(wù)節(jié)點(diǎn)上。許多客戶端并發(fā)訪問(wèn)系統(tǒng),執(zhí)行讀寫(xiě)操作,每個(gè)讀寫(xiě)操作在系統(tǒng)中需要花費(fèi)不等的時(shí)間。除非下文中特別注明和討論,讀寫(xiě)操作是原子的。與數(shù)據(jù)庫(kù)事務(wù)一致性的區(qū)別:數(shù)據(jù)庫(kù)事務(wù)的ACID的中也有一個(gè)一致性(consistency),但彼一致性非此一致性。ACID中的一致性是指,數(shù)據(jù)庫(kù)的事務(wù)的執(zhí)行,或者說(shuō)事務(wù)觀察到的數(shù)據(jù),總是要滿足某些全局的一致性約束條件,如性約束,外鍵約束等。這個(gè)概念和數(shù)據(jù)庫(kù)的數(shù)據(jù)是否多副本沒(méi)關(guān)系。而本文的一致性在多副本的語(yǔ)境下才有意義。所以,數(shù)據(jù)庫(kù)事務(wù)的一致性,是指數(shù)據(jù)項(xiàng)...
分布式存儲(chǔ)通過(guò)將熱點(diǎn)區(qū)域內(nèi)數(shù)據(jù)映射到高速存儲(chǔ)中,來(lái)提高系統(tǒng)響應(yīng)速度。一旦這些區(qū)域不再是熱點(diǎn),那么存儲(chǔ)系統(tǒng)會(huì)將它們移出高速存儲(chǔ)。而寫(xiě)緩存技術(shù)則可使配合高速存儲(chǔ)來(lái)明顯改變整體存儲(chǔ)的性能,按照一定的策略,先將數(shù)據(jù)寫(xiě)入高速存儲(chǔ),再在適當(dāng)?shù)臅r(shí)間進(jìn)行同步落盤。由于通過(guò)網(wǎng)絡(luò)進(jìn)行松耦合鏈接,分布式存儲(chǔ)允許高速存儲(chǔ)和低速存儲(chǔ)分開(kāi)部署,或者任意比例混布。在不可預(yù)測(cè)的業(yè)務(wù)環(huán)境或者敏捷應(yīng)用情況下,分層存儲(chǔ)的優(yōu)勢(shì)可以發(fā)揮到比較好。解決了目前緩存分層存儲(chǔ)比較大的問(wèn)題是當(dāng)性能池讀不命中后,從冷池提取數(shù)據(jù)的粒度太大,導(dǎo)致延遲高,從而給造成整體的性能的抖動(dòng)的問(wèn)題。 分布式存儲(chǔ)系統(tǒng)中的多臺(tái)服務(wù)器通過(guò)網(wǎng)絡(luò)進(jìn)行連接。紹興大數(shù)據(jù)分...
分布式存儲(chǔ)架構(gòu)由三個(gè)部分組成:客戶端、元數(shù)據(jù)服務(wù)器和數(shù)據(jù)服務(wù)器??蛻舳素?fù)責(zé)發(fā)送讀寫(xiě)請(qǐng)求,緩存文件元數(shù)據(jù)和文件數(shù)據(jù)。元數(shù)據(jù)服務(wù)器負(fù)責(zé)管理元數(shù)據(jù)和處理客戶端的請(qǐng)求,是整個(gè)系統(tǒng)的核xin組件。數(shù)據(jù)服務(wù)器負(fù)責(zé)存放文件數(shù)據(jù),保證數(shù)據(jù)的可用性和完整性。該架構(gòu)的好處是性能和容量能夠同時(shí)拓展,系統(tǒng)規(guī)模具有很強(qiáng)的伸縮性。分布式存儲(chǔ)分為文件存儲(chǔ)、對(duì)象存儲(chǔ)和塊存儲(chǔ),但它們?nèi)N存儲(chǔ)方式的基本架構(gòu)都是大同小異的。即客戶端或應(yīng)用端、元數(shù)據(jù)(MDS)服務(wù)器和數(shù)據(jù)節(jié)點(diǎn)服務(wù)器??蛻舳撕驮獢?shù)據(jù)服務(wù)器之間交互是“信令交互”,而客戶端到數(shù)據(jù)節(jié)點(diǎn)是“媒體交互”。元數(shù)據(jù)服務(wù)器或通過(guò)數(shù)據(jù)節(jié)點(diǎn)服務(wù)器獲取各節(jié)點(diǎn)服務(wù)器的基本配置情況和狀態(tài)信...
正所謂長(zhǎng)江后浪推前浪,分布式存儲(chǔ)快速增長(zhǎng)是不可否認(rèn)的,這從各大廠商的業(yè)績(jī)報(bào)告和分析師報(bào)告就能看出來(lái),但想要把企業(yè)外置存儲(chǔ)這個(gè)前浪拍死在沙灘上還是步子邁太大,不現(xiàn)實(shí)。企業(yè)外置存儲(chǔ)在相當(dāng)長(zhǎng)的一段時(shí)間內(nèi),仍然是主流。它主要面向企業(yè)傳統(tǒng)應(yīng)用如ERP/CRM/HIS等,數(shù)據(jù)量不大但對(duì)可靠性、性能有極zhi要求,如銀行Core-Banking,從可靠性、生態(tài)層面,分布式存儲(chǔ)都不是比較好選擇。分布式存儲(chǔ)主要面向海量數(shù)據(jù)、新興業(yè)務(wù)場(chǎng)景,如HPC/EDA、大數(shù)據(jù),這類場(chǎng)景以二進(jìn)制文件、視頻、圖片等非結(jié)構(gòu)化數(shù)據(jù)為主,數(shù)據(jù)量極大。所以從場(chǎng)景來(lái)看,二者場(chǎng)景是有明確區(qū)隔的,按場(chǎng)景并存是比較好的選擇。 分布式存儲(chǔ)系統(tǒng)...
在分布式存儲(chǔ)系統(tǒng)(包括OceanBase這樣的分布式數(shù)據(jù)庫(kù))的使用中,我們經(jīng)常會(huì)提到“一致性”這個(gè)詞,但是這個(gè)術(shù)語(yǔ)在不同的系統(tǒng)、不同人的心目中有不同的內(nèi)涵,很容易造成混淆。想象一個(gè)簡(jiǎn)單的存儲(chǔ)系統(tǒng),只有一個(gè)客戶端(單進(jìn)程)和一個(gè)服務(wù)端(單進(jìn)程服務(wù))??蛻舳隧樞虬l(fā)起讀寫(xiě)操作,服務(wù)端也順序處理每個(gè)請(qǐng)求,那么無(wú)論從服務(wù)器視角還是從客戶端視角,后一個(gè)操作都可以看到前一個(gè)操作的結(jié)果。然后,系統(tǒng)變的復(fù)雜一些,系統(tǒng)還是單個(gè)服務(wù)進(jìn)程(單副本),但是有多個(gè)客戶端并發(fā)進(jìn)行操作。這個(gè)模型下,多個(gè)客戶端的操作會(huì)互相影響,比如一個(gè)客戶端會(huì)讀到不是自己寫(xiě)的數(shù)據(jù)(另一個(gè)客戶端寫(xiě)入的)。一般單機(jī)并發(fā)程序就是這樣的模...
面對(duì)海量數(shù)據(jù)的存儲(chǔ)需求,分布式存儲(chǔ)顯然在架構(gòu)上有著天然優(yōu)勢(shì),但在這波數(shù)據(jù)洪流之中也面臨著性能上的全新挑戰(zhàn)。于分布式存儲(chǔ)的工作原理是將各個(gè)存儲(chǔ)節(jié)點(diǎn)使用網(wǎng)絡(luò)互聯(lián)的方式構(gòu)建為集群,向外部提供更加可靠的高性能服務(wù),因此可以說(shuō)分布式存儲(chǔ)本質(zhì)上是一種網(wǎng)絡(luò)存儲(chǔ),其性能在很大程度上受網(wǎng)絡(luò)的影響。在高性能的分布式存儲(chǔ)中,使用傳統(tǒng)的TCP網(wǎng)絡(luò)進(jìn)行各存儲(chǔ)節(jié)點(diǎn)之間的網(wǎng)絡(luò)互聯(lián)很容易形成網(wǎng)絡(luò)瓶頸,而在分布式存儲(chǔ)容易讓用戶詬病的IO延時(shí)方面,網(wǎng)絡(luò)部分的開(kāi)銷是不可忽視的一部分。 分布式存儲(chǔ)不得不要了解的幾大特點(diǎn)。上海聯(lián)想分布式存儲(chǔ)系統(tǒng)原理 在整個(gè)結(jié)構(gòu)中,機(jī)頭中是整個(gè)分布式存儲(chǔ)系統(tǒng)的核xin部件,整個(gè)存儲(chǔ)系統(tǒng)的高級(jí)功能都...
與傳統(tǒng)的存儲(chǔ)架構(gòu)使用RAID模式來(lái)保證數(shù)據(jù)的可靠性不同,分布式存儲(chǔ)采用了多副本備份機(jī)制。在存儲(chǔ)數(shù)據(jù)之前,分布式存儲(chǔ)對(duì)數(shù)據(jù)進(jìn)行了分片,分片后的數(shù)據(jù)按照一定的規(guī)則保存在集群節(jié)點(diǎn)上。為了保證多個(gè)數(shù)據(jù)副本之間的一致性,分布式存儲(chǔ)通常采用的是一個(gè)副本寫(xiě)入,多個(gè)副本讀取的強(qiáng)一致性技術(shù),使用鏡像、條帶、分布式校驗(yàn)等方式滿足租戶對(duì)于可靠性不同的需求。在讀取數(shù)據(jù)失敗的時(shí)候,系統(tǒng)可以通過(guò)從其他副本讀取數(shù)據(jù),重新寫(xiě)入該副本進(jìn)行恢復(fù),從而保證副本的總數(shù)固定。當(dāng)數(shù)據(jù)長(zhǎng)時(shí)間處于不一致?tīng)顟B(tài)時(shí),系統(tǒng)會(huì)自動(dòng)數(shù)據(jù)重建恢復(fù),同時(shí)租戶可設(shè)定數(shù)據(jù)恢復(fù)的帶寬規(guī)則,小化對(duì)業(yè)務(wù)的影響。 布式存儲(chǔ)幫助企業(yè)打造智能化的數(shù)據(jù)治理平臺(tái)。安徽數(shù)據(jù)...
分布式存儲(chǔ)是一種數(shù)據(jù)存儲(chǔ)技術(shù),通過(guò)網(wǎng)絡(luò)使用企業(yè)中的每臺(tái)機(jī)器上的磁盤空間,并將這些分散的存儲(chǔ)資源構(gòu)成一個(gè)虛擬的存儲(chǔ)設(shè)備,數(shù)據(jù)分散的存儲(chǔ)在企業(yè)的各個(gè)角落。分布式存儲(chǔ)系統(tǒng),是將數(shù)據(jù)分散存儲(chǔ)在多個(gè)du立的設(shè)備上。傳統(tǒng)的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)采用集中的存儲(chǔ)服務(wù)器存放所有數(shù)據(jù),存儲(chǔ)服務(wù)器成為系統(tǒng)性能的瓶頸,也是可靠性和安全性的焦點(diǎn),不能滿足大規(guī)模存儲(chǔ)應(yīng)用的需要。分布式網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu),利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷,利用位置服務(wù)器定位存儲(chǔ)信息,它不但提高了系統(tǒng)的可靠性、可用性和存取效率,還易于擴(kuò)展。 分布式存儲(chǔ)系統(tǒng),是將數(shù)據(jù)分散存儲(chǔ)在多臺(tái)單獨(dú)的設(shè)備上。金華四大開(kāi)源分布式存儲(chǔ)設(shè)備 分布式存儲(chǔ)系統(tǒng)...
軟硬件解耦的分布式存儲(chǔ)在性能設(shè)計(jì)上存在兩大天然缺陷:標(biāo)準(zhǔn)服務(wù)器不具備機(jī)房突然斷電時(shí)保護(hù)內(nèi)存數(shù)據(jù)的電池(BBU),所以只能用SSD卡/盤來(lái)做數(shù)據(jù)緩存。SSD的時(shí)延遠(yuǎn)高于內(nèi)存,導(dǎo)致業(yè)界絕大多數(shù)的軟硬解耦的分布式存儲(chǔ)時(shí)延無(wú)法和生產(chǎn)存儲(chǔ)媲美。單獨(dú)采購(gòu)的分布式存儲(chǔ)軟件無(wú)法和第三方服務(wù)器的SSD盤緊密配合,從而無(wú)法像業(yè)界先進(jìn)的全閃存存儲(chǔ)一樣實(shí)現(xiàn)全局垃圾回收,控制數(shù)量眾多的SSD盤各自的垃圾回收導(dǎo)致的生產(chǎn)應(yīng)用時(shí)延波動(dòng)。軟硬件一體的分布式存儲(chǔ)有機(jī)會(huì)克服如上兩大缺陷。我們看到業(yè)界先進(jìn)的分布式存儲(chǔ)產(chǎn)品,采用了類似于全閃存存儲(chǔ)的電池保護(hù)(BBU)、系統(tǒng)級(jí)全局垃圾回收,達(dá)到了媲美傳統(tǒng)生產(chǎn)存儲(chǔ)的高并發(fā)壓力下...
無(wú)論如何波折,分布式存儲(chǔ)未來(lái)可期:正所謂不管白貓、黑貓,抓到老鼠的就是好貓。我們相信在較長(zhǎng)一段時(shí)間內(nèi),分布式存儲(chǔ)軟硬件一體和軟硬件解耦會(huì)長(zhǎng)期共存??傮w而言,筆者認(rèn)為隨著數(shù)據(jù)價(jià)值的增高,場(chǎng)景對(duì)數(shù)據(jù)可靠性的要求隨之會(huì)越來(lái)越嚴(yán)苛,市場(chǎng)的天平就會(huì)更多偏向軟硬件一體;與此相反,場(chǎng)景對(duì)數(shù)據(jù)可靠性的敏感度越低、短期成本敏感度越高,市場(chǎng)的天平就會(huì)更多的偏向軟硬件解耦。分布式存儲(chǔ)的發(fā)展歷程無(wú)論如何波折,我們更愿意相信它終會(huì)是部正劇,在整個(gè)存儲(chǔ)市場(chǎng)中占據(jù)海量數(shù)據(jù)承載的主力軍位置,鏗鏘而立,并給人以無(wú)窮回味!分布式存儲(chǔ)系統(tǒng),是將數(shù)據(jù)分散存儲(chǔ)在多臺(tái)單獨(dú)的設(shè)備上。金華四大開(kāi)源分布式存儲(chǔ) 很多人可能對(duì)分布式存儲(chǔ)耳熟能詳...
由于異常的存在,分布式存儲(chǔ)系統(tǒng)設(shè)計(jì)時(shí)往往會(huì)將數(shù)據(jù)冗余存儲(chǔ)多份,每一份稱為一個(gè)副本)。這樣,當(dāng)某一個(gè)節(jié)點(diǎn)出現(xiàn)故障時(shí),可以從其他副本上讀到數(shù)據(jù)??梢赃@么認(rèn)為,副本是分布式存儲(chǔ)系統(tǒng)容錯(cuò)技術(shù)的手段。由于多個(gè)副本的存在,如何保證副本之間的一致性是整個(gè)分布式系統(tǒng)的理論核xin。數(shù)據(jù)一致性這個(gè)單詞在平常開(kāi)發(fā)中,或者各種文章中都能經(jīng)常看見(jiàn),我們常常聽(tīng)見(jiàn)什么東西數(shù)據(jù)不一致了,造成了一定的損失,趕快修復(fù)一下。那有幾種一致性呢?a、時(shí)間一致性:要求所有數(shù)據(jù)組件的數(shù)據(jù)在任意時(shí)刻都是完全一致的;b、事物一致性:事務(wù)一致性只能存在在事務(wù)開(kāi)始前的和事務(wù)完成之后,在事務(wù)過(guò)程中數(shù)據(jù)有可能不一致,比如A轉(zhuǎn)100元給B...
分布式云閃塊存儲(chǔ)系統(tǒng)將具有本地存儲(chǔ)資源的標(biāo)準(zhǔn)服務(wù)器硬件,用高速網(wǎng)絡(luò)連接,并通過(guò)分布式軟件,聚合多個(gè)物理機(jī)上的存儲(chǔ)空間并對(duì)外提供具有大帶寬、并行I/O、水平擴(kuò)展、容錯(cuò)以及強(qiáng)一致性的數(shù)據(jù)存儲(chǔ)系統(tǒng),魏晉元興智能科技做為大道云行總代理,提供全國(guó)行業(yè)的分布式全閃塊存儲(chǔ)備份系統(tǒng)解決方案。分布式云閃塊存儲(chǔ)系統(tǒng)將具有本地存儲(chǔ)資源的標(biāo)準(zhǔn)服務(wù)器硬件,用高速網(wǎng)絡(luò)連接,并通過(guò)分布式軟件,聚合多個(gè)物理機(jī)上的存儲(chǔ)空間并對(duì)外提供具有大帶寬、并行I/O、水平擴(kuò)展、容錯(cuò)以及強(qiáng)一致性的數(shù)據(jù)存儲(chǔ)系統(tǒng),魏晉元興智能科技做為大道云行總代理,提供全國(guó)行業(yè)的分布式全閃塊存儲(chǔ)備份系統(tǒng)解決方案。分布式云閃塊存儲(chǔ)系統(tǒng)將具有本地存儲(chǔ)資源的標(biāo)準(zhǔn)...
得益于合理的分布式架構(gòu),分布式存儲(chǔ)可預(yù)估并且彈性擴(kuò)展計(jì)算、存儲(chǔ)容量和性能。分布式存儲(chǔ)的水平擴(kuò)展有以下幾個(gè)特性:1)節(jié)點(diǎn)擴(kuò)展后,舊數(shù)據(jù)會(huì)自動(dòng)遷移到新節(jié)點(diǎn),實(shí)現(xiàn)負(fù)載均衡,避點(diǎn)過(guò)熱的情況出現(xiàn);2)水平擴(kuò)展只需要將新節(jié)點(diǎn)和原有集群連接到同一網(wǎng)絡(luò),整個(gè)過(guò)程不會(huì)對(duì)業(yè)務(wù)造成影響;3)當(dāng)節(jié)點(diǎn)被添加到集群,集群系統(tǒng)的整體容量和性能也隨之線性擴(kuò)展,此后新節(jié)點(diǎn)的資源就會(huì)被管理平臺(tái)接管,被用于分配或者回收。隨著分布式存儲(chǔ)的發(fā)展,存儲(chǔ)行業(yè)的標(biāo)準(zhǔn)化進(jìn)程也不斷推進(jìn),分布式存儲(chǔ)優(yōu)先采用行業(yè)標(biāo)準(zhǔn)接口進(jìn)行存儲(chǔ)接入。在平臺(tái)層面,通過(guò)將異構(gòu)存儲(chǔ)資源進(jìn)行抽象化,將傳統(tǒng)的存儲(chǔ)設(shè)備級(jí)的操作封裝成面向存儲(chǔ)資源的操作,從而簡(jiǎn)化異構(gòu)...
分布式存儲(chǔ)架構(gòu)由三個(gè)部分組成:客戶端、元數(shù)據(jù)服務(wù)器和數(shù)據(jù)服務(wù)器。客戶端負(fù)責(zé)發(fā)送讀寫(xiě)請(qǐng)求,緩存文件元數(shù)據(jù)和文件數(shù)據(jù)。元數(shù)據(jù)服務(wù)器負(fù)責(zé)管理元數(shù)據(jù)和處理客戶端的請(qǐng)求,是整個(gè)系統(tǒng)的核xin組件。數(shù)據(jù)服務(wù)器負(fù)責(zé)存放文件數(shù)據(jù),保證數(shù)據(jù)的可用性和完整性。該架構(gòu)的好處是性能和容量能夠同時(shí)拓展,系統(tǒng)規(guī)模具有很強(qiáng)的伸縮性。分布式存儲(chǔ)分為文件存儲(chǔ)、對(duì)象存儲(chǔ)和塊存儲(chǔ),但它們?nèi)N存儲(chǔ)方式的基本架構(gòu)都是大同小異的。即客戶端或應(yīng)用端、元數(shù)據(jù)(MDS)服務(wù)器和數(shù)據(jù)節(jié)點(diǎn)服務(wù)器??蛻舳撕驮獢?shù)據(jù)服務(wù)器之間交互是“信令交互”,而客戶端到數(shù)據(jù)節(jié)點(diǎn)是“媒體交互”。元數(shù)據(jù)服務(wù)器或通過(guò)數(shù)據(jù)節(jié)點(diǎn)服務(wù)器獲取各節(jié)點(diǎn)服務(wù)器的基本配置情況和狀態(tài)信...
分布式存儲(chǔ)在大數(shù)據(jù)環(huán)境下,數(shù)據(jù)規(guī)模和復(fù)雜度的增加往往非常迅速,對(duì)系統(tǒng)的擴(kuò)展性能要求較高。實(shí)現(xiàn)存儲(chǔ)系統(tǒng)的高可擴(kuò)展性首先要解決兩個(gè)方面的重要問(wèn)題,包含元數(shù)據(jù)的分配和數(shù)據(jù)的透明遷移。元數(shù)據(jù)的分配主要通過(guò)靜態(tài)子樹(shù)劃分技術(shù)實(shí)現(xiàn),后者則側(cè)重?cái)?shù)據(jù)遷移算法的優(yōu)化。此外,大數(shù)據(jù)存儲(chǔ)體系規(guī)模龐大.結(jié)點(diǎn)失效率高,因此還需要完成一定的自適應(yīng)管理功能。系統(tǒng)必須能夠根據(jù)數(shù)據(jù)量和計(jì)算的工作量估算所需要的結(jié)點(diǎn)個(gè)數(shù),并動(dòng)態(tài)地將數(shù)據(jù)在結(jié)點(diǎn)間遷移。以實(shí)現(xiàn)負(fù)載均衡;同時(shí).結(jié)點(diǎn)失效時(shí),數(shù)據(jù)必須可以通過(guò)副本等機(jī)制進(jìn)行恢復(fù),不能對(duì)上層應(yīng)用產(chǎn)生影響。 分布式存儲(chǔ)“避坑”指南。蕪湖全閃塊分布式存儲(chǔ) 分布式存儲(chǔ)包含的種類繁多,除了傳統(tǒng)意義...
分布式存儲(chǔ)是一種數(shù)據(jù)存儲(chǔ)技術(shù),通過(guò)網(wǎng)絡(luò)使用企業(yè)中的每臺(tái)機(jī)器上的磁盤空間,并將這些分散的存儲(chǔ)資源構(gòu)成一個(gè)虛擬的存儲(chǔ)設(shè)備,數(shù)據(jù)分散的存儲(chǔ)在企業(yè)的各個(gè)角落。分布式存儲(chǔ)系統(tǒng),是將數(shù)據(jù)分散存儲(chǔ)在多個(gè)du立的設(shè)備上。傳統(tǒng)的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)采用集中的存儲(chǔ)服務(wù)器存放所有數(shù)據(jù),存儲(chǔ)服務(wù)器成為系統(tǒng)性能的瓶頸,也是可靠性和安全性的焦點(diǎn),不能滿足大規(guī)模存儲(chǔ)應(yīng)用的需要。分布式網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu),利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷,利用位置服務(wù)器定位存儲(chǔ)信息,它不但提高了系統(tǒng)的可靠性、可用性和存取效率,還易于擴(kuò)展。 分布式存儲(chǔ)系統(tǒng)需要使用多臺(tái)服務(wù)器共同存儲(chǔ)數(shù)據(jù),隨著服務(wù)器數(shù)量的增加,出現(xiàn)故障的概率也在不斷增加。...
分布式存儲(chǔ)早是由谷歌提出的,其目的是通過(guò)廉價(jià)的服務(wù)器來(lái)提供使用與大規(guī)模,高并發(fā)場(chǎng)景下的Web訪問(wèn)問(wèn)題。它采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu),利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷,利用位置服務(wù)器定位存儲(chǔ)信息,它不但提高了系統(tǒng)的可靠性、可用性和存取效率,還易于擴(kuò)展。分布式存儲(chǔ)的興起與互聯(lián)網(wǎng)的發(fā)展密不可分,互聯(lián)網(wǎng)公司由于其數(shù)據(jù)量大而資本積累少,而通常都使用大規(guī)模分布式存儲(chǔ)系統(tǒng)。與傳統(tǒng)的高duan服務(wù)器、高duan存儲(chǔ)器和高duan處理器不同的是,互聯(lián)網(wǎng)公司的分布式存儲(chǔ)系統(tǒng)由數(shù)量眾多的、低成本和高性價(jià)比的普通PC服務(wù)器通過(guò)網(wǎng)絡(luò)連接而成。 集中式存儲(chǔ)和分布式存儲(chǔ)的區(qū)別在哪里?金華什么是分布式存儲(chǔ) 在分布式存儲(chǔ)...
說(shuō)到分布式存儲(chǔ),我們先來(lái)看一下傳統(tǒng)的存儲(chǔ)是怎么個(gè)樣子。傳統(tǒng)的存儲(chǔ)也稱為集中式存儲(chǔ),從概念上可以看出來(lái)是具有集中性的,也就是整個(gè)存儲(chǔ)是集中在一個(gè)系統(tǒng)中的,但集中式存儲(chǔ)并不是一個(gè)單獨(dú)的設(shè)備,是集中在一套系統(tǒng)當(dāng)中的多個(gè)設(shè)備,比如下圖中的EMC存儲(chǔ)就需要幾個(gè)機(jī)柜來(lái)存放。在這個(gè)存儲(chǔ)系統(tǒng)中包含很多組件,除了核xin的機(jī)頭(控制器)、磁盤陣列和交換機(jī)等設(shè)備外,還有管理設(shè)備等輔助設(shè)備。結(jié)構(gòu)中包含一個(gè)機(jī)頭,這個(gè)是存儲(chǔ)系統(tǒng)中為核xin的部件。通常在機(jī)頭中有包含兩個(gè)控制器,互為備用,避免硬件故障導(dǎo)致整個(gè)存儲(chǔ)系統(tǒng)的不可用。 分布式存儲(chǔ)與數(shù)據(jù)庫(kù)選型**整理分享。南通魏晉元興分布式存儲(chǔ)的一般架構(gòu) 正所謂長(zhǎng)江后浪推前...
從技術(shù)的角度,分布式存儲(chǔ)的發(fā)力點(diǎn)在大規(guī)模的擴(kuò)展性,基于此逐步優(yōu)化性能、可靠性,讓海量數(shù)據(jù)存得下、用得起;集中式存儲(chǔ)的技術(shù)方向在于保持穩(wěn)定性的基礎(chǔ)上,利用更快的介質(zhì)、更低時(shí)延的網(wǎng)絡(luò)為核xin業(yè)務(wù)提供加速,讓業(yè)務(wù)更穩(wěn)、效率更高。因此,從技術(shù)方向上來(lái)看,二者也是各有側(cè)重的。云和分布式存儲(chǔ)一樣,這些年正在大行其道、炙手可熱。CloudFirst、AllinCloud、CloudNative等概念風(fēng)靡業(yè)界,CIO見(jiàn)面不提云貌似都不好意思打招呼。早期人們也習(xí)慣把分布式存儲(chǔ)叫做“云存儲(chǔ)”,那么分布式存儲(chǔ)和云是什么關(guān)系?筆者認(rèn)為,分布式存儲(chǔ)是一種技術(shù)架構(gòu),而云是一種商業(yè)模式。分布式存儲(chǔ)可以被用作各...
由于異常的存在,分布式存儲(chǔ)系統(tǒng)設(shè)計(jì)時(shí)往往會(huì)將數(shù)據(jù)冗余存儲(chǔ)多份,每一份稱為一個(gè)副本)。這樣,當(dāng)某一個(gè)節(jié)點(diǎn)出現(xiàn)故障時(shí),可以從其他副本上讀到數(shù)據(jù)。可以這么認(rèn)為,副本是分布式存儲(chǔ)系統(tǒng)容錯(cuò)技術(shù)的手段。由于多個(gè)副本的存在,如何保證副本之間的一致性是整個(gè)分布式系統(tǒng)的理論核xin。數(shù)據(jù)一致性這個(gè)單詞在平常開(kāi)發(fā)中,或者各種文章中都能經(jīng)??匆?jiàn),我們常常聽(tīng)見(jiàn)什么東西數(shù)據(jù)不一致了,造成了一定的損失,趕快修復(fù)一下。那有幾種一致性呢?a、時(shí)間一致性:要求所有數(shù)據(jù)組件的數(shù)據(jù)在任意時(shí)刻都是完全一致的;b、事物一致性:事務(wù)一致性只能存在在事務(wù)開(kāi)始前的和事務(wù)完成之后,在事務(wù)過(guò)程中數(shù)據(jù)有可能不一致,比如A轉(zhuǎn)100元給B...
分布式存儲(chǔ)系統(tǒng)中的多臺(tái)服務(wù)器通過(guò)網(wǎng)絡(luò)進(jìn)行連接。但是我們無(wú)法保證網(wǎng)絡(luò)是一直通暢的,分布式系統(tǒng)需要具有一定的容錯(cuò)性來(lái)處理網(wǎng)絡(luò)故障帶來(lái)的問(wèn)題。一個(gè)令人滿意的情況是,當(dāng)一個(gè)網(wǎng)絡(luò)因?yàn)楣收隙纸鉃槎鄠€(gè)部分的時(shí)候,分布式存儲(chǔ)系統(tǒng)仍然能夠工作。分布式存儲(chǔ)系統(tǒng)需要使用多臺(tái)服務(wù)器共同存儲(chǔ)數(shù)據(jù),而隨著服務(wù)器數(shù)量的增加,服務(wù)器出現(xiàn)故障的概率也在不斷增加。為了保證在有服務(wù)器出現(xiàn)故障的情況下系統(tǒng)仍然可用。一般做法是把一個(gè)數(shù)據(jù)分成多份存儲(chǔ)在不同的服務(wù)器中。但是由于故障和并行存儲(chǔ)等情況的存在,同一個(gè)數(shù)據(jù)的多個(gè)副本之間可能存在不一致的情況。這里稱保證多個(gè)副本的數(shù)據(jù)完全一致的性質(zhì)為一致性。 分布式存儲(chǔ)系統(tǒng),是將數(shù)據(jù)分散存儲(chǔ)在...
分布式存儲(chǔ)架構(gòu)由三個(gè)部分組成:客戶端、元數(shù)據(jù)服務(wù)器和數(shù)據(jù)服務(wù)器??蛻舳素?fù)責(zé)發(fā)送讀寫(xiě)請(qǐng)求,緩存文件元數(shù)據(jù)和文件數(shù)據(jù)。元數(shù)據(jù)服務(wù)器負(fù)責(zé)管理元數(shù)據(jù)和處理客戶端的請(qǐng)求,是整個(gè)系統(tǒng)的核xin組件。數(shù)據(jù)服務(wù)器負(fù)責(zé)存放文件數(shù)據(jù),保證數(shù)據(jù)的可用性和完整性。該架構(gòu)的好處是性能和容量能夠同時(shí)拓展,系統(tǒng)規(guī)模具有很強(qiáng)的伸縮性。分布式存儲(chǔ)分為文件存儲(chǔ)、對(duì)象存儲(chǔ)和塊存儲(chǔ),但它們?nèi)N存儲(chǔ)方式的基本架構(gòu)都是大同小異的。即客戶端或應(yīng)用端、元數(shù)據(jù)(MDS)服務(wù)器和數(shù)據(jù)節(jié)點(diǎn)服務(wù)器。客戶端和元數(shù)據(jù)服務(wù)器之間交互是“信令交互”,而客戶端到數(shù)據(jù)節(jié)點(diǎn)是“媒體交互”。元數(shù)據(jù)服務(wù)器或通過(guò)數(shù)據(jù)節(jié)點(diǎn)服務(wù)器獲取各節(jié)點(diǎn)服務(wù)器的基本配置情況和狀態(tài)信...
分布式存儲(chǔ)的興起與互聯(lián)網(wǎng)的發(fā)展密不可分,互聯(lián)網(wǎng)公司由于其數(shù)據(jù)量大而資本積累少,而通常都使用大規(guī)模分布式存儲(chǔ)系統(tǒng)。與傳統(tǒng)的高duan服務(wù)器、高duan存儲(chǔ)器和高duan處理器不同的是,互聯(lián)網(wǎng)公司的分布式存儲(chǔ)系統(tǒng)由數(shù)量眾多的、低成本和高性價(jià)比的普通PC服務(wù)器通過(guò)網(wǎng)絡(luò)連接而成。其主要原因有以下三點(diǎn)(1)互聯(lián)網(wǎng)的業(yè)務(wù)發(fā)展很快,而且注意成本消耗,這就使得存儲(chǔ)系統(tǒng)不能依靠傳統(tǒng)的縱向擴(kuò)展的方式,即先買小型機(jī),不夠時(shí)再買中型機(jī),甚至大型機(jī)?;ヂ?lián)網(wǎng)后端的分布式系統(tǒng)要求支持橫向擴(kuò)展,即通過(guò)增加普通PC服務(wù)器來(lái)提高系統(tǒng)的整體處理能力。(2)普通PC服務(wù)器性價(jià)比高,故障率也高,需要在軟件層面實(shí)現(xiàn)自動(dòng)容錯(cuò),...
在分布式存儲(chǔ)的容災(zāi)中,一個(gè)重要的手段就是多時(shí)間點(diǎn)快照技術(shù),使得用戶生產(chǎn)系統(tǒng)能夠?qū)崿F(xiàn)一定時(shí)間間隔下的各版本數(shù)據(jù)的保存。特別值得一提的是,多時(shí)間點(diǎn)快照技術(shù)支持同時(shí)提取多個(gè)時(shí)間點(diǎn)樣本同時(shí)恢復(fù),這對(duì)于很多邏輯錯(cuò)誤的災(zāi)難定位十分有用,如果用戶有多臺(tái)服務(wù)器或虛擬機(jī)可以用作系統(tǒng)恢復(fù),通過(guò)比照和分析,可以快速找到哪個(gè)時(shí)間點(diǎn)才是需要回復(fù)的時(shí)間點(diǎn),降低了故障定位的難度,縮短了定位時(shí)間。這個(gè)功能還非常有利于進(jìn)行故障重現(xiàn),從而進(jìn)行分析和研究,避免災(zāi)難在未來(lái)再次發(fā)生。多副本技術(shù),數(shù)據(jù)條帶化放置,多時(shí)間點(diǎn)快照和周期增量復(fù)制等技術(shù)為分布式存儲(chǔ)的高可靠性提供了保障。 分布式存儲(chǔ)“避坑”指南。寧波全閃塊分布式存儲(chǔ) ...
得益于合理的分布式架構(gòu),分布式存儲(chǔ)可預(yù)估并且彈性擴(kuò)展計(jì)算、存儲(chǔ)容量和性能。分布式存儲(chǔ)的水平擴(kuò)展有以下幾個(gè)特性:1)節(jié)點(diǎn)擴(kuò)展后,舊數(shù)據(jù)會(huì)自動(dòng)遷移到新節(jié)點(diǎn),實(shí)現(xiàn)負(fù)載均衡,避點(diǎn)過(guò)熱的情況出現(xiàn);2)水平擴(kuò)展只需要將新節(jié)點(diǎn)和原有集群連接到同一網(wǎng)絡(luò),整個(gè)過(guò)程不會(huì)對(duì)業(yè)務(wù)造成影響;3)當(dāng)節(jié)點(diǎn)被添加到集群,集群系統(tǒng)的整體容量和性能也隨之線性擴(kuò)展,此后新節(jié)點(diǎn)的資源就會(huì)被管理平臺(tái)接管,被用于分配或者回收。隨著分布式存儲(chǔ)的發(fā)展,存儲(chǔ)行業(yè)的標(biāo)準(zhǔn)化進(jìn)程也不斷推進(jìn),分布式存儲(chǔ)優(yōu)先采用行業(yè)標(biāo)準(zhǔn)接口進(jìn)行存儲(chǔ)接入。在平臺(tái)層面,通過(guò)將異構(gòu)存儲(chǔ)資源進(jìn)行抽象化,將傳統(tǒng)的存儲(chǔ)設(shè)備級(jí)的操作封裝成面向存儲(chǔ)資源的操作,從而簡(jiǎn)化異構(gòu)...
很多人可能從來(lái)沒(méi)有考慮過(guò)這個(gè)問(wèn)題,為什么需要分布式存儲(chǔ)?實(shí)際上,使用分布式存儲(chǔ)是“被迫”的,因?yàn)殡S著互聯(lián)網(wǎng)的飛速發(fā)展、應(yīng)用越來(lái)越豐富、用戶數(shù)量越來(lái)越多、數(shù)據(jù)也成幾何級(jí)增長(zhǎng),海量數(shù)據(jù)的存儲(chǔ)給本地存儲(chǔ)帶了巨大壓力,存儲(chǔ)系統(tǒng)已經(jīng)不堪重負(fù),處于崩潰的邊緣,因此,必須通過(guò)其他手段分散存儲(chǔ)系統(tǒng)壓力,分布式存儲(chǔ)和分布式文件系統(tǒng)應(yīng)運(yùn)而生。實(shí)際上,如果可能,應(yīng)該是盡量不使用分布式的,因?yàn)檫@會(huì)增加系統(tǒng)的復(fù)雜度和管理難度,然而,雖然是這樣,但這些終歸是可以通過(guò)其他技術(shù)來(lái)解決,而如果不使用分布式,系統(tǒng)的可用性、穩(wěn)定性都無(wú)法保證,更談不上系統(tǒng)的高性能了。因此,說(shuō)分布式是被迫使用的,一點(diǎn)也不夸張。 分布式存儲(chǔ)釋放了大...
面對(duì)海量數(shù)據(jù)的存儲(chǔ)需求,分布式存儲(chǔ)顯然在架構(gòu)上有著天然優(yōu)勢(shì),但在這波數(shù)據(jù)洪流之中也面臨著性能上的全新挑戰(zhàn)。于分布式存儲(chǔ)的工作原理是將各個(gè)存儲(chǔ)節(jié)點(diǎn)使用網(wǎng)絡(luò)互聯(lián)的方式構(gòu)建為集群,向外部提供更加可靠的高性能服務(wù),因此可以說(shuō)分布式存儲(chǔ)本質(zhì)上是一種網(wǎng)絡(luò)存儲(chǔ),其性能在很大程度上受網(wǎng)絡(luò)的影響。在高性能的分布式存儲(chǔ)中,使用傳統(tǒng)的TCP網(wǎng)絡(luò)進(jìn)行各存儲(chǔ)節(jié)點(diǎn)之間的網(wǎng)絡(luò)互聯(lián)很容易形成網(wǎng)絡(luò)瓶頸,而在分布式存儲(chǔ)容易讓用戶詬病的IO延時(shí)方面,網(wǎng)絡(luò)部分的開(kāi)銷是不可忽視的一部分。 分布式存儲(chǔ)提供豐富的API,根據(jù)業(yè)務(wù)應(yīng)用要求,自動(dòng)按需部署存儲(chǔ)資源,實(shí)現(xiàn)基于存儲(chǔ)策略的自動(dòng)化管理目標(biāo)。合肥全閃塊分布式存儲(chǔ)系統(tǒng)架構(gòu) 在...
分布式存儲(chǔ)的興起與互聯(lián)網(wǎng)的發(fā)展密不可分,互聯(lián)網(wǎng)公司由于其數(shù)據(jù)量大而資本積累少,而通常都使用大規(guī)模分布式存儲(chǔ)系統(tǒng)。與傳統(tǒng)的高duan服務(wù)器、高duan存儲(chǔ)器和高duan處理器不同的是,互聯(lián)網(wǎng)公司的分布式存儲(chǔ)系統(tǒng)由數(shù)量眾多的、低成本和高性價(jià)比的普通PC服務(wù)器通過(guò)網(wǎng)絡(luò)連接而成。其主要原因有以下三點(diǎn)(1)互聯(lián)網(wǎng)的業(yè)務(wù)發(fā)展很快,而且注意成本消耗,這就使得存儲(chǔ)系統(tǒng)不能依靠傳統(tǒng)的縱向擴(kuò)展的方式,即先買小型機(jī),不夠時(shí)再買中型機(jī),甚至大型機(jī)?;ヂ?lián)網(wǎng)后端的分布式系統(tǒng)要求支持橫向擴(kuò)展,即通過(guò)增加普通PC服務(wù)器來(lái)提高系統(tǒng)的整體處理能力。(2)普通PC服務(wù)器性價(jià)比高,故障率也高,需要在軟件層面實(shí)現(xiàn)自動(dòng)容錯(cuò),...
從技術(shù)的角度,分布式存儲(chǔ)的發(fā)力點(diǎn)在大規(guī)模的擴(kuò)展性,基于此逐步優(yōu)化性能、可靠性,讓海量數(shù)據(jù)存得下、用得起;集中式存儲(chǔ)的技術(shù)方向在于保持穩(wěn)定性的基礎(chǔ)上,利用更快的介質(zhì)、更低時(shí)延的網(wǎng)絡(luò)為核xin業(yè)務(wù)提供加速,讓業(yè)務(wù)更穩(wěn)、效率更高。因此,從技術(shù)方向上來(lái)看,二者也是各有側(cè)重的。云和分布式存儲(chǔ)一樣,這些年正在大行其道、炙手可熱。CloudFirst、AllinCloud、CloudNative等概念風(fēng)靡業(yè)界,CIO見(jiàn)面不提云貌似都不好意思打招呼。早期人們也習(xí)慣把分布式存儲(chǔ)叫做“云存儲(chǔ)”,那么分布式存儲(chǔ)和云是什么關(guān)系?筆者認(rèn)為,分布式存儲(chǔ)是一種技術(shù)架構(gòu),而云是一種商業(yè)模式。分布式存儲(chǔ)可以被用作各...