分布式存儲(chǔ)早是由谷歌提出的,其目的是通過廉價(jià)的服務(wù)器來提供使用與大規(guī)模,高并發(fā)場(chǎng)景下的Web訪問問題。它采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu),利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷,利用位置服務(wù)器定位存儲(chǔ)信息,它不但提高了系統(tǒng)的可靠性、可用性和存取效率,還易于擴(kuò)展。分布式存儲(chǔ)的興起與互聯(lián)網(wǎng)的發(fā)展密不可分,互聯(lián)網(wǎng)公司由于其數(shù)據(jù)量大而資本積累少,而通常都使用大規(guī)模分布式存儲(chǔ)系統(tǒng)。與傳統(tǒng)的高duan服務(wù)器、高duan存儲(chǔ)器和高duan處理器不同的是,互聯(lián)網(wǎng)公司的分布式存儲(chǔ)系統(tǒng)由數(shù)量眾多的、低成本和高性價(jià)比的普通PC服務(wù)器通過網(wǎng)絡(luò)連接而成。 集中式存儲(chǔ)和分布式存儲(chǔ)的區(qū)別在哪里?金華什么是分布式存儲(chǔ)
在分布式存儲(chǔ)系統(tǒng)(包括OceanBase這樣的分布式數(shù)據(jù)庫)的使用中,我們經(jīng)常會(huì)提到“一致性”這個(gè)詞,但是這個(gè)術(shù)語在不同的系統(tǒng)、不同人的心目中有不同的內(nèi)涵,很容易造成混淆。想象一個(gè)簡單的存儲(chǔ)系統(tǒng),只有一個(gè)客戶端(單進(jìn)程)和一個(gè)服務(wù)端(單進(jìn)程服務(wù))??蛻舳隧樞虬l(fā)起讀寫操作,服務(wù)端也順序處理每個(gè)請(qǐng)求,那么無論從服務(wù)器視角還是從客戶端視角,后一個(gè)操作都可以看到前一個(gè)操作的結(jié)果。然后,系統(tǒng)變的復(fù)雜一些,系統(tǒng)還是單個(gè)服務(wù)進(jìn)程(單副本),但是有多個(gè)客戶端并發(fā)進(jìn)行操作。這個(gè)模型下,多個(gè)客戶端的操作會(huì)互相影響,比如一個(gè)客戶端會(huì)讀到不是自己寫的數(shù)據(jù)(另一個(gè)客戶端寫入的)。一般單機(jī)并發(fā)程序就是這樣的模型,比如多個(gè)線程共享內(nèi)存的程序中。 揚(yáng)州全閃塊分布式存儲(chǔ)分布式存儲(chǔ)系統(tǒng)需要多臺(tái)服務(wù)器同時(shí)工作。
一般分布式存儲(chǔ)的MDC采用的是數(shù)據(jù)庫或內(nèi)存儲(chǔ)數(shù)據(jù)庫來記錄數(shù)據(jù)塊和物理位置關(guān)系??蛻舳讼騇DC發(fā)出詢問位置的請(qǐng)求,MDC查詢數(shù)據(jù)庫后返回請(qǐng)求數(shù)據(jù)的存儲(chǔ)位置。這種方法存儲(chǔ)訪問的速度較慢,而且MDC作為交通的“樞紐”,是整個(gè)存儲(chǔ)的核xin,當(dāng)MDC發(fā)生故障,會(huì)導(dǎo)致整個(gè)存儲(chǔ)都不能使用。但是采取這個(gè)方式,也有好處,比如可以根據(jù)不同需求設(shè)置不同的副本策略等。對(duì)象存儲(chǔ)對(duì)象存儲(chǔ)是在同樣容量下提供的存儲(chǔ)性能比文件存儲(chǔ)更好,又能像文件存儲(chǔ)一樣有很好的共享性。實(shí)際使用中,性能不是對(duì)象存儲(chǔ)關(guān)注的問題,需要高性能可以用塊存儲(chǔ),容量才是對(duì)象存儲(chǔ)關(guān)注的問題。所以對(duì)象存儲(chǔ)的持久化層的硬盤數(shù)量更多,單盤的容量也更大。對(duì)象存儲(chǔ)的數(shù)據(jù)的安全性保障也各式各樣,可以是單機(jī)raid或網(wǎng)絡(luò)raid,也可以副本。Ceph和google基于GFS的存儲(chǔ)就是典型的對(duì)象存儲(chǔ)。
與傳統(tǒng)的存儲(chǔ)架構(gòu)使用RAID模式來保證數(shù)據(jù)的可靠性不同,分布式存儲(chǔ)采用了多副本備份機(jī)制。在存儲(chǔ)數(shù)據(jù)之前,分布式存儲(chǔ)對(duì)數(shù)據(jù)進(jìn)行了分片,分片后的數(shù)據(jù)按照一定的規(guī)則保存在集群節(jié)點(diǎn)上。為了保證多個(gè)數(shù)據(jù)副本之間的一致性,分布式存儲(chǔ)通常采用的是一個(gè)副本寫入,多個(gè)副本讀取的強(qiáng)一致性技術(shù),使用鏡像、條帶、分布式校驗(yàn)等方式滿足租戶對(duì)于可靠性不同的需求。在讀取數(shù)據(jù)失敗的時(shí)候,系統(tǒng)可以通過從其他副本讀取數(shù)據(jù),重新寫入該副本進(jìn)行恢復(fù),從而保證副本的總數(shù)固定。當(dāng)數(shù)據(jù)長時(shí)間處于不一致狀態(tài)時(shí),系統(tǒng)會(huì)自動(dòng)數(shù)據(jù)重建恢復(fù),同時(shí)租戶可設(shè)定數(shù)據(jù)恢復(fù)的帶寬規(guī)則,小化對(duì)業(yè)務(wù)的影響。 分布式存儲(chǔ)系統(tǒng)通過復(fù)制協(xié)議將數(shù)據(jù)同步到多個(gè)存儲(chǔ)節(jié)點(diǎn),并確保多個(gè)副本之間的數(shù)據(jù)一致性。
分布式存儲(chǔ)系統(tǒng)中的多臺(tái)服務(wù)器通過網(wǎng)絡(luò)進(jìn)行連接。但是我們無法保證網(wǎng)絡(luò)是一直通暢的,分布式系統(tǒng)需要具有一定的容錯(cuò)性來處理網(wǎng)絡(luò)故障帶來的問題。一個(gè)令人滿意的情況是,當(dāng)一個(gè)網(wǎng)絡(luò)因?yàn)楣收隙纸鉃槎鄠€(gè)部分的時(shí)候,分布式存儲(chǔ)系統(tǒng)仍然能夠工作。分布式存儲(chǔ)系統(tǒng)需要使用多臺(tái)服務(wù)器共同存儲(chǔ)數(shù)據(jù),而隨著服務(wù)器數(shù)量的增加,服務(wù)器出現(xiàn)故障的概率也在不斷增加。為了保證在有服務(wù)器出現(xiàn)故障的情況下系統(tǒng)仍然可用。一般做法是把一個(gè)數(shù)據(jù)分成多份存儲(chǔ)在不同的服務(wù)器中。但是由于故障和并行存儲(chǔ)等情況的存在,同一個(gè)數(shù)據(jù)的多個(gè)副本之間可能存在不一致的情況。這里稱保證多個(gè)副本的數(shù)據(jù)完全一致的性質(zhì)為一致性。 分布式存儲(chǔ)是一種數(shù)據(jù)存儲(chǔ)技術(shù),通過網(wǎng)絡(luò)使用企業(yè)中的每臺(tái)機(jī)器上的磁盤空間。泰州聯(lián)想分布式存儲(chǔ)有哪些
干貨:一文看懂分布式存儲(chǔ)架構(gòu)。金華什么是分布式存儲(chǔ)
面對(duì)海量數(shù)據(jù)的存儲(chǔ)需求,分布式存儲(chǔ)顯然在架構(gòu)上有著天然優(yōu)勢(shì),但在這波數(shù)據(jù)洪流之中也面臨著性能上的全新挑戰(zhàn)。于分布式存儲(chǔ)的工作原理是將各個(gè)存儲(chǔ)節(jié)點(diǎn)使用網(wǎng)絡(luò)互聯(lián)的方式構(gòu)建為集群,向外部提供更加可靠的高性能服務(wù),因此可以說分布式存儲(chǔ)本質(zhì)上是一種網(wǎng)絡(luò)存儲(chǔ),其性能在很大程度上受網(wǎng)絡(luò)的影響。在高性能的分布式存儲(chǔ)中,使用傳統(tǒng)的TCP網(wǎng)絡(luò)進(jìn)行各存儲(chǔ)節(jié)點(diǎn)之間的網(wǎng)絡(luò)互聯(lián)很容易形成網(wǎng)絡(luò)瓶頸,而在分布式存儲(chǔ)容易讓用戶詬病的IO延時(shí)方面,網(wǎng)絡(luò)部分的開銷是不可忽視的一部分。 金華什么是分布式存儲(chǔ)
江蘇魏晉元興智能科技有限公司位于南京市雨花臺(tái)區(qū)大周路32號(hào)D2幢北樓3樓-024。公司業(yè)務(wù)涵蓋網(wǎng)絡(luò)安全,VR,MR,VR,AI,視頻監(jiān)控安防,出入口門禁失控制等,價(jià)格合理,品質(zhì)有保證。公司注重以質(zhì)量為中心,以服務(wù)為理念,秉持誠信為本的理念,打造數(shù)碼、電腦良好品牌。在社會(huì)各界的鼎力支持下,持續(xù)創(chuàng)新,不斷鑄造***服務(wù)體驗(yàn),為客戶成功提供堅(jiān)實(shí)有力的支持。