分布式存儲(chǔ)分為文件存儲(chǔ)、對(duì)象存儲(chǔ)和塊存儲(chǔ),但它們?nèi)N存儲(chǔ)方式的基本架構(gòu)都是大同小異的。即客戶端或應(yīng)用端、元數(shù)據(jù)(MDS)服務(wù)器和數(shù)據(jù)節(jié)點(diǎn)服務(wù)器??蛻舳撕驮獢?shù)據(jù)服務(wù)器之間交互是“信令交互”,而客戶端到數(shù)據(jù)節(jié)點(diǎn)是“媒體交互”。元數(shù)據(jù)服務(wù)器或通過數(shù)據(jù)節(jié)點(diǎn)服務(wù)器獲取各節(jié)點(diǎn)服務(wù)器的基本配置情況和狀態(tài)信息。比如,客戶端需要讀取某一個(gè)文件的信息,客戶端會(huì)將相應(yīng)的要求發(fā)給元數(shù)據(jù)服務(wù)器:“喂!我需要XXX,存在哪里了”,元數(shù)據(jù)服務(wù)器查詢后回答“你到xxx服務(wù)器的xxx地址+xxx服務(wù)器的xxx地址取”??蛻舳四玫竭@個(gè)指示后,向這2臺(tái)服務(wù)器發(fā)出指令,數(shù)據(jù)節(jié)點(diǎn)獲得指令后,將相應(yīng)的數(shù)據(jù)返回給客戶端。 如何保證分布式存儲(chǔ)系統(tǒng)的高性能與高可用性呢?紹興魏晉元興分布式存儲(chǔ)
在整個(gè)結(jié)構(gòu)中,機(jī)頭中是整個(gè)分布式存儲(chǔ)系統(tǒng)的核xin部件,整個(gè)存儲(chǔ)系統(tǒng)的高級(jí)功能都在其中實(shí)現(xiàn)??刂破髦械能浖?shí)現(xiàn)對(duì)磁盤的管理,將磁盤抽象化為存儲(chǔ)資源池,然后劃分為L(zhǎng)UN提供給服務(wù)器使用。這里的LUN其實(shí)就是在服務(wù)器上看到的磁盤。當(dāng)然,一些集中式存儲(chǔ)本身也是文件服務(wù)器,可以提供共享文件服務(wù)。無論如何,從上面我們可以看出集中式存儲(chǔ)比較大的特點(diǎn)是有一個(gè)統(tǒng)一的入口,所有數(shù)據(jù)都要經(jīng)過這個(gè)入口,這個(gè)入口就是存儲(chǔ)系統(tǒng)的機(jī)頭。這也就是集中式存儲(chǔ)區(qū)別于分布式存儲(chǔ)明顯的特點(diǎn)。 嘉興魏晉元興分布式存儲(chǔ)原理分布式存儲(chǔ)的小知識(shí),你值得擁有!
在分布式存儲(chǔ)系統(tǒng)(包括OceanBase這樣的分布式數(shù)據(jù)庫)的使用中,我們經(jīng)常會(huì)提到“一致性”這個(gè)詞,但是這個(gè)術(shù)語在不同的系統(tǒng)、不同人的心目中有不同的內(nèi)涵,很容易造成混淆。想象一個(gè)簡(jiǎn)單的存儲(chǔ)系統(tǒng),只有一個(gè)客戶端(單進(jìn)程)和一個(gè)服務(wù)端(單進(jìn)程服務(wù))??蛻舳隧樞虬l(fā)起讀寫操作,服務(wù)端也順序處理每個(gè)請(qǐng)求,那么無論從服務(wù)器視角還是從客戶端視角,后一個(gè)操作都可以看到前一個(gè)操作的結(jié)果。然后,系統(tǒng)變的復(fù)雜一些,系統(tǒng)還是單個(gè)服務(wù)進(jìn)程(單副本),但是有多個(gè)客戶端并發(fā)進(jìn)行操作。這個(gè)模型下,多個(gè)客戶端的操作會(huì)互相影響,比如一個(gè)客戶端會(huì)讀到不是自己寫的數(shù)據(jù)(另一個(gè)客戶端寫入的)。一般單機(jī)并發(fā)程序就是這樣的模型,比如多個(gè)線程共享內(nèi)存的程序中。
很多人可能從來沒有考慮過這個(gè)問題,為什么需要分布式存儲(chǔ)?實(shí)際上,使用分布式存儲(chǔ)是“被迫”的,因?yàn)殡S著互聯(lián)網(wǎng)的飛速發(fā)展、應(yīng)用越來越豐富、用戶數(shù)量越來越多、數(shù)據(jù)也成幾何級(jí)增長(zhǎng),海量數(shù)據(jù)的存儲(chǔ)給本地存儲(chǔ)帶了巨大壓力,存儲(chǔ)系統(tǒng)已經(jīng)不堪重負(fù),處于崩潰的邊緣,因此,必須通過其他手段分散存儲(chǔ)系統(tǒng)壓力,分布式存儲(chǔ)和分布式文件系統(tǒng)應(yīng)運(yùn)而生。實(shí)際上,如果可能,應(yīng)該是盡量不使用分布式的,因?yàn)檫@會(huì)增加系統(tǒng)的復(fù)雜度和管理難度,然而,雖然是這樣,但這些終歸是可以通過其他技術(shù)來解決,而如果不使用分布式,系統(tǒng)的可用性、穩(wěn)定性都無法保證,更談不上系統(tǒng)的高性能了。因此,說分布式是被迫使用的,一點(diǎn)也不夸張。 集中式存儲(chǔ)和分布式存儲(chǔ)的區(qū)別在哪里?
分布式存儲(chǔ)系統(tǒng)具有如下特性:數(shù)據(jù)分為多個(gè)分片存儲(chǔ)在多臺(tái)服務(wù)節(jié)點(diǎn)上。每個(gè)分片有多個(gè)副本,存儲(chǔ)在不同的服務(wù)節(jié)點(diǎn)上。許多客戶端并發(fā)訪問系統(tǒng),執(zhí)行讀寫操作,每個(gè)讀寫操作在系統(tǒng)中需要花費(fèi)不等的時(shí)間。除非下文中特別注明和討論,讀寫操作是原子的。與數(shù)據(jù)庫事務(wù)一致性的區(qū)別:數(shù)據(jù)庫事務(wù)的ACID的中也有一個(gè)一致性(consistency),但彼一致性非此一致性。ACID中的一致性是指,數(shù)據(jù)庫的事務(wù)的執(zhí)行,或者說事務(wù)觀察到的數(shù)據(jù),總是要滿足某些全局的一致性約束條件,如性約束,外鍵約束等。這個(gè)概念和數(shù)據(jù)庫的數(shù)據(jù)是否多副本沒關(guān)系。而本文的一致性在多副本的語境下才有意義。所以,數(shù)據(jù)庫事務(wù)的一致性,是指數(shù)據(jù)項(xiàng)之間總是滿足某些約束條件,或者說整個(gè)數(shù)據(jù)庫在滿足約束條件的意義上是正確的。 關(guān)于分布式存儲(chǔ),你需要知道的真相。無錫全閃塊分布式存儲(chǔ)架構(gòu)實(shí)戰(zhàn)
分布式存儲(chǔ)釋放了大量被閑置的存儲(chǔ)資源,讓存儲(chǔ)變得更廉價(jià)、便捷且安全。紹興魏晉元興分布式存儲(chǔ)
面對(duì)海量數(shù)據(jù)的存儲(chǔ)需求,分布式存儲(chǔ)顯然在架構(gòu)上有著天然優(yōu)勢(shì),但在這波數(shù)據(jù)洪流之中也面臨著性能上的全新挑戰(zhàn)。于分布式存儲(chǔ)的工作原理是將各個(gè)存儲(chǔ)節(jié)點(diǎn)使用網(wǎng)絡(luò)互聯(lián)的方式構(gòu)建為集群,向外部提供更加可靠的高性能服務(wù),因此可以說分布式存儲(chǔ)本質(zhì)上是一種網(wǎng)絡(luò)存儲(chǔ),其性能在很大程度上受網(wǎng)絡(luò)的影響。在高性能的分布式存儲(chǔ)中,使用傳統(tǒng)的TCP網(wǎng)絡(luò)進(jìn)行各存儲(chǔ)節(jié)點(diǎn)之間的網(wǎng)絡(luò)互聯(lián)很容易形成網(wǎng)絡(luò)瓶頸,而在分布式存儲(chǔ)容易讓用戶詬病的IO延時(shí)方面,網(wǎng)絡(luò)部分的開銷是不可忽視的一部分。 紹興魏晉元興分布式存儲(chǔ)
江蘇魏晉元興智能科技有限公司是一家智能技術(shù)、計(jì)算機(jī)技術(shù)研發(fā)、技術(shù)咨詢,技術(shù)轉(zhuǎn)讓:軟件開 發(fā)、銷售;信息系統(tǒng)集成服務(wù):機(jī)電產(chǎn)品、計(jì)算機(jī)及配件、 電線電纜、儀器儀表、電子元器件、機(jī)械設(shè)備、機(jī)電設(shè)備 節(jié)能設(shè)備、辦公用品、攝影器材、文化用品、通訊設(shè)備、體 育器材、消防器材銷售;綜合布線工程、水電工程、園林綠 化工程、室內(nèi)裝飾工程、土石方工程設(shè)計(jì)、施工,提供勞務(wù) 服務(wù);企業(yè)形象策劃:企業(yè)管理咨詢:家用電器銷售、維 修;文化藝術(shù)交流活動(dòng)組織、 策劃。( 依法須經(jīng)批準(zhǔn)的項(xiàng) 目,經(jīng)相關(guān)部門批準(zhǔn)后方可開展經(jīng)營(yíng)活動(dòng))的公司,是一家集研發(fā)、設(shè)計(jì)、生產(chǎn)和銷售為一體的專業(yè)化公司。魏晉元興智能深耕行業(yè)多年,始終以客戶的需求為向?qū)?,為客戶提?**的網(wǎng)絡(luò)安全,VR,MR,VR,AI,視頻監(jiān)控安防,出入口門禁失控制。魏晉元興智能不斷開拓創(chuàng)新,追求出色,以技術(shù)為先導(dǎo),以產(chǎn)品為平臺(tái),以應(yīng)用為重點(diǎn),以服務(wù)為保證,不斷為客戶創(chuàng)造更高價(jià)值,提供更優(yōu)服務(wù)。魏晉元興智能始終關(guān)注數(shù)碼、電腦市場(chǎng),以敏銳的市場(chǎng)洞察力,實(shí)現(xiàn)與客戶的成長(zhǎng)共贏。