如何保證分布式存儲(chǔ)的高性能與高可用?大家可能想到的是,除了傳統(tǒng)架構(gòu)里面的備份、HotStandby、雙活、多活這種架構(gòu)之外,對(duì)于保證分布式存儲(chǔ)系統(tǒng)的高可靠和高可用,數(shù)據(jù)在系統(tǒng)中一般存儲(chǔ)多個(gè)副本。當(dāng)某個(gè)存儲(chǔ)節(jié)點(diǎn)出故障時(shí),系統(tǒng)能夠自動(dòng)將服務(wù)切換到其他的副本,從而實(shí)現(xiàn)自動(dòng)容錯(cuò)。分布式存儲(chǔ)系統(tǒng)通過(guò)復(fù)制協(xié)議將數(shù)據(jù)同步到多個(gè)存儲(chǔ)節(jié)點(diǎn),并確保多個(gè)副本之間的數(shù)據(jù)一致性。同一份數(shù)據(jù)有多個(gè)副本,只有一個(gè)為主副本Primary,其他的副本為備份副本Backup,數(shù)據(jù)從主副本復(fù)制到備份副本,采用終一致性來(lái)保證數(shù)據(jù)和事物的完整。 分布式存儲(chǔ)是未來(lái)趨勢(shì)。江蘇大規(guī)模分布式存儲(chǔ)有哪些
分布式存儲(chǔ)架構(gòu)由三個(gè)部分組成:客戶端、元數(shù)據(jù)服務(wù)器和數(shù)據(jù)服務(wù)器??蛻舳素?fù)責(zé)發(fā)送讀寫(xiě)請(qǐng)求,緩存文件元數(shù)據(jù)和文件數(shù)據(jù)。元數(shù)據(jù)服務(wù)器負(fù)責(zé)管理元數(shù)據(jù)和處理客戶端的請(qǐng)求,是整個(gè)系統(tǒng)的核xin組件。數(shù)據(jù)服務(wù)器負(fù)責(zé)存放文件數(shù)據(jù),保證數(shù)據(jù)的可用性和完整性。該架構(gòu)的好處是性能和容量能夠同時(shí)拓展,系統(tǒng)規(guī)模具有很強(qiáng)的伸縮性。分布式存儲(chǔ)分為文件存儲(chǔ)、對(duì)象存儲(chǔ)和塊存儲(chǔ),但它們?nèi)N存儲(chǔ)方式的基本架構(gòu)都是大同小異的。即客戶端或應(yīng)用端、元數(shù)據(jù)(MDS)服務(wù)器和數(shù)據(jù)節(jié)點(diǎn)服務(wù)器??蛻舳撕驮獢?shù)據(jù)服務(wù)器之間交互是“信令交互”,而客戶端到數(shù)據(jù)節(jié)點(diǎn)是“媒體交互”。元數(shù)據(jù)服務(wù)器或通過(guò)數(shù)據(jù)節(jié)點(diǎn)服務(wù)器獲取各節(jié)點(diǎn)服務(wù)器的基本配置情況和狀態(tài)信息。 金華集中式分布式存儲(chǔ)數(shù)據(jù)庫(kù)分布式存儲(chǔ)還能夠容忍服務(wù)器故障,存儲(chǔ)系統(tǒng)依然穩(wěn)定可用,可靠性更優(yōu)。
在分布式存儲(chǔ)系統(tǒng)(包括OceanBase這樣的分布式數(shù)據(jù)庫(kù))的使用中,我們經(jīng)常會(huì)提到“一致性”這個(gè)詞,但是這個(gè)術(shù)語(yǔ)在不同的系統(tǒng)、不同人的心目中有不同的內(nèi)涵,很容易造成混淆。想象一個(gè)簡(jiǎn)單的存儲(chǔ)系統(tǒng),只有一個(gè)客戶端(單進(jìn)程)和一個(gè)服務(wù)端(單進(jìn)程服務(wù))??蛻舳隧樞虬l(fā)起讀寫(xiě)操作,服務(wù)端也順序處理每個(gè)請(qǐng)求,那么無(wú)論從服務(wù)器視角還是從客戶端視角,后一個(gè)操作都可以看到前一個(gè)操作的結(jié)果。然后,系統(tǒng)變的復(fù)雜一些,系統(tǒng)還是單個(gè)服務(wù)進(jìn)程(單副本),但是有多個(gè)客戶端并發(fā)進(jìn)行操作。這個(gè)模型下,多個(gè)客戶端的操作會(huì)互相影響,比如一個(gè)客戶端會(huì)讀到不是自己寫(xiě)的數(shù)據(jù)(另一個(gè)客戶端寫(xiě)入的)。一般單機(jī)并發(fā)程序就是這樣的模型,比如多個(gè)線程共享內(nèi)存的程序中。
由于異常的存在,分布式存儲(chǔ)系統(tǒng)設(shè)計(jì)時(shí)往往會(huì)將數(shù)據(jù)冗余存儲(chǔ)多份,每一份稱為一個(gè)副本)。這樣,當(dāng)某一個(gè)節(jié)點(diǎn)出現(xiàn)故障時(shí),可以從其他副本上讀到數(shù)據(jù)。可以這么認(rèn)為,副本是分布式存儲(chǔ)系統(tǒng)容錯(cuò)技術(shù)的手段。由于多個(gè)副本的存在,如何保證副本之間的一致性是整個(gè)分布式系統(tǒng)的理論核xin。數(shù)據(jù)一致性這個(gè)單詞在平常開(kāi)發(fā)中,或者各種文章中都能經(jīng)??匆?jiàn),我們常常聽(tīng)見(jiàn)什么東西數(shù)據(jù)不一致了,造成了一定的損失,趕快修復(fù)一下。那有幾種一致性呢?a、時(shí)間一致性:要求所有數(shù)據(jù)組件的數(shù)據(jù)在任意時(shí)刻都是完全一致的;b、事物一致性:事務(wù)一致性只能存在在事務(wù)開(kāi)始前的和事務(wù)完成之后,在事務(wù)過(guò)程中數(shù)據(jù)有可能不一致,比如A轉(zhuǎn)100元給B,A扣減100,B加上100,在事務(wù)開(kāi)始前和事務(wù)完成之后都能保證他們的帳是對(duì)上的,那么這就是事務(wù)一致性。但是在事務(wù)過(guò)程中有可能會(huì)出現(xiàn)A扣減了100元,B沒(méi)有加上100元的情況,這就是不一致c、在應(yīng)用程序中涉及多個(gè)不同的單機(jī)事務(wù),只有在所有的單機(jī)事務(wù)完成之前和完成之后,數(shù)據(jù)是完全一致的。 如何保證分布式存儲(chǔ)系統(tǒng)的高性能與高可用性呢?
實(shí)際上分布式存儲(chǔ),高性能與高可用是矛盾的,比如要設(shè)計(jì)一個(gè)分布式存儲(chǔ)系統(tǒng),出于對(duì)性能的考慮,記錄數(shù)據(jù)時(shí)先寫(xiě)一個(gè)份數(shù)據(jù)到某個(gè)機(jī)器上并立即返回,然后異步發(fā)起多個(gè)數(shù)據(jù)備份過(guò)程(副本)。這種設(shè)計(jì)的性能比較好,但存在“容錯(cuò)性”的風(fēng)險(xiǎn),即寫(xiě)完數(shù)據(jù)后,目標(biāo)機(jī)器立即發(fā)生故障,會(huì)導(dǎo)致數(shù)據(jù)丟失!如果同時(shí)寫(xiě)多個(gè)副本,每個(gè)副本寫(xiě)成功以后再返回,則又導(dǎo)致性能下降,因?yàn)檫@個(gè)過(guò)程取決于慢的那臺(tái)機(jī)器的性能。這就是高性能與高可用之間的矛盾。而要真正從根本上克服這些矛盾,解決分布式存儲(chǔ)的高性能和高可用問(wèn)題,更有效的是對(duì)于分布式文件系統(tǒng)和分布式存儲(chǔ)系統(tǒng)架構(gòu)進(jìn)行優(yōu)化和改進(jìn),從而從源頭解決這些問(wèn)題。 分布式存儲(chǔ)在企業(yè)數(shù)據(jù)治理體系中,無(wú)疑扮演著重要角色。金華視頻分布式存儲(chǔ)有哪些
超大規(guī)模時(shí)空數(shù)據(jù)的分布式存儲(chǔ)與應(yīng)用。江蘇大規(guī)模分布式存儲(chǔ)有哪些
開(kāi)源分布式存儲(chǔ)軟件的出現(xiàn),一定程度上降低了存儲(chǔ)的門(mén)檻,小公司可快速包裝出存儲(chǔ)產(chǎn)品,帶動(dòng)服務(wù)器銷(xiāo)售。但產(chǎn)品同質(zhì)化問(wèn)題是所有開(kāi)源不得不面臨的問(wèn)題,由于架構(gòu)限制,很難在不動(dòng)架構(gòu)的情況下,真正做出差異化競(jìng)爭(zhēng)力?;ヂ?lián)網(wǎng)類公司、部分科研機(jī)構(gòu),以及有技術(shù)情結(jié)和充足資金投入的客戶可能選擇開(kāi)源,而對(duì)于金融、電信運(yùn)營(yíng)商、大企業(yè)商用HPC、有關(guān)部門(mén)等對(duì)可靠性、性能、安全合規(guī)有要求的企業(yè),開(kāi)源從來(lái)不是第yi選擇,因?yàn)閿?shù)據(jù)太重要了。(聽(tīng)說(shuō),國(guó)內(nèi)某知ming銀行曾經(jīng)投入500人基于開(kāi)源軟件搭建分布式存儲(chǔ),投入巨大且無(wú)法達(dá)銀行業(yè)務(wù)對(duì)性能、可靠性、易運(yùn)維訴求,終于2年后放棄。) 江蘇大規(guī)模分布式存儲(chǔ)有哪些
江蘇魏晉元興智能科技有限公司是一家貿(mào)易型類企業(yè),積極探索行業(yè)發(fā)展,努力實(shí)現(xiàn)產(chǎn)品創(chuàng)新。魏晉元興智能是一家私營(yíng)有限責(zé)任公司企業(yè),一直“以人為本,服務(wù)于社會(huì)”的經(jīng)營(yíng)理念;“誠(chéng)守信譽(yù),持續(xù)發(fā)展”的質(zhì)量方針。以滿足顧客要求為己任;以顧客永遠(yuǎn)滿意為標(biāo)準(zhǔn);以保持行業(yè)優(yōu)先為目標(biāo),提供***的網(wǎng)絡(luò)安全,VR,MR,VR,AI,視頻監(jiān)控安防,出入口門(mén)禁失控制。魏晉元興智能自成立以來(lái),一直堅(jiān)持走正規(guī)化、專業(yè)化路線,得到了廣大客戶及社會(huì)各界的普遍認(rèn)可與大力支持。