大數(shù)據(jù)時(shí)代已經(jīng)來臨并和我們的生活密不可分。
隨著移動互聯(lián)網(wǎng)的充分普及,以及近年來物聯(lián)網(wǎng)出現(xiàn)和快速發(fā)展,今天數(shù)據(jù)的主要來源已經(jīng)不僅僅是人機(jī)會話了,而是通過設(shè)備、服務(wù)器、應(yīng)用自動產(chǎn)生的,機(jī)器產(chǎn)生的數(shù)據(jù)(物聯(lián)網(wǎng))正在呈幾何級增長,比如基因數(shù)據(jù)、各種用戶行為數(shù)據(jù)、定位數(shù)據(jù)、圖片、視頻、氣象、地震、醫(yī)療等等。據(jù)早前Gartner預(yù)測,到2020年全球?qū)⒂写蠹s200億臺物聯(lián)網(wǎng)設(shè)備,數(shù)據(jù)量將達(dá)到35ZB。
同時(shí),和傳統(tǒng)數(shù)據(jù)不同,這些數(shù)據(jù)是以非結(jié)構(gòu)化、半結(jié)構(gòu)化為主,對數(shù)據(jù)存儲帶來了全新的挑戰(zhàn)。
由此,近年來分布式存儲系統(tǒng)在這種以業(yè)務(wù)數(shù)據(jù)為核心應(yīng)用的領(lǐng)域得到了飛速發(fā)展與應(yīng)用。
分布式存儲方案
分布式文件、分布式塊以及分布式對象三種分布式存儲系統(tǒng)的使用形態(tài),用來滿足業(yè)務(wù)系統(tǒng)對于海量數(shù)據(jù)的存取方式、合法訪問、容量控制以及運(yùn)維等方面的需求。
一
分布式文件,是分布存儲系統(tǒng)最初提供的應(yīng)用形式,主要解決海量非結(jié)構(gòu)化文件數(shù)據(jù)的并發(fā)存取、權(quán)限管理、容量配額管理等問題,在基于NAS協(xié)議的訪問基礎(chǔ)上,利用分布式存儲系統(tǒng)的性能聚合、容量聚合形成的專為海量非結(jié)構(gòu)化數(shù)據(jù)存儲的產(chǎn)品。
因此,它適合文件共享、高并發(fā)存儲性能、海量數(shù)據(jù)存儲、權(quán)限分級管理以及存儲容量配額管理等應(yīng)用需求的場景。如廣電行業(yè)的視頻編輯/媒資管理系統(tǒng)/VOD點(diǎn)播/CDN文件分發(fā)/動漫渲染、石油勘探/衛(wèi)星遙感/基因工程等HPC應(yīng)用領(lǐng)域。
二
分布式塊的應(yīng)用得益于云架構(gòu)IT系統(tǒng)的推動而在近幾年大力的發(fā)展起來,其中最以O(shè)penStack云平臺應(yīng)用最為廣泛。
其次,安防行業(yè)的平安城市/智慧城市中視頻監(jiān)控應(yīng)用在延續(xù)了使用塊設(shè)備做為存儲介質(zhì)的使用習(xí)慣的基礎(chǔ)上,由于規(guī)模的不斷擴(kuò)大,分布式存儲系統(tǒng)的容量與性能上的優(yōu)勢被逐漸在應(yīng)用在項(xiàng)目當(dāng)中。
分布式塊的應(yīng)用形態(tài),可以提供眾多塊設(shè)備的管理,大容量的存儲空間以及性能的線性擴(kuò)展,彌補(bǔ)了傳統(tǒng)形態(tài)塊存儲設(shè)備只能縱向擴(kuò)展的不足。
三
分布式對象是近年來發(fā)展最快的應(yīng)用形態(tài)。
隨著眾多行業(yè)應(yīng)用在生產(chǎn)過程中會產(chǎn)生眾多的海量小文件,而小文件的存儲在分布式文件應(yīng)用形態(tài)多,由于分布式存儲系統(tǒng)的存儲路徑較長,加上元數(shù)據(jù)處理的技術(shù)缺陷,在海量小文件查詢、定位和檢索上性能不能滿足行業(yè)的需求,因此,基于S3對象的分布式對象存儲形態(tài)應(yīng)運(yùn)而生。
分布式對象存儲利用扁平的元數(shù)據(jù)和數(shù)據(jù)管理,可以有效解決元數(shù)據(jù)性能的問題,結(jié)合分布式存儲系統(tǒng)的并發(fā)訪問的性能特性,以及基本HTTP形式的訪問形態(tài),可以提供眾多的性能加速方案,可以有效的解決海量小文件應(yīng)用的需求。
分布式之產(chǎn)品選購
柏科數(shù)據(jù)自主研發(fā)的IS Cloud分布式存儲系統(tǒng)產(chǎn)品,同時(shí)提供了分布式文件、塊和對象三種數(shù)據(jù)應(yīng)用形態(tài),并可同時(shí)部署提供數(shù)據(jù)服務(wù),有效的滿足了各類業(yè)務(wù)對于不同數(shù)據(jù)類型、大小以及IO特性的使用場景。
柏科IS Cloud分布式存儲能夠滿足復(fù)雜、多樣的業(yè)務(wù)應(yīng)用場景,并提供相應(yīng)的存儲高級功能,如數(shù)據(jù)服務(wù)HA、多鏈路、多網(wǎng)關(guān)、訪問鑒權(quán)、配額、WORM、NDMP、快照、精簡配置、零拷貝等。
同時(shí),為滿足國內(nèi)自主可控的需求,IS Cloud分布式存儲系統(tǒng)軟件已適配國產(chǎn)飛騰、申威、海光以及鯤鵬硬件平臺。
下一期,小編為您解析分布式存儲產(chǎn)品如何規(guī)劃布局。