摘要：云計算技術的興起和發(fā)展，正逐漸改變人們使用服務和資源的方式，同時也成為計算機應用領域的研究熱點。云存儲可實現(xiàn)云端海量數(shù)據(jù)的高效存儲，是云計算的重要基礎云存儲可實現(xiàn)云端海量數(shù)據(jù)的高效存儲，是云計算的重要基礎。對如何保證云存儲系統(tǒng)的服務質量及可靠性，對于保證海量用戶的訪問效率，維護海量數(shù)據(jù)存儲的可用性及用戶技術服務平臺的開發(fā)有著重大意義。關鍵詞：云計算；海量數(shù)據(jù)；服務質量；服務平臺基于微軟云計算技術服務平臺(Windows Azure ServicesPlatform)進行二次開發(fā)，對非云端程序與云端程序連接技術進行研究，根據(jù)用戶需求在云計算平臺上開發(fā)、部署集群、設計一個通用的多樣化的軟件系統(tǒng)平臺。技術的不斷進步必將推動存儲向更高容量發(fā)展，而重復數(shù)據(jù)刪除、壓縮等技術的引入，可以進一步提升存儲空間的利用率。面對PB級的海量存儲需求。傳統(tǒng)的SAN或NAS在容量和性能的擴展上會存在瓶頸，云計算這種新型的服務模式必然要求存儲架構保持極低的成本。而現(xiàn)有的一些高端存儲設備顯然還不能滿足這種需求。1 云存儲概述1．1 云存儲的概念它是指通過集群應用、網(wǎng)格技術或分布式文件系統(tǒng)等功能，將網(wǎng)絡中大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務訪問功能的一個系統(tǒng)。嚴格來講，云存儲不是存儲，而是一種服務。云存儲的核心是應用軟件與存儲設備相結合，通過應用軟件來實現(xiàn)存儲設備向存儲服務的轉變。1．2 云計算和云存儲的關系云計算是分布式處理(Distributed Computing)、并行處理(Parallel Computing)和網(wǎng)格計算(Grid Computing)的發(fā)展，是透過網(wǎng)絡將龐大的計算處理程序自動分拆成無數(shù)個較小的子程序，再交由多臺服務器所組成的龐大系統(tǒng)經(jīng)計算分析之后將處理結果回傳給用戶。2 云存儲系統(tǒng)分析與傳統(tǒng)的存儲設備相比，云存儲不僅僅是一個硬件，而是一個網(wǎng)絡設備、存儲設備、服務器、應用軟件、公用訪問接口、接入網(wǎng)、和客戶端程序等多個部分組成的復雜系統(tǒng)。各部分以存儲設備為核心，通過應用軟件來對外提供數(shù)據(jù)存儲和業(yè)務訪問服務。云存儲系統(tǒng)的結構模型由4層組成。2．1 存儲層存儲層是云存儲最基礎的部分。存儲設備可以是光纖通道存儲設備，也可以是其他的存儲設備。云存儲中的存儲設備往往數(shù)量龐大且分布多不同地域。彼此之間通過廣域網(wǎng)、互聯(lián)網(wǎng)或者光纖通道網(wǎng)絡連接在一起。存儲設備之上是一個統(tǒng)一存儲設備管理系統(tǒng)，可以實現(xiàn)存儲設備的邏輯虛擬化管理、多鏈路冗余管理，以及硬件設備的狀態(tài)監(jiān)控和故障維護。2．2 基礎管理層基礎管理層是云存儲最核心的部分，也是云存儲中最難以實現(xiàn)的部分基礎管理層通過集群、分布式文件系統(tǒng)和網(wǎng)格計算等技術，實現(xiàn)云存儲中多個存儲設備之間的協(xié)同工作，使多個的存儲設備可以對外提供同一種服務，并提供更大更強更好的數(shù)據(jù)訪問性能。CDN內容分發(fā)系統(tǒng)、數(shù)據(jù)加密技術保證云存儲中的數(shù)據(jù)不會被未授權的用戶所訪問，同時，通過各種數(shù)據(jù)備份和容災技術和措施可以保證云存儲中的數(shù)據(jù)不會丟失，保證云存儲自身的安全和穩(wěn)定。2．3 應用接口層應用接口層是云存儲最靈活多變的部分。不同的云存儲運營單位可以根據(jù)實際業(yè)務類型，開發(fā)不同的應用服務接口，提供不同的應用服務。比如視頻監(jiān)控應用平臺、網(wǎng)絡硬盤引用平臺，遠程數(shù)據(jù)備份應用平臺等。2．4 訪問層任何一個授權用戶都可以通過標準的公用應用接口來登錄云存儲系統(tǒng)，享受云存儲服務。云存儲運營單位不同，云存儲提供的訪問類型和訪問手段也不同。3 云存儲應用云存儲從結構模型可以看出，云存儲能提供什么樣的服務取決于云存儲架構的應用接口層中內嵌了什么類型的應用軟件和服務。不同類型的云存儲運營商對外提供的服務也不同。根據(jù)服務類型和面向的用戶不同，云存儲服務可以分為個人級應用和企業(yè)級應用。3．1 個人級云存儲應用3．1．1 網(wǎng)絡磁盤網(wǎng)絡磁盤是一種在線存儲服務，使用者可通過web訪問方式來上傳和下載文件，實現(xiàn)個人重要數(shù)據(jù)的網(wǎng)絡化存儲和備份。高級的網(wǎng)絡磁盤可以提供web頁面和客戶端軟件等兩種訪問方式。網(wǎng)絡磁盤的容量空間一般取決于服務商的服務策略，或取決于使用者向服務商支付的費用多少。3．1．2 在線文檔編輯在線文檔編輯將使我們不再需要在個人PC上安裝office等軟件，只需要打開Coogle does網(wǎng)頁，通過Google does就可以進行文檔編輯和修改(使用云計算系統(tǒng))，并將編輯完成的文檔保存在Coogle does服務所提供的個人存儲空間中(使用云存儲系統(tǒng))。無論我們走到哪兒，都可以再次登錄Coogle does，打開保存在云存儲系統(tǒng)中的文檔。通過云存儲系統(tǒng)的權限管理功能，還能輕松實現(xiàn)文檔的共享、傳送以及版權管理。3．1．3 在線的網(wǎng)絡游戲我們可以通過云計算和云存儲系統(tǒng)來構建一個龐大的、超能的游戲服務器群，這個服務器群系統(tǒng)對于游戲玩家來講，就如同是一臺服務器，所有玩家在一起進行競爭。云計算和云存儲的應用，可以代替現(xiàn)有的多服務器架構，使所有玩家都能集中在一個游戲服務器組的管理之下。同時，云計算和云存儲系統(tǒng)的使用可在最大限度上提升游戲服務器的性能，實現(xiàn)更多的功能。3．2 企業(yè)級云存儲應用從目前不同行業(yè)的存儲應用現(xiàn)狀來看，以下幾類系統(tǒng)將有可能很快進入云存儲時代。3．2．1 企業(yè)空間租賃服務信息化的不斷發(fā)展使得企業(yè)的信息數(shù)據(jù)量呈幾何級數(shù)增長。通過高性能、大容量云存儲系統(tǒng)。數(shù)據(jù)業(yè)務運營商和idc數(shù)據(jù)中心可以為無法單獨購買大容量存儲設備的企事業(yè)單位提供方便快捷的空間租賃服務，滿足企事業(yè)單位不斷增加的業(yè)務數(shù)據(jù)存儲需求。3．2．2 企業(yè)級遠程數(shù)據(jù)備份和容災通過高性能、大容量云存儲系統(tǒng)和遠程數(shù)據(jù)備份軟件，數(shù)據(jù)業(yè)務運營商和數(shù)據(jù)中心可以為所有需要遠程數(shù)據(jù)備份和容災的企事業(yè)單位提供空間租賃和備份業(yè)務租賃服務。普通的企事業(yè)單位、中小企業(yè)可租用數(shù)據(jù)中心提供的空間服務和遠程數(shù)據(jù)備份服務功能，建立自己的遠程備份和容災系統(tǒng)，以保證當本地發(fā)生重大的災難時，可通過遠程備份或遠程容災系統(tǒng)進行快速恢復。3．2．3 視頻監(jiān)控系統(tǒng)建立一個遍布全國的云存儲系統(tǒng)，在這個云存儲系統(tǒng)中可以內嵌視頻監(jiān)控平臺管理軟件，建設“全球眼”或“寬視界”系統(tǒng)。系統(tǒng)的建設者只需要安裝攝像頭和編碼器等前端設備，并為每一個編碼器、IP攝像頭分配一個帶寬足夠的接入網(wǎng)鏈路，通過接入網(wǎng)與云存儲系統(tǒng)連接，實時的視頻圖像就可以很方便地保存到云存儲中，并通過視頻監(jiān)控平臺管理軟件實現(xiàn)圖像的管理和調用。4 基于微軟云計算技術服務平臺系統(tǒng)基于云計算技術，架設在Windows Azure(云服務的操作系統(tǒng))之上，基于Microsoft Visual Studio 2010軟件開發(fā)環(huán)境，通過使用Azure提供云存儲功能和SQL Azure(云關系型數(shù)據(jù)庫)，調用Windows Azure SDK(云計算服務Azure相關開發(fā)工具包)開發(fā)工具和云端服務接口，創(chuàng)建、構造基于WindowsAzure的集群技術，開發(fā)一個云應用系統(tǒng)。系統(tǒng)運用分層架構思想，采用B／S三層體系結構模式(數(shù)據(jù)訪問層、業(yè)務邏輯層和表示層)，不僅有B／S體系結構“瘦客戶”端優(yōu)點，更能體現(xiàn)“云”時代無需考慮初始化基礎設施，自動完成后繼擴展性的特點。 基于微軟云計算技術服務平臺系統(tǒng)將軟件作為服務SaaS，是云計算服務類型中應用最為廣泛的一種，即將軟件功能封裝成服務形式通過互聯(lián)網(wǎng)，提供給用戶按需使用，在這個過程中良好的用戶界面對于用戶的體驗程度起著至關重要的作用，采用在線管理功能為云計算平臺上運行的應用軟件提供良好的前處理與后處理，以及作業(yè)管理。平臺體系結構運用分層架構思想，類似于常用的B／S三層體系結構模式，基本分為：數(shù)據(jù)訪問層、業(yè)務邏輯層和表示層，體系結構圖如下所示。

4．1 數(shù)據(jù)訪問層使用REST編程接口(HTTP／HTTPS方式)訪問WindowsAzure Storage，創(chuàng)建Blob和Table存儲用來存放作業(yè)數(shù)據(jù)文件和作業(yè)運行結果。4．2 邏輯業(yè)務層業(yè)務邏輯層是聯(lián)系數(shù)據(jù)訪問層和表示層的紐帶，幫助建立與云數(shù)據(jù)庫連接，根據(jù)用戶請求生成檢索語句或更新數(shù)據(jù)庫，并使返回結果在表示層顯示出來。本平臺對所需要處理的用戶管理、權限管理、日志管理等操作分別建立相關業(yè)務邏輯類，即完成了所需功能，又減少了各層之間的耦合度，增強了系統(tǒng)的安全性能。 作業(yè)調度對虛擬集群進行管理和監(jiān)控，動態(tài)添加新的計算資源，彈性構建虛擬集群，實現(xiàn)用戶的按需計算。主要包括3個模塊：用戶作業(yè)提交模塊、虛擬集群彈性構建模塊、虛擬集群信息監(jiān)控模塊。 1)作業(yè)提交模塊 用戶通過作業(yè)提交頁面可以將任務遞交到虛擬集群里進行運算，待作業(yè)運行完成獲取運算的結果。作業(yè)提交模塊流程圖如圖2所示。

2)虛擬計算彈性構建模塊 當虛擬集群的計算資源不能滿足用戶申請所需的計算資源時，中間件平臺就動態(tài)的虛擬出所需的虛擬機計算資源并動態(tài)添加到虛擬集群中以滿足用戶的需求。彈性構建虛擬集群流程圖如圖3所示。

3)虛擬集群信息監(jiān)控模塊 主要完成對虛擬集群各虛擬計算節(jié)點信息的監(jiān)控，當作業(yè)成功提交并運行，監(jiān)控模塊采用Web頁面的方式動態(tài)的顯示各虛擬節(jié)點的運行狀態(tài)。4．3 表示層表示層是程序架構最頂層，用戶請求及信息獲取都是通過該層獲取，這里主要通過ASP．NET實現(xiàn)，ASPX頁面實現(xiàn)HTML和程序代碼的分離，把豐富的功能展現(xiàn)給用戶，同時也使開發(fā)維護更簡單安全。5 結束語云存儲不是存儲，而是服務。就如同云狀的廣域網(wǎng)和互聯(lián)網(wǎng)一樣。云存儲對使用者來講，不是指某一個具體的設備，而是指一個由許許多多個存儲設備和服務器所構成的集合體。開發(fā)、部署一個高性能集群系統(tǒng)平臺，利用云計算建立容錯機制，保證若干節(jié)點失效時并不影響整個計算任務的進展。

關鍵詞： 海量數(shù)據(jù) 服務質量 服務平臺