淺談云計算技術_分布式

淺談云計算技術_分布式

引言

　　云計算(CloudComputing)是一種基于互聯網的超級計算模式。它是分布式計算、并行計算和網格計算的發展。其基本原理為:利用非本地或遠程服務器(集群)的分布式計算機為互聯網用戶提供服務(計算、存儲、軟硬件等服務)。云是一種思想，一種大規模資源整合的思想，是IT界發展的必然趨勢。云計算是一種新型的超級計算方式，以數據為中心，是一種數據密集型的超級運算，在數據存儲、數據管理、云計算平臺管理等多方面具有自身獨特的技術。

　　1、云計算的定義

　　云計算是從分布式處理(DistributedComputing)、并行處理(ParallelComputing)和網格計算(GridComputing)發展而來的。到目前為止，對于云計算的定義還沒有一個確定的說法，可謂仁者見仁、智者見智。狹義的云計算：指廠商通過分布式計算和虛擬化技術搭建數據中心或超級計算機，以免費或按需租用方式向技術開發者或者企業客戶提供數據存儲、分析以及科學計算等服務，比如亞馬遜數據倉庫出租生意；廣義的云計算：指廠商通過建立網絡服務器集群，向各種不同類型客戶提供在線軟件服務、硬件租借、數據存儲、計算分析等不同類型的服務,廣義的云計算包括了更多的廠商和服務類型，例如國內用友、金蝶等管理軟件廠商推出的在線財務軟件，谷歌發布的Google應用程序套裝等。

　　2、云計算的核心技術

　　云計算系統運用了許多技術，其中以數據存儲技術、數據管理技術、編程模型、虛擬化技術、云計算平臺管理技術最為關鍵。

　　2.1數據存儲技術

　　云計算的數據存儲技術主要有谷歌的非開源的(GoogleFileSystem)云計算系統由大量服務器組成，同時為大量用戶服務，因此云計算系統采用分布式存儲的方式存儲數據，用冗余存儲的方式保證數據的可靠性。云計算系統中廣泛使用的數據存儲系統是Google的GFS和Hadoop團隊開發的GFS的開源實現，GFS即Google文件系統（GoogleFileSystem），是一個可擴展的分布式文件系統，用于大型的、分布式的、對大量數據進行訪問的應用。GFS系統由一個Master和多個塊服務器構成。Master存儲著文件系統的所有元數據,包括名字空間、存取控制、文件分塊信息、文件塊的位置信息等。

　　GFS是針對大規模數據處理和Google應用特性而設計的。它運行于廉價的普通硬件上，但可以提供容錯功能，它可以給大量的用戶提供總體性能較高的服務，一個GFS集群由一個主服務器（master）和大量的塊服務器(chunkserver)構成，并被許多客戶（Client）訪問。主服務器存儲文件系統所以的元數據，包括名字空間、訪問控制信息、從文件到塊的映射以及塊的當前位置。它也控制系統范圍的活動，如塊租約（lease）管理，孤兒塊的垃圾收集，塊服務器間的塊遷移。主服務器定期通過HeartBeat消息與每一個塊服務器通信，給塊服務器傳遞指令并收集它的狀態。GFS中的文件被切分為64MB的塊并以冗余存儲，每份數據在系統中保存3個以上備份。

　　客戶與主服務器的交換只限于對元數據的操作，所有數據方面的通信都直接和塊服務器聯系，這大大提高了系統的效率，防止主服務器負載過重。云計算的數據存儲技術未來的發展將集中在超大規模的數據存儲、數據加密和安全性保證以及繼續提高I/O速率等方面。

　　2.2數據管理技術(BigTable)

　　海量的數據處理是指對大規模數據的計算和分析，通常數據的規�？梢赃_到TB甚至PB級別�；�于互聯網時代的數據統計和分析很多是海量數據級別的，其典型的例子如搜索引擎、數字圖書館。由于數據量非常大，一臺計算機不可能滿足海量數據處理的性能和可靠性等方面的要求。

　　云計算需要對分布的、海量的數據進行處理、分析并向用戶提供高效的服務，因此，數據管理技術必需能夠高效的管理大數據集。云計算的特點是對海量的數據存儲、讀取后進行大量的分析，數據的讀操作頻率遠大于數據的更新頻率，如何在規模巨大的數據中找到特定的數據，也是云計算數據管理技術所必須解決的問題。云中的數據管理是一種讀優化的數據管理，因此云系統的數據管理往往采用數據庫領域中列存儲的數據管理模式，將表按列劃分后存儲。

　　2.3編程模型

　　為了給廣大用戶提供更輕松地享受云計算服務的機會，能輕松的利用編程模型編寫簡單的程序來實現特定的目的，云上的編程模型要十分簡單，另外，需要后臺復雜的并行執行和任務調度向用戶和編程人員透明。

　　云計算大部分采用Map2Reduce的編程模式，Map2Reduce不僅僅是一種編程模型,同時也是一種高效的任務調度模型。Map2Reduce是Google開發的java、Python、C++編程模型，它是一種簡化的分布式編程模型和高效的任務調度模型，用于大規模數據集（大于1TB）的并行運算。嚴格的編程模型使云計算環境下的編程十分簡單。

　　MapReduce模式的思想是將要執行的問題分解成Map(映射)和Reduce(化簡)的方式，先通過Map程序將數據切割成不相關的區塊，分配（調度）給大量計算機處理，達到分布式運算的效果，再通過Reduce程序將結果匯總輸出。

　　2.4虛擬化技術

　　虛擬化(Virtualization)技術是云計算系統的核心技術部分之一，是將各種計算及存儲資源充分整合和高效利用的關鍵技術。通過虛擬化技術可實現軟件應用與底層硬件相隔離，它包括將單個資源劃分成多個虛擬資源的裂分模式，也包括將多個資源整合成一個虛擬資源的聚合模式。虛擬化技術根據對象可分成：服務器虛擬化、存儲虛擬化、計算虛擬化、網絡虛擬化等，計算虛擬化又分為系統級虛擬化、應用級虛擬化和桌面虛擬化。

　　利用虛擬化技術，在一個物理服務器上可以運行多個虛擬服務器。把物理CPU抽象成虛擬CPU，無論任何時間一個物理CPU只能運行一個虛擬CPU的指令，而多個虛擬機同時提供服務將會大大提高物理CPU的利用率；同樣，利用虛擬技術，統一管理物理內存，將其包裝成多個虛擬的物理內存分別供給若干個虛擬機使用，使得每個虛擬機擁有各自獨立的內存空間，互不干擾。

　　2.5云計算平臺管理技術

　　云計算資源規模龐大，服務器數量眾多并分布在不同的地點，同時運行著數百種應用，如何有效的管理這些服務器，保證整個系統提供不間斷的服務是巨大的挑戰。云計算系統的平臺管理技術能夠使大量的服務器協同工作，方便的進行業務部署和開通，快速發現和恢復系統故障，通過自動化、智能化的手段實現大規模系統的可靠運營。

　　3、云計算技術發展面臨的主要問題

　　盡管云計算具有廣闊的發展前景、其計算模式具有許多優點，但是也存在一些問題，如數據隱私問題、安全問題、軟件許可證問題、網絡傳輸問題等。數據隱私問題：如何保證存放在云服務提供商的數據隱私，不被非法利用，不僅需要技術的改進，也需要法律的進一步完善。數據安全性：有些數據是企業的商業機密，數據的安全性關系到企業的生存和發展。云計算數據的安全性問題解決不了會影響云計算在企業中的應用。用戶使用習慣：如何改變用戶的使用習慣，使用戶適應網絡化的軟硬件應用是長期而艱巨的挑戰。網絡傳輸問題：云計算服務依賴網絡，目前網速低且不穩定，使云應用的性能不高。云計算的普及依賴網絡技術的發展。另外，當前云計算系統的能耗過大，因此，減少能耗，提高能源的使用效率，建造高效的冷卻系統是當前面臨的一個主要問題。

【淺談云計算技術_分布式】相關文章：

網絡時代的遠程教育—分布式學習08-24

淺談讀書08-23

淺談人生作文02-24

淺談中考作文04-12

淺談備課與上課08-20

淺談詩歌教學08-22

淺談寫教案08-24

淺談生物教學08-24

淺談語言產業08-25

淺談理想作文10-07