當前位置:股票大全官網 - 基金投資 - 雲計算分布式存儲用ceph還是hadoop?

雲計算分布式存儲用ceph還是hadoop?

雲計算的發展需要多種語言的參與。HADOOP只是雲計算產品中的底層框架,適用於雲盤、分布式計算等底層業務。很少有雲產品只用壹種開發語言解決所有問題。語言只是壹種工具。關鍵是要學會在不同的應用場景下如何選擇合適的工具。雲產品有很多框架,比如用Python寫的OpenStack,用Java寫的Hadoop。

Ceph建築簡介及特點

Ceph簡介

Ceph是壹個統壹的分布式存儲系統,它最初是為了提供更好的性能、可靠性和可擴展性而設計的。

Ceph項目源於Sage的博士工作(最早的成果發表於2004年),之後貢獻給開源社區。經過幾年的發展,已經得到了眾多雲計算廠商的支持和廣泛應用。RedHat和OpenStack都可以與Ceph集成,以支持虛擬機映像的後端存儲。

Ceph特征

高性能的

A.摒棄傳統的集中式存儲元數據尋址方案,采用CRUSH算法,數據分布均衡,並行度高。

B.考慮容災域的隔離,可以實現跨機房、機架感知等多種負載的重復放置規則。

C.它可以支持從TB到PB的數千個存儲節點和數據的規模。

高可用性

A.副本的數量可以靈活控制。

b支持容錯域分離和強數據壹致性。

C.各種故障場景自動修復和自愈。

D.無單點故障,自動化管理。

高可擴展性

A.權力下放。

B.靈活擴展。

C.隨著節點的增加而線性增加。

富有特色

A.支持三種存儲接口:塊存儲、文件存儲和對象存儲。

B.支持用戶自定義界面和多語言驅動。

Hadoop的介紹和特點

Hadoop是由Apache基金會開發的分布式系統基礎設施。用戶可以開發分布式程序,而無需了解發行版的底層細節。充分利用集群的力量進行高速操作和存儲。Hadoop實現了Hadoop distributedfilesystem(HDFS)。

HDFS具有高容錯性的特點,旨在部署在低成本的硬件上。此外,它還提供了訪問應用數據的高吞吐量,適用於數據集較大的應用。HDFS放寬)POSIX的要求,並且可以流式訪問文件系統中的數據。Hadoop框架的核心設計是:HDFS和MapReduce。HDFS為海量數據提供存儲,MapReduce為海量數據提供計算。

雲計算的開發語言多種多樣。

Hadoop和雲計算是兩回事。HADOOP開發首選JAVA,C/C++或者Python雲計算比較復雜,不同的應用有不同的選擇。很少有雲產品只用壹種開發語言解決所有問題。關鍵是要學會在不同的應用場景下如何選擇合適的工具。雲產品有很多框架,比如用Python寫的OpenStack,用Java寫的Hadoop。

HADOOP只是雲計算產品中的壹個底層框架,適用於雲盤、分布式計算等底層業務。中間層和上層用什麽語言開發,取決於產品的特性和技術人員的技術特點。