青云推Hadoop集群服務完善大數據平臺

    北京，2015年12月22日

    企業級基礎云服務商青云QingCloud（qingcloud.com）日前宣布，基于Hadoop的大數據集群服務現已正式推出。該服務包括三大核心組件，即HDFS分布式文件系統、YARN任務調度和集群資源管理系統，以及MapReduce并行計算系統。通過QingCloud Hadoop集群服務，用戶能夠在2-3分鐘內創建一個Hadoop集群，并且可以進行橫向和縱向的在線伸縮，極大地降低了Hadoop平臺的技術門檻。

青云QingCloud推出Hadoop集群服務

    Hadoop是一個針對海量大數據進行存儲和處理的分布式開源平臺，在大數據領域的應用極為廣泛。它使用簡潔的MapReduce編程模型分布式處理跨集群的大型數據集，集群規模可以擴展到幾千甚至上萬。QingCloud Hadoop集群服務采用Master/Slave架構，由三種節點類型構成，即主節點（YARN Resource Manager和HDFS Name Node）、從節點（YARN Node Manager和HDFS Data Node），以及客戶端節點（Hadoop Client Node）。用戶在客戶端節點發起MapReduce任務，通過與HDFS和YARN集群中各節點的交互存取文件、執行MapReduce任務，最終獲取結果。

青云QingCloud Hadoop集群架構圖

    早在2015年8月，青云QingCloud就已推出基于Spark的大數據集群服務，此次Hadoop集群服務的上線是對QingCloud大數據基礎平臺的有力補充。Hadoop和Spark各有千秋，Hadoop適用于更大規模的離線數據處理，且對系統故障具備天然的抵抗力；Spark更適合做快速的實時數據分析。因此，用戶可以根據應用場景的不同，選擇靈活的大數據解決方案。

    具體而言，青云QingCloud Hadoop集群服務具有以下特性：

    一鍵部署：用戶只需要簡單的幾步操作就能夠在2-3分鐘內創建出一個Hadoop集群，幫助用戶降低Hadoop的技術門檻和開發成本，快速地利用Hadoop展開數據分析工作。

    簡化運維：大數據平臺尤其是Hadoop的運維非常繁瑣，QingCloud為用戶提供了便捷的運維工具和圖形化操作，極大地簡化了Hadoop集群的運維和管理工作。

    在線伸縮：Hadoop集群服務支持橫向和縱向在線伸縮，以滿足用戶對計算能力和容量的需求。用戶可以選擇新增或者刪除節點進行橫向伸縮，也可以根據節點的監測數據隨時調整各個節點的配置。

    監控告警：QingCloud針對HDFS、YARN和MapReduce提供了豐富的監控信息，還為每個節點資源提供了監控告警服務，包括CPU使用率、內存使用率、硬盤使用率等，以幫助用戶更好地管理和維護Hadoop集群。

    安全性：Hadoop集群運行于100%二層隔離的私有網絡內，結合QingCloud提供的高性能硬盤，在保障高性能的同時兼顧用戶的數據安全。

    青云QingCloud CTO甘泉（Reno Gan）表示，Hadoop集群服務的推出標志著QingCloud大數據基礎平臺的進一步完善，結合已經推出的Spark、ZooKeeper、消息隊列（Kafka）、Redis、Memcached、MongoDB等服務，QingCloud的大數據平臺服務已經能夠越來越靈活地滿足用戶的各種需求，實現用戶數據價值的最大化。