迎接大數(shù)據(jù)分析時代 金倉推出分析型數(shù)據(jù)庫

    隨著政府、金融、電信、能源等各企事業(yè)單位數(shù)據(jù)中心建設(shè)和運營的逐步深入，TB甚至PB級運營數(shù)據(jù)已經(jīng)屢見不鮮，數(shù)據(jù)計算全面進入大數(shù)據(jù)時代。另一方面，除了數(shù)據(jù)存儲、數(shù)據(jù)管理等典型業(yè)務(wù)需求外，數(shù)據(jù)中心管理者更需要數(shù)據(jù)挖掘和決策分析等一整套解決方案。大數(shù)據(jù)分析已經(jīng)成為當前典型迫切的業(yè)務(wù)需求。

    作為國產(chǎn)數(shù)據(jù)庫領(lǐng)軍企業(yè)的人大金倉，積極迎接大數(shù)據(jù)時代對海量數(shù)據(jù)分析提出的技術(shù)挑戰(zhàn)，繼發(fā)布金倉數(shù)據(jù)庫KingbaseES V7和金倉商業(yè)智能統(tǒng)一平臺Kingbase SmartBI V2之后，全新推出面向商業(yè)智能和在線數(shù)據(jù)分析應(yīng)用領(lǐng)域的高性能10TB級海量數(shù)據(jù)庫管理系統(tǒng)：金倉分析型數(shù)據(jù)庫—KingbaseES V7分析版。KingbaseES V7分析版內(nèi)置行存儲和列存儲兩大數(shù)據(jù)存儲和執(zhí)行引擎，提供高效的透明數(shù)據(jù)壓縮和并行數(shù)據(jù)裝載能力，集成高性能并行處理技術(shù)和豐富的OLAP優(yōu)化手段。能夠靈活應(yīng)對各種紛繁復雜的業(yè)務(wù)場景，是現(xiàn)代數(shù)據(jù)中心構(gòu)建在線事務(wù)處理和商業(yè)數(shù)據(jù)分析混合業(yè)務(wù)應(yīng)用的非常好的選擇。

    KingbaseES 分析版的技術(shù)架構(gòu)如下圖表示：

    Kingbase ES 分析版從架構(gòu)上可以分為三層。最底層是數(shù)據(jù)存儲層，主要完成存儲管理、封鎖、并發(fā)控制、事務(wù)管理、日志管理等。第二層是執(zhí)行引擎層，主要完成SQL 接口底層實現(xiàn)、解析、優(yōu)化和并行處理等。最上層是接口層，主要包括各種數(shù)據(jù)庫訪問接口，以及數(shù)據(jù)庫管理工具和開發(fā)工具的支持。

    可以看到，Kingbase ES 分析版被設(shè)計為行列兩個存儲引擎和執(zhí)行引擎。使得KingbaseES數(shù)據(jù)庫可以從容應(yīng)對各種OLTP和OLAP混合業(yè)務(wù)場景，滿足企業(yè)復雜業(yè)務(wù)場景對數(shù)據(jù)庫系統(tǒng)的綜合性技術(shù)要求。

    金倉分析型數(shù)據(jù)庫—Kingbase ES 分析版的總體技術(shù)特性如下：

    · 雙重引擎，深度加速

    KingbaseES分析版內(nèi)置行、列兩大數(shù)據(jù)存儲和執(zhí)行引擎，可以靈活應(yīng)對OLAP+OLTP混合業(yè)務(wù)場景。按列存儲有效適應(yīng)海量數(shù)據(jù)分析應(yīng)用對數(shù)據(jù)列敏感的業(yè)務(wù)場景，將對列的聚集操作和更新等操作，分別轉(zhuǎn)化為對磁盤的順序讀和順序?qū)? 從而從核心層面有效降低數(shù)據(jù)I/O，加速數(shù)據(jù)查詢處理性能。同時，按列存儲可以獲得10-40倍以上的高效透明的垂直數(shù)據(jù)壓縮能力，有效降低數(shù)據(jù)存儲開銷，減少數(shù)據(jù)裝載和I/O的時間，從而降低現(xiàn)代企業(yè)數(shù)據(jù)中心的總體構(gòu)建和運維成本，提升業(yè)務(wù)運行效率。

    · 智能索引，多重優(yōu)化

    索引在傳統(tǒng)數(shù)據(jù)庫中的維護帶來了較大的維護開銷，尤其數(shù)據(jù)量持續(xù)增長后表現(xiàn)非常明顯。KingbaseES分析版的列存儲引擎采用被稱作自適應(yīng)優(yōu)化器的極小的元數(shù)據(jù)層來替換常規(guī)的索引，自動為每列數(shù)據(jù)維護粗粒度的索引而不需要用戶手動維護。同時，列存儲引擎還內(nèi)置分段統(tǒng)計、掃描結(jié)點的物化推遲等多重優(yōu)化技術(shù)，大幅提升OLAP查詢性能。

    · 快速裝載，并行計算

    分析型業(yè)務(wù)場景往往伴隨著海量歷史數(shù)據(jù)，從而對數(shù)據(jù)加載、處理時效和數(shù)據(jù)管理的可擴展能力有著更高的能力要求。KingbaseES分析版通過對數(shù)據(jù)裝載功能進行了并行優(yōu)化，充分調(diào)度現(xiàn)代多核CPU處理能力，提供單表300GB/小時、多表500GB/小時的高速數(shù)據(jù)裝載速度。同時，KingbaseES分析版還內(nèi)置高效的并行SQL 執(zhí)行方法，并支持與金倉云數(shù)據(jù)集群架構(gòu)整合，提供基于大規(guī)模并行處理（MPP）架構(gòu)的PB級數(shù)據(jù)管理線性擴展能力。

    · 接口豐富，使用便捷

    金倉分析型數(shù)據(jù)庫有效繼承金倉通用數(shù)據(jù)庫在數(shù)據(jù)類型、函數(shù)、SQL以及與第三方數(shù)據(jù)庫兼容性上的豐富支持能力，提供統(tǒng)一一致的開發(fā)接口和管理界面，有效降低學習、開發(fā)和維護成本，保證業(yè)務(wù)應(yīng)用的平滑遷移。

    1秒   PK  數(shù)月時間

    我們來看下應(yīng)用了大數(shù)據(jù)分析型數(shù)據(jù)庫后能給客戶帶來哪些好處？

    據(jù)專家分析：在利用大數(shù)據(jù)的過程中，數(shù)據(jù)的分析處理速度往往決定了數(shù)據(jù)應(yīng)用的成敗，用戶很難接受一個長達數(shù)月的分析。分析型數(shù)據(jù)庫替代傳統(tǒng)行存數(shù)據(jù)庫解決了用戶海量歷史數(shù)據(jù)的存儲和I/O開銷過大、加載時間過長、無法有效結(jié)合業(yè)務(wù)場景提升數(shù)據(jù)查詢效率等問題。而分析型數(shù)據(jù)庫與實時商業(yè)智能分析技術(shù)的綜合運用可以將分析的響應(yīng)速度提高到秒級,完全可以滿足用戶的業(yè)務(wù)要求，使用戶獲得良好的應(yīng)用體驗。

    誰會用到金倉分析型數(shù)據(jù)庫？我們來看兩個大數(shù)據(jù)分析應(yīng)用的案例：
    ① 沃爾瑪是最早通過利用大數(shù)據(jù)而受益的美國企業(yè)之一，擁有世界上最大的數(shù)據(jù)倉庫系統(tǒng)。通過對消費者的購物行為等海量數(shù)據(jù)進行分析，沃爾瑪成為最了解顧客購物習慣的零售商，并創(chuàng)造了“啤酒與尿布”的經(jīng)典案例。早在2007年，沃爾瑪就建立了一個超大的數(shù)據(jù)中心，其存儲能力高達4Pb以上。② 3月11日日本大地震發(fā)生后僅9分鐘，美國國家海洋和大氣管理局(NOAA)就發(fā)布了詳細的海嘯預警。隨即，NOAA通過對海洋傳感器獲得的實時數(shù)據(jù)進行計算機模擬，制作的海嘯影響模型出現(xiàn)在YouTube等網(wǎng)站。

    大數(shù)據(jù)分析已經(jīng)不再局限于互聯(lián)網(wǎng)的范疇和IT領(lǐng)域，有大量數(shù)據(jù)生成的用戶數(shù)據(jù)掘金都有可能用到：例如銀行、公共事業(yè)部門、科學、制造以及氣象等眾多行業(yè)，都出現(xiàn)海量的數(shù)據(jù)應(yīng)用，如果能應(yīng)用金倉分析型數(shù)據(jù)庫及商業(yè)智能平臺等合理的管理、挖掘這些數(shù)據(jù)資源，對所在行業(yè)的發(fā)展將帶來不可估量的巨大推動作用。

    人大金倉總裁任永杰博士表示：“在大數(shù)據(jù)時代，用戶的需求不僅僅局限于數(shù)據(jù)存儲，更向數(shù)據(jù)管理、分析、展現(xiàn)、挖掘、保護及相關(guān)服務(wù)等多元化方向發(fā)展。人大金倉將立足基礎(chǔ)、融合吸收、重點突破，金倉分析型數(shù)據(jù)庫、商業(yè)智能平臺等只是金倉應(yīng)對大數(shù)據(jù)挑戰(zhàn)推出的部分解決方案，我們計劃用3-5年的時間，將人大金倉打造成為國產(chǎn)大數(shù)據(jù)中心一站式解決方案提供商，迎接大數(shù)據(jù)、大應(yīng)用、大服務(wù)的時代。”

    人大金倉分析型數(shù)據(jù)庫的推出，順應(yīng)了大數(shù)據(jù)分析時代的市場趨勢，豐富了金倉大數(shù)據(jù)中心一站式服務(wù)的產(chǎn)品線，為用戶進一步高效挖掘數(shù)據(jù)價值、提高社會效益和經(jīng)濟效益貢獻了一份力量。人大金倉分析型數(shù)據(jù)庫的推出必將引發(fā)新一輪基于國產(chǎn)數(shù)據(jù)庫大數(shù)據(jù)分析的應(yīng)用高潮，對推進大數(shù)據(jù)時代我國信息化建設(shè)帶來深遠而積極的影響。