Apache Kylin v1.0 發布,分散式分析引擎

admin @ 2015-09-07 , reply:0


Apache Kylin 團隊非常高興宣布Apache Kylin v1.0 (incubating) 正式發布。Apache Kylin是一個分散式分析引擎,在Hadoop之上提供SQL介面及OLAP在線多維分析以支持超大規模數據集。

該版本帶來了更加穩定,可靠及更好管理的版本,解決了諸多Bug,增強及新功能等47個任務。

主要變化

Kylin核心增強

  • 支持動態數據模型,在特定條件下對新增/刪除欄位的數據模型不需要從頭構建

  • 升級Apache Calcite至1.3以修復多個Bug及支持新的SQL函數等

  • 增強了清理任務以確保Cube構建成功后在本地操作系統,HDFS/HBase等不遺留垃圾文件等

  • 添加配置項允許講Hive中間表輸出到指定資料庫

  • 增強HBase Corprocessor 以提升查詢性能

  • Kylin 系統儀錶盤(Beta)以展現使用情況,存儲及性能等指標

主要的Bug修復

  • 不能獲取原始記錄值,特別是使用非HDP的Hadoop版本

  • 前端緩存未及時刷新

  • 不再使用的Hive中間表會在Cube構建完成後自動刪除

  • 支持大Lookup表

  • JDBC驅動,ODBC驅動及UI等Bug修復

Zeppelin 整合

Apache Zeppelin是一個類似Spark Notebook的基於web的互動式數據分析工具,Apache Kylin 團隊為Zeppelin貢獻了Kylin Interpreter以讓Zeppelin用戶能夠在Notebook中與Kylin以標準SQL的方式進行互動式查詢。目前已經由Zeppelin社區合併至其主代碼中,有興趣的同學可以去Zeppelin網站下載來試用。

升級

我們推薦從v0.7.x甚至更早的版本升級到該版本,以獲得更好的性能,穩定性及更乾淨的版本(大部分中間文件將被自動回收),並且與社區保持同步以獲得最新的功能及支持。

升級過程如有任何問題或疑問,請發送郵件至Apache Kylin郵件列表:dev@kylin.incubator.apache.org

感謝

本次版本發布中,除了來自eBay的核心開發團隊外,更有來自美團,明略數據,廣東移動等多位小夥伴的大力支持,並貢獻了多個Patch及新功能。其中來自美團的高大月和明略數據的黃樺已經成為Apache Kylin committer。

感謝每一位為Apache Kylin社區貢獻的朋友。

下載地址:http://kylin.incubator.apache.org/download/






[admin via ] Apache Kylin v1.0 發布,分散式分析引擎已經有123次圍觀

http://www.coctec.com/news/all/show-post-204794.html