非常幸运
你好,游客 登錄
背景:
閱讀新聞

eBay開源新數據庫技術Kylin,支持TB到PB級數據量

[日期:2014-10-24] 來源:CSDN  作者: [字體: ]

  在線拍賣網站eBay開源了一種名為 Kylin 的數據庫技術,該公司宣稱這項技術能夠在Hadoop上支持PB級數據存儲的快速查詢。eBay并不是像Google和Facebook那樣的大數據公司,但它運用Hadoop等技術已經達到了一個相當大的規模,Kylin就是一個很好的例子,這說明它在該領域的創新已經走在前頭。

  eBay在周三的一篇博客上分享了Kylin的細節,包括REST API、ANSI-SQL兼容性、連接分析工具Tableau和Excel,以及在一些查詢上低于秒級的延遲。然而, Kylin最獨特的特性是它如何處理scale。eBay表示,它可以查詢數十億行數據——在高達14TB的數據集上,速度比使用傳統的Apache Hive工具快得多。

  

 

  Kylin工作在一個很高級別上,它從Hive取數據;使用MapReduce預處理大型查詢;然后將這些結果作為鍵值cuboids存儲在HBase上。當用戶用一組特定的變量值運行一個Kylin查詢,結果已經準備就緒,不需要再重新處理,這和已經使用多年的分析型數據庫完全不同。

  下面是eBay分享的Kylin如何在公司內部的使用情況:

  開放Kylin的時候,我們已經有一些eBay業務單元在生產中使用它。我們最大的用例是120+億源記錄生成的14 +TB cube。它的90%查詢延遲小于5秒。現在,我們的用例瞄準分析師和業務用戶,他們可以輕松的通過Tableau分析并且得到結果——不再需要Hive查詢,shell命令等等。

  

  想要知道Kylin在與下一版本的Hive、Spark SQL以及Hadoop SQL分析的其他選項較量中誰會勝出,將是一件非常有趣的事情,Kylin作為YARN資源管理器一部分可以在Apache Hadoop的最新版本上獲得。我猜它會慢一點,但比內存選項或那些不需要MapReduce處理的更具擴展性,不過這對于那些仍然在運行更早軟件版本的用戶可能是一個可靠的選擇。

推薦 打印 | 錄入: | 閱讀:
相關新聞      
本文評論   
評論聲明
  • 尊重網上道德,遵守中華人民共和國的各項有關法律法規
  • 承擔一切因您的行為而直接或間接導致的民事或刑事法律責任
  • 本站管理人員有權保留或刪除其管轄留言中的任意內容
  • 本站有權在網站內轉載或引用您的評論
  • 參與本評論即表明您已經閱讀并接受上述條款
非常幸运