歡迎您光臨本站 註冊首頁

網易開源分散式儲存系統 Curve,效能可達 Ceph 1.84 倍

←手機掃碼閱讀     admin @ 2020-07-16 , reply:0

7月16日,網易公司旗下雲服務商網易數帆宣佈開源一款名為 Curve 的高效能分散式儲存系統,官方稱其效能可達 Ceph 的 1.84 倍。

據官方介紹,Curve 的定位是提供一個高效能、低延遲的儲存底座,基於這個儲存底座,企業可以打造適用於不同應用場景的儲存系統,如塊儲存、物件儲存、雲原生資料庫等。目前,網易數帆已經實現了高效能塊儲存系統。根據專案文件介紹,Curve 主要具有三大特性:高效能、高可用和自治。

高效能:Curve 團隊參考了業界一些高效的開源儲存系統,設計了一個新架構以實現高效能低延遲的核心能力。採用 brpc 保證網路資料流的高效能和低延遲,基於braft 實現多副本一致性下的低延遲,並對 braft 的快照實現進行了進一步的最佳化。磁碟 IO 方面,Curve 透過更細粒度的地址空間的 hash 減少 IO 碰撞,增加 IO 併發度,並採用 chunkfilepool 減小 IO 放大倍數,從而最大限度地發揮硬體的效能。

網易公佈了 Curve 和 Ceph L 版本的測試資料對比,在單卷的場景下,核心的 4K 隨機讀/寫的IOPS 效能,Curve 分別是 Ceph 的 1.84 倍和 1.58 倍,同時延遲相比 Ceph 分別降低 48.39%和 37.50%。

圖:Curve與Ceph效能測試對比

高可用:Curve 被設計為核心元件都能容忍部分例項失敗而不影響整個叢集的可用性。網易介紹,無論是單臺儲存故障,還是系統擴容,Curve 的客戶端 IO 都不會受到影響,插拔硬碟、服務程序中斷這些常見異常,IO 抖動也很小。當然,故障恢復過程對上層 IO 也不會造成明顯影響。

自治:Curve 可實現一鍵部署、一鍵升級,運維只要很少的人工幹預,並基於 bvar、Promethues 和 Grafana 等開源專案打造了全面的度量標準和告警體系。

目前,基於 Curve 的高效能塊儲存系統已經應用在網易的一些核心業務中,支援快照克隆和恢復, 支援 QEMU 虛擬機器和物理機 NBD 裝置兩種掛載方式。網易介紹,系統上線至今 400 多天,尚未出現資料不一致和丟資料的情況,也沒有發生過重大故障,具備相當的可靠性和成熟度。

網易透露,Curve 目前還有一些創新的效能最佳化工作尚未完成,如細粒度雜湊、io_uring 落盤方案,專案團隊下一階段的主要任務就是解決這些問題,預計完成最佳化之後下個版本還會有 30% 的效能提升。

鑑於目前開源領域還沒有足夠高效能和低延遲的分散式儲存系統,網易數帆方面表示希望把 Curve 開源出來,回饋社群,讓業界一起來使用它,也希望大家一起參與把 Curve 打造得越來越好。


[admin ]

來源:OsChina
連結:https://www.oschina.net/news/117237/netease-opensource-curve
網易開源分散式儲存系統 Curve,效能可達 Ceph 1.84 倍已經有177次圍觀

http://coctec.com/news/soft/show-post-243486.html