我院分布式計算與系統研究所在内存鍵值存儲研究方面取得突破
發布日期:
2023-11-23
浏覽次數:
571

近日,我院分布式計算與系研究所在新型多層級異構内存的鍵值存儲研究方面取得積極進展,相關研究成果“BonsaiKV: Towards Fast, Scalable, and Persistent Key-Value Stores with Tiered, Heterogeneous Memory System”被數據庫領域國際頂級學術會議VLDB 2024長文錄用。VLDB會議全稱International Conference on Very Large Databases,是數據庫領域久負盛名的三大頂級學術會議之一,被中國計算機學會(CCF)遴選為CCF推薦A類國際會議。蔡淼博士是該論文的第一作者,葉保留教授為通訊作者。

内存鍵值存儲系統(如MemcachedRedis)被廣泛運用在現代雲計算和數據中心内,實現高性能的對象緩存、網頁索引、流數據查詢等服務。目前主流的内存鍵值存儲系統的構建基于DRAM内存,并且嚴重依賴DRAM内存低延遲的特點來保障數據訪問的服務質量。然而,受制于DRAM内存昂貴的制造成本、低存儲單元密度、高設備功耗等問題,無法在數據中心内大規模地使用。目前雲服務廠商主流的方案是采用低成本、大容量的閃存作為DRAM内存替代品。但受閃存設備高訪問延遲、内部垃圾回收等因素影響,現有主流方案會極大地降低内存鍵值存儲系統的性能,造成不可預測的數據訪問延遲。

1. 基于高性能内存和數據互聯技術的多層次異構内存

随着非易失性内存(如3D XPointPCMZ-NAND)和高速互聯技術(如CXLOpenCAPINVLink)的快速發展,多層級異構内存(Tiered Heterogeneous Memory)将成為下一代計算機系統的重要組成部分。多層級異構内存具有納秒級訪問延遲、高内存容量拓展、➿⚽✨➿數據持久性等優秀硬件特性,為解決上述問題提供了新的機遇。

 2. BonsaiKV系統架構圖

論文旨在利用多層級異構内存,在數據的索引、持久化、跨節點數據管理等方面,提出并克服了一系列的關鍵技術挑戰,構建下一代新型持久性鍵值索引系統BonsaiKV。針對基于非一緻性内存訪問架構的多層級異構内存,論文提出一種分層次、松耦合的鍵值存儲系統架構,借助日志結構靈活的數據管理特點,實現高效的軟件功能分層解耦和專用化設計。在此基礎上,論文在數據索引、持久化和分布管理三個方面提出若幹關鍵技術,如協作式數據索引訪問、内存擁塞控制機制、寫優化數據一緻性協議等,在鍵值存儲層面充分挖掘利用硬件設備的優秀特性,實現高性能、高擴展的持久性内存鍵值存儲系統。

論文實驗采用雅虎公司的标準雲服務基準測試工具YCSB,對比六種之前研究工作中提出内存鍵值存儲系統,BonsaiKV在數據索引效率、數據讀寫吞吐量、跨内存節點訪問延遲等方面最高有近20倍的性能提升。

3. YCSB的實驗結果

論文工作得到國家自然科學基金重點項目、江蘇省自然科學基金等項目的➿⚽✨➿。


Baidu
sogou