来源:Frontiers of Computer Science 发布时间:2023/3/17 10:28:54
选择字号:
FCS|前沿研究:使用 RDMA 和傲腾 DCPMM 的高用性内存键值存储

论文标题:High-availability in-memory key-value store using RDMA and Optane DCPMM(使用 RDMA 和傲腾 DCPMM 的高用性内存键值存储)

期刊:Frontiers of Computer Science

作者:Xuecheng QI, Huiqi HU, Jinwei GUO, Chenchen HUANG, Xuan ZHOU, Ning XU, Yu FU, Aoying ZHOU

发表时间:15 Feb 2023

DOI:10.1007/s11704-022-1123-8

微信链接:点击此处阅读微信文章

导读

新兴的硬件如支持远程直接数据存取的网络(RDMA)和持久性内存(PM),对于构建高效的高可用内存键值存储有很大的前景。最近,英特尔傲腾持久性内存模块(Optane DCPMM)的出现让这个愿景成为现实。然而,现有的基于这两种设备的研究工作,不能很好发挥硬件性能。因为它们的日志复制方案都是两阶段的,而且大多数工作使用的持久性内存都是基于内存仿真的,没有考虑真实硬件的特性,在真实硬件上表现不好。本文设计实现了一个基于RDMA和DCPMM的高效的高用性内存键值存储,名为FaHA。FaHA提出了名为RDMA Persist的远程过程调用框架 (RPC),以最小的网络往返延迟和持久性开销,支持远端持久化,也就是保证RDMA Write写入到远端备副本的数据能够完全持久化。此外,FaHA构建了追加写入的持久化存储,利用了流水线批量写入技术,减轻昂贵的持久化开销。FaHA还设计了一个热度感知的哈希索引,以提供优异的读取性能。本文的主要的贡献总结如下。1)本文提出了RDMA Persist RPC,用于数据写入远端NVM,同时确保远端数据的持久性。它只需要一次往返和持久化的开销,大大减少了日志复制的网络开销。2) 本文还设计了一个追加写入更新的持久化存储,它支持流水线批处理优化,以缓解持久性内存的写放大问题,3)本文进一步提出了支持热度感知的差异化哈希索引,以提供更好的读取性能。我们在100Gpb/s InfiniBand 网卡和傲腾 DCPMM实现了FaHA,并将其整合到Redis 6.0中。测试结果显示,基于FaHA的Redis比最新的解决方案的吞吐量高1.6倍。

文章精要

相关内容推荐:

现代集群数据库中高效稳定的基于仲裁的日志复制与回放 2022 16(5): 165612

面向知识图谱的子图索引驱动的子图匹配算法 2022 16(3): 163606

基于用户行为学习的个性化轨迹推荐 2022 16(3): 163610

EcoVis:工业级用电量时空相关性的可视分析 2022 16(2): 162604

流处理系统容错技术综述 2022 16(2): 162603

基于生成对抗网络的癌症分类研究 2022 16(2): 162601

基于城市公开数据的动态犯罪风险预测 2022 16(1): 161609

基于图应用特征的高效内存数据布局策略 2022 16(1): 161607


Frontiers of Computer Science


Frontiers of Computer Science (FCS)是由教育部主管、高等教育出版社和北京航空航天大学共同主办、SpringerNature 公司海外发行的英文学术期刊。本刊于 2007 年创刊,双月刊,全球发行。主要刊登计算机科学领域具有创新性的综述论文、研究论文等。本刊主编为周志华教授,共同主编为熊璋教授。编委会及青年 AE 团队由国内外知名学者及优秀青年学者组成。本刊被 SCI、Ei、DBLP、INSPEC、SCOPUS 和中国科学引文数据库(CSCD)核心库等收录,为 CCF 推荐期刊;两次入选“中国科技期刊国际影响力提升计划”;入选“第4届中国国际化精品科技期刊”;入选“中国科技期刊卓越行动计划项目”。


《前沿》系列英文学术期刊

由教育部主管、高等教育出版社主办的《前沿》(Frontiers)系列英文学术期刊,于2006年正式创刊,以网络版和印刷版向全球发行。系列期刊包括基础科学、生命科学、工程技术和人文社会科学四个主题,是我国覆盖学科最广泛的英文学术期刊群,其中13种被SCI收录,其他也被A&HCI、Ei、MEDLINE或相应学科国际权威检索系统收录,具有一定的国际学术影响力。系列期刊采用在线优先出版方式,保证文章以最快速度发表。

中国学术前沿期刊网

http://journal.hep.com.cn

 
 
 
特别声明:本文转载仅仅是出于传播信息的需要,并不意味着代表本网站观点或证实其内容的真实性;如其他媒体、网站或个人从本网站转载使用,须保留本网站注明的“来源”,并自负版权等法律责任;作者如果不希望被转载或者联系转载稿费等事宜,请与我们接洽。
 
 打印  发E-mail给: 
    
 
相关新闻 相关论文

图片新闻
中国超重元素研究加速器装置刷新纪录 彩色油菜花又添7色!总花色达70种
考研复试,导师心仪这样的学生! 地球刚刚经历最热2月
>>更多
 
一周新闻排行
 
编辑部推荐博文