活动回顾 | 存储联盟成功举办“基于近NVM计算的系统软件优化及应用”技术沙龙

10月26日,存储产业技术创新战略联盟成功举办“基于近NVM计算的系统软件优化及应用”技术沙龙。本次活动由存储联盟主办,江苏大学承办,邀请蔡涛教授进行主题演讲,近百名研发技术人员参与技术讨论。

蔡涛教授分享


以下为嘉宾演讲内容摘要


01

研究背景


目前数据呈现爆炸式的增长,给存储系统带来压力,同时CPU的发展速度远高于存储系统,导致计算机系统出现严重的存储墙。对于解决这个问题,传统存储部件均存在不同程度的局限性:
1.DRAM内存:读写速度快、但成本高、容量小、能耗高、易失性
2.基于Flash的SSD:续写速度较慢、但容量较大、成本偏低、非易失
3.磁盘:成本低、容量大但读写速度慢、传统磁盘文件系统开销很大
与传统存储部件相比,新型非易失性存储器(NVM)无机械部件、非易失,并且读写速度快、按字节寻址、成本较低。


目前NVM的应用场景:

1.独立外存:NVM设备作为独立的外部存储

2.混合外存:NVM设备与Disk构建混合外存

3.独立内存:NVM设备作为独立内存

4.混合内存:NVM设备与DRAM构建混合内存

02

研究现状


目前对于NVM的研究还存在以下局限性:

1.NVM设备的数据存储技术:现有文件系统缺乏针对NVM和IoT时序数据特性的优化机制

2.基于NVM的数据库技术:缺乏针对NVM特性而设计的时序数据库

3.时序数据库技术:缺乏针对NVM的I/O软件栈优化;缺乏针对IoT时序数据的特性而设计的原生存储引擎


03

高效的元数据管理

第一个解决方式是进行高效的元数据管理。针对文件系统,对元数据管理做分解,综合DRAM和NVM存储设备的优势,提高并发访问文件系统目录树的性能,保证文件系统元数据管理的效率。一部分存储工作仍然放到传统的文件系统中;把更多的工作、元数据管理任务下沉到驱动里,来提高设备性能。


04

嵌入驱动的KV Store

第二个解决方法的基本思路是把KV管理引擎嵌到存储设备驱动里,通过PMEKV的访问接口(在用户态增加直接访问的系统调用,缩短KV Store的I/O软件栈)、采用Key和Value分离的管理方式以及基于两层日志的一致性机制。实验的测试结果证明PMEKV-NVM相比Redis、 MongoDB和Memcached能有效的提高插入KV对的效率,PMEKV-NVM相比PMEKV-FS同样在插入KV对时具有性能上的优势,吞吐率提高了33%。相比其他原型系统,PMEKV-NVM始终具有更高的吞吐率,能很好的提高写KV对的速度。



05

嵌入式的时序KV Store


第三个工作是针对现有IoT时序数据库的局限做嵌入式的时序KV Store。主要实验内容是针对IoT时序数据的特性进行删冗和压缩,减少所需的存储空间,避免写浪费,降低对NVM设备和SSD的磨损;针对IoT时序数据的时效性,利用NVM设备和SSD各自的优势,分层管理IoT时序数据,提高数据管理的经济性和可扩展性;并根据实际需要实现对不同时序数据层的异构索引,只需访问NVM设备即可索引混合存储系统中所有时序数据,提高索引效率。实验表明该系统最高能提升243.6倍和14.4倍的写/读吞吐率,能节省28%的存储空间。


结语:

蔡涛教授结合NVM的应用场景,提出了近NVM计算的系统软件优化途径。本次技术交流主题与未来的存储技术热点方向相契合,存储联盟通过发挥产学研交流平台作用,给予科研人员以技术启发,为存储产业提供技术发展和创新的知识储备,推动存储产业技术创新升级。




分享到:
分享网站