活动回顾 | 存储联盟成功举办“基于近NVM计算的系统软件优化及应用”技术沙龙10月26日,存储产业技术创新战略联盟成功举办“基于近NVM计算的系统软件优化及应用”技术沙龙。本次活动由存储联盟主办,江苏大学承办,邀请蔡涛教授进行主题演讲,近百名研发技术人员参与技术讨论。 ![]() 蔡涛教授分享 以下为嘉宾演讲内容摘要 01 研究背景 ![]() 目前NVM的应用场景: 1.独立外存:NVM设备作为独立的外部存储 2.混合外存:NVM设备与Disk构建混合外存 3.独立内存:NVM设备作为独立内存 4.混合内存:NVM设备与DRAM构建混合内存 ![]() 02 研究现状 目前对于NVM的研究还存在以下局限性: 1.NVM设备的数据存储技术:现有文件系统缺乏针对NVM和IoT时序数据特性的优化机制 2.基于NVM的数据库技术:缺乏针对NVM特性而设计的时序数据库 3.时序数据库技术:缺乏针对NVM的I/O软件栈优化;缺乏针对IoT时序数据的特性而设计的原生存储引擎 ![]() 03 高效的元数据管理 第一个解决方式是进行高效的元数据管理。针对文件系统,对元数据管理做分解,综合DRAM和NVM存储设备的优势,提高并发访问文件系统目录树的性能,保证文件系统元数据管理的效率。一部分存储工作仍然放到传统的文件系统中;把更多的工作、元数据管理任务下沉到驱动里,来提高设备性能。 ![]() 04 嵌入驱动的KV Store 第二个解决方法的基本思路是把KV管理引擎嵌到存储设备驱动里,通过PMEKV的访问接口(在用户态增加直接访问的系统调用,缩短KV Store的I/O软件栈)、采用Key和Value分离的管理方式以及基于两层日志的一致性机制。实验的测试结果证明PMEKV-NVM相比Redis、 MongoDB和Memcached能有效的提高插入KV对的效率,PMEKV-NVM相比PMEKV-FS同样在插入KV对时具有性能上的优势,吞吐率提高了33%。相比其他原型系统,PMEKV-NVM始终具有更高的吞吐率,能很好的提高写KV对的速度。 ![]() 05 嵌入式的时序KV Store 第三个工作是针对现有IoT时序数据库的局限做嵌入式的时序KV Store。主要实验内容是针对IoT时序数据的特性进行删冗和压缩,减少所需的存储空间,避免写浪费,降低对NVM设备和SSD的磨损;针对IoT时序数据的时效性,利用NVM设备和SSD各自的优势,分层管理IoT时序数据,提高数据管理的经济性和可扩展性;并根据实际需要实现对不同时序数据层的异构索引,只需访问NVM设备即可索引混合存储系统中所有时序数据,提高索引效率。实验表明该系统最高能提升243.6倍和14.4倍的写/读吞吐率,能节省28%的存储空间。 ![]() 蔡涛教授结合NVM的应用场景,提出了近NVM计算的系统软件优化途径。本次技术交流主题与未来的存储技术热点方向相契合,存储联盟通过发挥产学研交流平台作用,给予科研人员以技术启发,为存储产业提供技术发展和创新的知识储备,推动存储产业技术创新升级。 ![]() |