原创力.专利
发明
重复数据删除方法、产品、计算机设备和存储介质2024
2024-08-28 13:20:32
发布于四川
0
- 申请专利号：CN202411018597.2
- 公开（公告）日：2024-10-29
- 公开（公告）号：CN118550477A
- 申请人：济南浪潮数据技术有限公司
摘要：本申请涉及一种重复数据删除方法、产品、计算机设备和存储介质。本申请通过将写入数据对象切片为多个预存数据块实现在分布式存储系统中存储，而且将预存数据块映射定位方式实现在线存储到守护进程中，基于在线重删方式将所述守护进程中的预存数据块的块指纹与存储节点中已存储的数据块的块指纹对比识别是否为重复数据，对应重复数据的块指纹对应的引用计数加一可避免写入重复数据，而且对应删除所述守护进程中为重复数据的预存数据块及块指纹可避免在海量小文件场景中随机广播方式导致性能下降的问题，同时在线重删方式能实现在分布式存储系统数据均衡中避免查找过程复杂导致性能下降的问题。
专利内容
本申请涉及一种重复数据删除方法、产品、计算机设备和存储介质。本申请通过将写入数据对象切片为多个预存数据块实现在分布式存储系统中存储，而且将预存数据块映射定位方式实现在线存储到守护进程中，基于在线重删方式将所述守护进程中的预存数据块的块指纹与存储节点中已存储的数据块的块指纹对比识别是否为重复数据，对应重复数据的块指纹对应的引用计数加一可避免写入重复数据，而且对应删除所述守护进程中为重复数据的预存数据块及块指纹可避免在海量小文件场景中随机广播方式导致性能下降的问题，同时在线重删方式能实现在分布式存储系统数据均衡中避免查找过程复杂导致性能下降的问题。G06F3/06(2006.01)
