拓冰网站定制 
灾备CLI存储【免费下载链接】bupVery efficient backup system based on the git packfile format, providing fast incremental saves and global deduplication (among and within files, including virtual machine images). Please post problems or patches to the mailing list for discussion (see the end of the README below).项目地址https://gitcode.com/gh_mirrors/bu/bup点击查看免费下载bup 是基于 git packfile 格式的高效备份系统当仓库中积累了大量.idx索引文件后逐个查找对象会显著拖慢备份性能。bup midx命令正是为解决这一问题而生的它把多个.idx文件合并为一个多索引.midx文件用一张全局排序表加上可变大小的 fanout 查找表把对象查找复杂度从遍历所有索引压缩到近乎一次内存查找。本文以 bup-midx.1.md 官方手册为核心结合仓库源码与测试用例完整讲解.midx的文件格式、bup midx的每个命令行选项、自动生成机制以及校验与故障处理方式读完即可理解并熟练使用该命令也能掌握 bup 对象查找的底层加速原理。一、什么是.midx多索引文件默认情况下bup 使用 git 格式的 pack 文件存储数据一个.pack文件保存对象内容一个.idx文件保存排序后的对象名列表以及它们在该.pack中的偏移量。这种格式的优点是备份数据集可以直接用git访问兼容 git 工具链。但问题在于普通 git 仓库通常 pack 数量少、体积大而 bup 仓库中 pack 往往数量极多且单个较小。当.idx文件非常多时逐一在这些文件中做二分查找会明显变慢——这正是bup midx要解决的场景。.midxmulti-index把其引用的所有.pack中包含的对象合并成一张全局排序列表。对这张列表做二分查找只需约log2(m)步其中m是仓库中的对象总数。为进一步加速.midx还内嵌一张可变大小的 fanout扇出表可以跳过二分查找的前 n 步借助 fanout 表bup 用一次查表就能确定某个对象 ID如果存在会落在.midx文件的哪一页因此典型查找只需要换入两个页面——一个用于 fanout 表一个用于对象 ID。手册明确指出现在你通常不再需要手动运行这个命令bup-save等命令会在后台自动调用它见本文第五节。但在需要手工排查性能、调试索引问题或强制重建索引时它依然是一个重要工具。二、命令语法与基本用法bup midx [-o outfile] -a|-f|idxnames...从命令行实现看完整用法还包括--check、--max-files、--dir与-p其选项定义位于 lib/bup/cmd/midx.pybup midx idxnames...显式指定一个或多个.idx/.midx文件作为输入合并生成新的.midxbup midx -a自动扫描对象目录对合适的.idx文件自动生成新的.midxbup midx -f强制把所有.idx文件合并为一个.midxbup midx --check校验.midx内容配合-a校验全部。命令行约束来自 main 函数-f/-a不能与显式输入文件名同时使用--check必须提供文件名或-a否则直接报错退出。三、选项详解选项说明默认值与细节-o, --outputfilename.midx指定.midx输出文件名默认自动生成格式为midx-sha1.midx见下文输出文件命名-a, --auto自动为合适的.idx生成新的.midx若对象过少少于 1024 个且输入索引少于 3 个则无事可做直接跳过-f, --force强制把所有.idx合并进单一.midx即使已有其他.midx存在也执行备份性能最快但可能耗时较长-f下不把已有.midx作为输入-d, --dirpackdir指定存放.idx/.midx的目录默认$BUP_DIR/objects/pack源码中为git.repo(bobjects/pack)--max-files同时打开.idx文件数量的上限默认 -1自动按RLIMIT_NOFILE计算并留出安全余量上限 32任何情况下取值都必须大于 4否则报错退出--check校验.midx确保其包含的所有.idx中的对象都存在于.midx内常用于调试-p, --print打印生成的.midx文件名源码新增选项默认关闭输出文件命名规则当未指定-o时输出文件名由输入文件列表内容决定见 _do_midxsum hexlify(Sha1(b\0.join(infilenames)).digest()) outfilename b%s/midx-%s.midx % (outdir, sum)即对按\0拼接的输入文件名列表计算 SHA-1得到midx-40位hex.midx。手册示例中的midx-b66d7c9afc4396187218f2936a87b865cf342672.midx正是这种自动命名的产物。--max-files 的边界行为当传入值小于 0 时命令从系统资源限制推导实际上限main 函数maxf min(resource.getrlimit(resource.RLIMIT_NOFILE)) # 加上安全余量最多留 32下限为 5 opt.max_files max(5, maxf - min(32, maxf))如果最终值小于 5命令直接fatal退出。设置该选项的意义在于当文件描述符数量非常紧张时midx可以分多组group依次合并虽然结果可能并非最优但至少能完成任务——分组逻辑见 do_midx_group。四、典型使用示例手册给出的标准示例$ bup midx -a Merging 21 indexes (2278559 objects). Table size: 524288 (17 bits) Reading indexes: 100.00% (2278559/2278559), done. midx-b66d7c9afc4396187218f2936a87b865cf342672.midx输出解析Merging 21 indexes (2278559 objects)本次合并了 21 个索引、共 2,278,559 个对象Table size: 524288 (17 bits)fanout 表有 524288 个条目2^17即 fanout 位宽为 17 位Reading indexes: 100.00% (2278559/2278559), done.读取进度最后一行是自动生成的.midx文件名。其他实用组合# 查看仓库对象目录默认目录并强制合并为单一 midx bup midx -f # 指定对象目录执行自动合并 bup midx -a --dir/path/to/backup/objects/pack # 校验仓库中全部 .midx 文件 bup midx --check -a # 显式指定若干索引文件合并并打印生成的文件名 bup midx -p pack-*.idx表大小的计算逻辑表大小与位宽由对象总数决定lib/bup/cmd/midx.pypages int(total / SHA_PER_PAGE) or 1 # 每页约可容纳 PAGE_SIZE/20 204 个 SHA1 bits int(math.ceil(math.log(pages, 2))) entries 2**bits其中PAGE_SIZE 4096每个对象 ID 为 20 字节因此每页约 204 个对象bits取使 fanout 表条目数2**bits不小于所需页数的最小值。示例中 17 bits 意味着可寻址 2^17 131072 页足以容纳 2278559 个对象。五、bup midx何时被自动运行手册强调不必手工运行其原因在于 bup 在保存save流程中会自动触发索引维护。git.py 的 auto_midx 在备份完成后会依次执行args [bup.path.exe(), bmidx, b--auto, b--dir, objdir] ... args [bup.path.exe(), bbloom, b--dir, objdir]即自动调用bup midx --auto生成新的多索引随后调用bup bloom生成布隆过滤器bloom 用于快速判断对象肯定不存在。这一调用链在 PackWriter 的保存收尾流程 中被触发。所以日常使用bup-save时无需关心.midx的生成。自动合并的启发式策略--auto模式并非永远合并而是维持合理数量的索引。源码 do_midx_dir 中定义了两个水位desired_hwm 1 if force else 5 # 期望索引数量上界auto 下最多保留 5 个 desired_lwm 1 if force else 2 # 下界每次至少合并掉一部分使剩余不超过 2 个流程为先收集已有的.midx与其覆盖的.idx按体积最大、最新排序剔除完全冗余内容已被更大.midx覆盖的旧.midx随后在all中混合剩余.midx与裸.idx只要数量超过上界就合并最小的一批循环直到数量收敛。此外当对象总量小于 1024 且输入索引少于 3 个时_do_midx判定无事可做直接返回lib/bup/cmd/midx.py避免为过小的数据集生成收益极低的.midx。运行时的自动刷新与冗余清理PackIdxList是 bup 运行时加载索引的入口其 refresh() 负责扫描*.midx打开后检查其引用的.idx是否存在若某个.idx缺失则给出warning: index ... missing / used by ...并删除该破损.midxlib/bup/git.py按(-len(ix), -st_mtime_ns)排序若某个.midx的内容已全部被其他索引覆盖则判定为冗余并删除lib/bup/git.py使用skip_midxTrue或构造时ignore_midxTrue可跳过所有.midx相关工作。此外close_temps() 会先关闭所有 mmap 的 bloom/midx 临时文件再安全地执行auto_midx()避免在文件仍被映射时删除它们。六、.midx文件格式与查找算法源码级剖析.midx的读写实现在 lib/bup/midx.py关键常量与结构如下MIDX_HEADER bMIDX # 4 字节魔数 MIDX_VERSION 4 # 当前版本号磁盘布局按 PackMidx.init解析出的布局为偏移长度内容04魔数MIDX44版本号大端!I84fanout 位宽bits124 * 2^bitsfanout 表每个条目 4 字节累计对象计数12 4*2^bits20 * nshaSHA1 对象表全局排序每个 20 字节... 20*nsha4 * nshawhich 表每个对象 4 字节记录它来自哪个.idx尾部—idxnames列表所有被引用.idx文件名以\0分隔其中nsha fanout[2^bits - 1]即对象总数。写入侧代码lib/bup/cmd/midx.py会先写 12 字节头部再truncate到12 4*entries 20*total 4*total随后调用 C 层的_helpers.merge_into完成多路归并填充最后把allfilenames以\0拼接写入文件末尾。查找fanout 单步定位 插值二分exists()是核心查找路径lib/bup/midx.pyel extract_bits(want, self.bits) # 取对象 ID 前 bits 位作为 fanout 索引 if el: start self._fanget(el - 1) # 该桶起点 else: start 0 end self._fanget(el) # 该桶终点借助 fanout 表一次查表即可把候选区间缩小到对应页随后在区间内做插值二分interpolation binary search按哈希值比例估算中点mid逐步逼近目标对象。命中后若需要来源信息可通过 which 表定位到具体.idx文件名_get_idxname。这正是手册中典型查找只需换入两页的实现基础。一个值得注意的约束exists()目前不支持返回对象偏移——assert not want_offset, returning offset is not supported in midx。因此当调用方需要偏移时PackIdxList.exists 会先通过.midx定位来源.idx再回退到open_idx()去查真实偏移。MRU 加速与 bloom 配合PackIdxList.exists 体现了手册所述的优化策略查找存在的对象时优先搜索最近命中的 packMRU 算法命中后把该 pack 移到列表最前lib/bup/git.py查找不存在的对象时使用 bloom 过滤器快速否定一旦某次 bloom 判定可能命中后续查找会暂时绕过 bloom 直接查索引以平衡成本lib/bup/git.py。这印证了手册的核心结论.midx对新建备份场景收益最大因为判断对象不存在必然要检索所有索引而判断存在可以借助 MRU 与 bloom 做优化。七、校验--check的工作原理--check用于验证.midx完整性实现见 check_midx它逐项检查完整性遍历该.midx引用的每个.idx确认每个对象既存在于原.idx也存在于.midxix.exists(e)缺失即报告missing from idx/missing from midx有序性遍历.midx中的全部对象确认其保持严格升序否则报告ordering error每处理 1234 个对象输出一次进度。全部通过后输出All tests passed.任何失败都会累计到saved_errors。对应的集成测试 test/int/test_midx.py 验证了完整行为链两次bup save后用bup midx -f应恰好生成一个.midx--check -a通过随后手动删除某个.idx再次--check -a时命令能够继续运行并报告缺失——这正对应了MissingIdxs异常与运行时自动删除破损.midx的设计lib/bup/midx.py。打开与版本兼容open_midx 是唯一合法的打开入口PackMidx构造函数强制_internalTrue魔数或版本不符时给出Warning: skipping: invalid MIDX header ...并返回None版本低于当前旧格式提示ignoring old-style高于当前提示ignoring too-new引用的.idx缺失时默认ignore_missingTrue忽略该.midx否则抛出MissingIdxs由调用方决定告警或删除。clear_midxes(dir)提供了一键清理某目录下所有.midx的能力lib/bup/midx.py便于在异常情况下重建全部多索引。八、使用建议与注意事项日常无需手动执行bup-save等命令会在保存后自动运行midx --auto与bloom手工执行主要用于排查或调试。追求极致备份速度用-f-f会把所有.idx合并为单一.midx查找最快但合并本身耗时较长、占用资源较多适合在备份间隙执行。文件描述符紧张时用--max-files其取值必须大于 4否则命令拒绝执行默认值按系统RLIMIT_NOFILE推导对绝大多数场景足够。注意.idx与.midx的依存关系.midx只是元数据加速索引实际对象仍存放在.pack中删除.idx会让引用它的.midx变为破损状态bup 会告警并自动忽略或删除这类.midx。.midx无法直接返回对象偏移需要偏移量的场景如读取对象内容会回退到原始.idx查询这是当前实现的既定约束。九、相关命令bup-save.1.md保存备份的主要命令会在保存后自动触发midx --auto与 bloom 生成bup-margin.1.md估算当前索引大小与危险阈值的距离辅助判断是否需要调整 pack 大小bup-memtest.1.md内存压力测试工具可评估大仓库下的内存占用。延伸阅读仓库源码与测试命令行实现lib/bup/cmd/midx.py.midx格式与查找算法lib/bup/midx.py自动调用与运行时索引管理auto_midx、PackIdxList.refreshlib/bup/git.py 与 lib/bup/git.py集成测试test/int/test_midx.py、test/int/test_client.py、test/int/test_git.py命令手册原文Documentation/bup-midx.1.md赞分享灾备CLI存储【免费下载链接】bupVery efficient backup system based on the git packfile format, providing fast incremental saves and global deduplication (among and within files, including virtual machine images). Please post problems or patches to the mailing list for discussion (see the end of the README below).项目地址https://gitcode.com/gh_mirrors/bu/bup点击查看免费下载相关推荐Git项目中的多包索引(MIDX)技术解析Git项目中的多包索引 MIDX 技术解析 什么是多包索引 MIDX 在Git项目中对象存储是一个核心功能。传统的Git对象存储使用 .pack 包文件和对应版本控制开发工具CLI10分钟上手Wine Staging新手必备的Windows程序兼容工具10分钟上手Wine Staging新手必备的Windows程序兼容工具 Wine Staging是Wine项目的测试分支专为希望在Linux或macOS系FFmpeg-Kit 完整指南跨平台 FFmpeg 封装库如何选型与接入FFmpeg Kit 完整指南跨平台 FFmpeg 封装库如何选型与接入 FFmpeg Kit 是一组让 App 里直接跑 FFmpeg一套成熟的开源音视频音视频视频处理音频处理上一篇基于 SpacetimeDB 构建实时协作绘图应用基础版基本绘制与实时光标全攻略下一篇Agent Skills 到 X-to-Book 系统的技能映射实战用 Context Engineering 设计多智能体内容生产线创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 bup midx 多索引（.midx）文件深入解析：原理、命令行操作与自动维护机制
灾备CLI存储【免费下载链接】bupVery efficient backup system based on the git packfile format, providing fast incremental saves and global deduplication (among and within files, including virtual machine images). Please post problems or patches to the mailing list for discussion (see the end of the README below).项目地址https://gitcode.com/gh_mirrors/bu/bup点击查看免费下载bup 是基于 git packfile 格式的高效备份系统当仓库中积累了大量.idx索引文件后逐个查找对象会显著拖慢备份性能。bup midx命令正是为解决这一问题而生的它把多个.idx文件合并为一个多索引.midx文件用一张全局排序表加上可变大小的 fanout 查找表把对象查找复杂度从遍历所有索引压缩到近乎一次内存查找。本文以 bup-midx.1.md 官方手册为核心结合仓库源码与测试用例完整讲解.midx的文件格式、bup midx的每个命令行选项、自动生成机制以及校验与故障处理方式读完即可理解并熟练使用该命令也能掌握 bup 对象查找的底层加速原理。一、什么是.midx多索引文件默认情况下bup 使用 git 格式的 pack 文件存储数据一个.pack文件保存对象内容一个.idx文件保存排序后的对象名列表以及它们在该.pack中的偏移量。这种格式的优点是备份数据集可以直接用git访问兼容 git 工具链。但问题在于普通 git 仓库通常 pack 数量少、体积大而 bup 仓库中 pack 往往数量极多且单个较小。当.idx文件非常多时逐一在这些文件中做二分查找会明显变慢——这正是bup midx要解决的场景。.midxmulti-index把其引用的所有.pack中包含的对象合并成一张全局排序列表。对这张列表做二分查找只需约log2(m)步其中m是仓库中的对象总数。为进一步加速.midx还内嵌一张可变大小的 fanout扇出表可以跳过二分查找的前 n 步借助 fanout 表bup 用一次查表就能确定某个对象 ID如果存在会落在.midx文件的哪一页因此典型查找只需要换入两个页面——一个用于 fanout 表一个用于对象 ID。手册明确指出现在你通常不再需要手动运行这个命令bup-save等命令会在后台自动调用它见本文第五节。但在需要手工排查性能、调试索引问题或强制重建索引时它依然是一个重要工具。二、命令语法与基本用法bup midx [-o outfile] -a|-f|idxnames...从命令行实现看完整用法还包括--check、--max-files、--dir与-p其选项定义位于 lib/bup/cmd/midx.pybup midx idxnames...显式指定一个或多个.idx/.midx文件作为输入合并生成新的.midxbup midx -a自动扫描对象目录对合适的.idx文件自动生成新的.midxbup midx -f强制把所有.idx文件合并为一个.midxbup midx --check校验.midx内容配合-a校验全部。命令行约束来自 main 函数-f/-a不能与显式输入文件名同时使用--check必须提供文件名或-a否则直接报错退出。三、选项详解选项说明默认值与细节-o, --outputfilename.midx指定.midx输出文件名默认自动生成格式为midx-sha1.midx见下文输出文件命名-a, --auto自动为合适的.idx生成新的.midx若对象过少少于 1024 个且输入索引少于 3 个则无事可做直接跳过-f, --force强制把所有.idx合并进单一.midx即使已有其他.midx存在也执行备份性能最快但可能耗时较长-f下不把已有.midx作为输入-d, --dirpackdir指定存放.idx/.midx的目录默认$BUP_DIR/objects/pack源码中为git.repo(bobjects/pack)--max-files同时打开.idx文件数量的上限默认 -1自动按RLIMIT_NOFILE计算并留出安全余量上限 32任何情况下取值都必须大于 4否则报错退出--check校验.midx确保其包含的所有.idx中的对象都存在于.midx内常用于调试-p, --print打印生成的.midx文件名源码新增选项默认关闭输出文件命名规则当未指定-o时输出文件名由输入文件列表内容决定见 _do_midxsum hexlify(Sha1(b\0.join(infilenames)).digest()) outfilename b%s/midx-%s.midx % (outdir, sum)即对按\0拼接的输入文件名列表计算 SHA-1得到midx-40位hex.midx。手册示例中的midx-b66d7c9afc4396187218f2936a87b865cf342672.midx正是这种自动命名的产物。--max-files 的边界行为当传入值小于 0 时命令从系统资源限制推导实际上限main 函数maxf min(resource.getrlimit(resource.RLIMIT_NOFILE)) # 加上安全余量最多留 32下限为 5 opt.max_files max(5, maxf - min(32, maxf))如果最终值小于 5命令直接fatal退出。设置该选项的意义在于当文件描述符数量非常紧张时midx可以分多组group依次合并虽然结果可能并非最优但至少能完成任务——分组逻辑见 do_midx_group。四、典型使用示例手册给出的标准示例$ bup midx -a Merging 21 indexes (2278559 objects). Table size: 524288 (17 bits) Reading indexes: 100.00% (2278559/2278559), done. midx-b66d7c9afc4396187218f2936a87b865cf342672.midx输出解析Merging 21 indexes (2278559 objects)本次合并了 21 个索引、共 2,278,559 个对象Table size: 524288 (17 bits)fanout 表有 524288 个条目2^17即 fanout 位宽为 17 位Reading indexes: 100.00% (2278559/2278559), done.读取进度最后一行是自动生成的.midx文件名。其他实用组合# 查看仓库对象目录默认目录并强制合并为单一 midx bup midx -f # 指定对象目录执行自动合并 bup midx -a --dir/path/to/backup/objects/pack # 校验仓库中全部 .midx 文件 bup midx --check -a # 显式指定若干索引文件合并并打印生成的文件名 bup midx -p pack-*.idx表大小的计算逻辑表大小与位宽由对象总数决定lib/bup/cmd/midx.pypages int(total / SHA_PER_PAGE) or 1 # 每页约可容纳 PAGE_SIZE/20 204 个 SHA1 bits int(math.ceil(math.log(pages, 2))) entries 2**bits其中PAGE_SIZE 4096每个对象 ID 为 20 字节因此每页约 204 个对象bits取使 fanout 表条目数2**bits不小于所需页数的最小值。示例中 17 bits 意味着可寻址 2^17 131072 页足以容纳 2278559 个对象。五、bup midx何时被自动运行手册强调不必手工运行其原因在于 bup 在保存save流程中会自动触发索引维护。git.py 的 auto_midx 在备份完成后会依次执行args [bup.path.exe(), bmidx, b--auto, b--dir, objdir] ... args [bup.path.exe(), bbloom, b--dir, objdir]即自动调用bup midx --auto生成新的多索引随后调用bup bloom生成布隆过滤器bloom 用于快速判断对象肯定不存在。这一调用链在 PackWriter 的保存收尾流程 中被触发。所以日常使用bup-save时无需关心.midx的生成。自动合并的启发式策略--auto模式并非永远合并而是维持合理数量的索引。源码 do_midx_dir 中定义了两个水位desired_hwm 1 if force else 5 # 期望索引数量上界auto 下最多保留 5 个 desired_lwm 1 if force else 2 # 下界每次至少合并掉一部分使剩余不超过 2 个流程为先收集已有的.midx与其覆盖的.idx按体积最大、最新排序剔除完全冗余内容已被更大.midx覆盖的旧.midx随后在all中混合剩余.midx与裸.idx只要数量超过上界就合并最小的一批循环直到数量收敛。此外当对象总量小于 1024 且输入索引少于 3 个时_do_midx判定无事可做直接返回lib/bup/cmd/midx.py避免为过小的数据集生成收益极低的.midx。运行时的自动刷新与冗余清理PackIdxList是 bup 运行时加载索引的入口其 refresh() 负责扫描*.midx打开后检查其引用的.idx是否存在若某个.idx缺失则给出warning: index ... missing / used by ...并删除该破损.midxlib/bup/git.py按(-len(ix), -st_mtime_ns)排序若某个.midx的内容已全部被其他索引覆盖则判定为冗余并删除lib/bup/git.py使用skip_midxTrue或构造时ignore_midxTrue可跳过所有.midx相关工作。此外close_temps() 会先关闭所有 mmap 的 bloom/midx 临时文件再安全地执行auto_midx()避免在文件仍被映射时删除它们。六、.midx文件格式与查找算法源码级剖析.midx的读写实现在 lib/bup/midx.py关键常量与结构如下MIDX_HEADER bMIDX # 4 字节魔数 MIDX_VERSION 4 # 当前版本号磁盘布局按 PackMidx.init解析出的布局为偏移长度内容04魔数MIDX44版本号大端!I84fanout 位宽bits124 * 2^bitsfanout 表每个条目 4 字节累计对象计数12 4*2^bits20 * nshaSHA1 对象表全局排序每个 20 字节... 20*nsha4 * nshawhich 表每个对象 4 字节记录它来自哪个.idx尾部—idxnames列表所有被引用.idx文件名以\0分隔其中nsha fanout[2^bits - 1]即对象总数。写入侧代码lib/bup/cmd/midx.py会先写 12 字节头部再truncate到12 4*entries 20*total 4*total随后调用 C 层的_helpers.merge_into完成多路归并填充最后把allfilenames以\0拼接写入文件末尾。查找fanout 单步定位 插值二分exists()是核心查找路径lib/bup/midx.pyel extract_bits(want, self.bits) # 取对象 ID 前 bits 位作为 fanout 索引 if el: start self._fanget(el - 1) # 该桶起点 else: start 0 end self._fanget(el) # 该桶终点借助 fanout 表一次查表即可把候选区间缩小到对应页随后在区间内做插值二分interpolation binary search按哈希值比例估算中点mid逐步逼近目标对象。命中后若需要来源信息可通过 which 表定位到具体.idx文件名_get_idxname。这正是手册中典型查找只需换入两页的实现基础。一个值得注意的约束exists()目前不支持返回对象偏移——assert not want_offset, returning offset is not supported in midx。因此当调用方需要偏移时PackIdxList.exists 会先通过.midx定位来源.idx再回退到open_idx()去查真实偏移。MRU 加速与 bloom 配合PackIdxList.exists 体现了手册所述的优化策略查找存在的对象时优先搜索最近命中的 packMRU 算法命中后把该 pack 移到列表最前lib/bup/git.py查找不存在的对象时使用 bloom 过滤器快速否定一旦某次 bloom 判定可能命中后续查找会暂时绕过 bloom 直接查索引以平衡成本lib/bup/git.py。这印证了手册的核心结论.midx对新建备份场景收益最大因为判断对象不存在必然要检索所有索引而判断存在可以借助 MRU 与 bloom 做优化。七、校验--check的工作原理--check用于验证.midx完整性实现见 check_midx它逐项检查完整性遍历该.midx引用的每个.idx确认每个对象既存在于原.idx也存在于.midxix.exists(e)缺失即报告missing from idx/missing from midx有序性遍历.midx中的全部对象确认其保持严格升序否则报告ordering error每处理 1234 个对象输出一次进度。全部通过后输出All tests passed.任何失败都会累计到saved_errors。对应的集成测试 test/int/test_midx.py 验证了完整行为链两次bup save后用bup midx -f应恰好生成一个.midx--check -a通过随后手动删除某个.idx再次--check -a时命令能够继续运行并报告缺失——这正对应了MissingIdxs异常与运行时自动删除破损.midx的设计lib/bup/midx.py。打开与版本兼容open_midx 是唯一合法的打开入口PackMidx构造函数强制_internalTrue魔数或版本不符时给出Warning: skipping: invalid MIDX header ...并返回None版本低于当前旧格式提示ignoring old-style高于当前提示ignoring too-new引用的.idx缺失时默认ignore_missingTrue忽略该.midx否则抛出MissingIdxs由调用方决定告警或删除。clear_midxes(dir)提供了一键清理某目录下所有.midx的能力lib/bup/midx.py便于在异常情况下重建全部多索引。八、使用建议与注意事项日常无需手动执行bup-save等命令会在保存后自动运行midx --auto与bloom手工执行主要用于排查或调试。追求极致备份速度用-f-f会把所有.idx合并为单一.midx查找最快但合并本身耗时较长、占用资源较多适合在备份间隙执行。文件描述符紧张时用--max-files其取值必须大于 4否则命令拒绝执行默认值按系统RLIMIT_NOFILE推导对绝大多数场景足够。注意.idx与.midx的依存关系.midx只是元数据加速索引实际对象仍存放在.pack中删除.idx会让引用它的.midx变为破损状态bup 会告警并自动忽略或删除这类.midx。.midx无法直接返回对象偏移需要偏移量的场景如读取对象内容会回退到原始.idx查询这是当前实现的既定约束。九、相关命令bup-save.1.md保存备份的主要命令会在保存后自动触发midx --auto与 bloom 生成bup-margin.1.md估算当前索引大小与危险阈值的距离辅助判断是否需要调整 pack 大小bup-memtest.1.md内存压力测试工具可评估大仓库下的内存占用。延伸阅读仓库源码与测试命令行实现lib/bup/cmd/midx.py.midx格式与查找算法lib/bup/midx.py自动调用与运行时索引管理auto_midx、PackIdxList.refreshlib/bup/git.py 与 lib/bup/git.py集成测试test/int/test_midx.py、test/int/test_client.py、test/int/test_git.py命令手册原文Documentation/bup-midx.1.md赞分享灾备CLI存储【免费下载链接】bupVery efficient backup system based on the git packfile format, providing fast incremental saves and global deduplication (among and within files, including virtual machine images). Please post problems or patches to the mailing list for discussion (see the end of the README below).项目地址https://gitcode.com/gh_mirrors/bu/bup点击查看免费下载相关推荐Git项目中的多包索引(MIDX)技术解析Git项目中的多包索引 MIDX 技术解析 什么是多包索引 MIDX 在Git项目中对象存储是一个核心功能。传统的Git对象存储使用 .pack 包文件和对应版本控制开发工具CLI10分钟上手Wine Staging新手必备的Windows程序兼容工具10分钟上手Wine Staging新手必备的Windows程序兼容工具 Wine Staging是Wine项目的测试分支专为希望在Linux或macOS系FFmpeg-Kit 完整指南跨平台 FFmpeg 封装库如何选型与接入FFmpeg Kit 完整指南跨平台 FFmpeg 封装库如何选型与接入 FFmpeg Kit 是一组让 App 里直接跑 FFmpeg一套成熟的开源音视频音视频视频处理音频处理上一篇基于 SpacetimeDB 构建实时协作绘图应用基础版基本绘制与实时光标全攻略下一篇Agent Skills 到 X-to-Book 系统的技能映射实战用 Context Engineering 设计多智能体内容生产线创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考