拓冰网站定制 
Funnel Retrieval 深度拆解MRL 五级重排级联如何用 8 维向量检索对齐 2048 维精度【免费下载链接】MRLCode repository for the paper - Matryoshka Representation Learning项目地址: https://gitcode.com/gh_mirrors/mrl/MRLMRL 套娃表示为什么向量可以一层层剥开MRLMatryoshka Representation Learning套娃表示学习解决了一个经典矛盾图像检索要高精度就得用 2048 维的完整向量要省算力就得砍到低维——传统做法二选一。MRL 的思路是让一个 2048 维向量的前 8 维、前 16 维……前 2048 维各自都是可用的完整表示像套娃一样层层嵌套。实现上只需把分类头换成MRL_Linear_Layer它对嵌套尺寸[8, 16, 32, 64, 128, 256, 512, 1024, 2048]分别施加交叉熵损失再求和核心代码见 MRL.py。这样训出来的 ResNet50 只需一次前向就能输出任意尺寸的截断表示。如上图ImageNet-1K 检索实验MRL 在所有维度下都显著超过 SVD、SlimeNet、随机投影等传统降维基线——8 维表示就能拿到 56% 以上的 mAP10这是漏斗检索敢于从 8 维起步的前提。Funnel Retrieval五级重排级联的完整流程Funnel Retrieval漏斗检索的目标是用远低于 2048 维的计算量达到接近 2048 维直接检索的精度。整个流程分1 次粗检索 5 级重排候选集像漏斗一样逐级收窄阶段向量维度候选集长度操作① 粗检索FAISS82048对全库约 128 万张图做精确 L2 k-NN② 第 1 级重排16200截取前 200按 16 维距离重排③ 第 2 级重排32100截取前 100按 32 维距离重排④ 第 3 级重排6450截取前 50按 64 维距离重排⑤ 第 4 级重排12825截取前 25按 128 维距离重排⑥ 第 5 级重排204810截取前 10按完整 2048 维距离定序两条级联序列重排维度rerank_dim递增 候选集shortlist递减在 retrieval/reranking.ipynb 中定义rerank_dim [16, 32, 64, 128, 2048] # rerank cascade shortlist_set [[200, 100, 50, 25, 10], ...] # shortlist cascade它的巧妙之处在于重排只发生在候选集内部第 5 级虽然用 2048 维计算距离但只对 10 个候选做而非全库 128 万次比较。每一级都是维度升一档、候选砍一半最终输出 Top-10。相比需要人工挑D_r/D_s组合的单次自适应检索漏斗策略免除了对两个超参的调优且几乎不损失精度。效果如何128× 理论加速精度几乎无损上图给出 ImageNet-1K 与分布外数据集 ImageNet-4K 上 mAP10 对 MFLOPs/Query 的权衡曲线。Funnel 点红色漏斗标记紧贴 2048 维基线的精度水平ImageNet-1K约128× 理论加速真实部署中14× 加速ImageNet-4KOOD 场景6× 真实加速、32× 理论加速精度依然对齐也就是说一个 8 维起步的检索请求经过五级级联后拿到了与 2048 维全精度检索几乎相同的 Top-1 表现而计算量只剩原来的零头。相关文件导读如何在项目里复现嵌套分类层与损失函数MRL.py检索流水线说明retrieval/README.md生成库/查询向量inference/pytorch_inference.py加--retrieval --mrl参数FAISS 建库与 8 维粗检索retrieval/faiss_nn.ipynb漏斗重排核心实现retrieval/reranking.ipynbmAPk / Recallk 指标计算retrieval/compute_metrics.ipynb分布外评测集 ImageNet-4K 说明imagenet-4k/README.md总结Funnel Retrieval 是 MRL 嵌套表示的最佳打开方式8 维粗筛全库 → 五级重排逐级提精度 → 2048 维只给最终 10 个候选算距离。它以 128× 的理论计算节省对齐了满精度检索效果为大规模图像检索、以图搜图等场景提供了一条低成本、高精度的落地路径。【免费下载链接】MRLCode repository for the paper - Matryoshka Representation Learning项目地址: https://gitcode.com/gh_mirrors/mrl/MRL创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Funnel Retrieval 深度拆解：MRL 五级重排级联如何用 8 维向量检索对齐 2048 维精度
Funnel Retrieval 深度拆解MRL 五级重排级联如何用 8 维向量检索对齐 2048 维精度【免费下载链接】MRLCode repository for the paper - Matryoshka Representation Learning项目地址: https://gitcode.com/gh_mirrors/mrl/MRLMRL 套娃表示为什么向量可以一层层剥开MRLMatryoshka Representation Learning套娃表示学习解决了一个经典矛盾图像检索要高精度就得用 2048 维的完整向量要省算力就得砍到低维——传统做法二选一。MRL 的思路是让一个 2048 维向量的前 8 维、前 16 维……前 2048 维各自都是可用的完整表示像套娃一样层层嵌套。实现上只需把分类头换成MRL_Linear_Layer它对嵌套尺寸[8, 16, 32, 64, 128, 256, 512, 1024, 2048]分别施加交叉熵损失再求和核心代码见 MRL.py。这样训出来的 ResNet50 只需一次前向就能输出任意尺寸的截断表示。如上图ImageNet-1K 检索实验MRL 在所有维度下都显著超过 SVD、SlimeNet、随机投影等传统降维基线——8 维表示就能拿到 56% 以上的 mAP10这是漏斗检索敢于从 8 维起步的前提。Funnel Retrieval五级重排级联的完整流程Funnel Retrieval漏斗检索的目标是用远低于 2048 维的计算量达到接近 2048 维直接检索的精度。整个流程分1 次粗检索 5 级重排候选集像漏斗一样逐级收窄阶段向量维度候选集长度操作① 粗检索FAISS82048对全库约 128 万张图做精确 L2 k-NN② 第 1 级重排16200截取前 200按 16 维距离重排③ 第 2 级重排32100截取前 100按 32 维距离重排④ 第 3 级重排6450截取前 50按 64 维距离重排⑤ 第 4 级重排12825截取前 25按 128 维距离重排⑥ 第 5 级重排204810截取前 10按完整 2048 维距离定序两条级联序列重排维度rerank_dim递增 候选集shortlist递减在 retrieval/reranking.ipynb 中定义rerank_dim [16, 32, 64, 128, 2048] # rerank cascade shortlist_set [[200, 100, 50, 25, 10], ...] # shortlist cascade它的巧妙之处在于重排只发生在候选集内部第 5 级虽然用 2048 维计算距离但只对 10 个候选做而非全库 128 万次比较。每一级都是维度升一档、候选砍一半最终输出 Top-10。相比需要人工挑D_r/D_s组合的单次自适应检索漏斗策略免除了对两个超参的调优且几乎不损失精度。效果如何128× 理论加速精度几乎无损上图给出 ImageNet-1K 与分布外数据集 ImageNet-4K 上 mAP10 对 MFLOPs/Query 的权衡曲线。Funnel 点红色漏斗标记紧贴 2048 维基线的精度水平ImageNet-1K约128× 理论加速真实部署中14× 加速ImageNet-4KOOD 场景6× 真实加速、32× 理论加速精度依然对齐也就是说一个 8 维起步的检索请求经过五级级联后拿到了与 2048 维全精度检索几乎相同的 Top-1 表现而计算量只剩原来的零头。相关文件导读如何在项目里复现嵌套分类层与损失函数MRL.py检索流水线说明retrieval/README.md生成库/查询向量inference/pytorch_inference.py加--retrieval --mrl参数FAISS 建库与 8 维粗检索retrieval/faiss_nn.ipynb漏斗重排核心实现retrieval/reranking.ipynbmAPk / Recallk 指标计算retrieval/compute_metrics.ipynb分布外评测集 ImageNet-4K 说明imagenet-4k/README.md总结Funnel Retrieval 是 MRL 嵌套表示的最佳打开方式8 维粗筛全库 → 五级重排逐级提精度 → 2048 维只给最终 10 个候选算距离。它以 128× 的理论计算节省对齐了满精度检索效果为大规模图像检索、以图搜图等场景提供了一条低成本、高精度的落地路径。【免费下载链接】MRLCode repository for the paper - Matryoshka Representation Learning项目地址: https://gitcode.com/gh_mirrors/mrl/MRL创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考