Proxy - KD 新方法：突破黑盒大语言模型知识蒸馏限制，性能超传统白盒技术！

致谢与相关信息

我们衷心感谢西蒙斯基金会、成员机构以及所有贡献者的支持。欢迎捐赠。也可了解 arXiv 成为独立非营利组织的相关情况。

搜索信息

计算机科学 > arXiv:2401.07013

搜索选项涵盖所有字段，包括标题、作者、摘要、评论、期刊参考、ACM 分类、MSC 分类、报告编号、arXiv 标识符、DOI、ORCID、arXiv 作者 ID、帮助页面、全文。

快速链接

• 登录
• 帮助页面
• 关于

计算机科学 - 计算与语言

arXiv:2401.07013(计算机科学)

该论文于 2024 年 1 月 13 日提交 ([v1])，最后于 2024 年 11 月 9 日修订（此版本为 v2）。

标题与作者

标题

黑盒大语言模型的知识蒸馏

作者

论文作者包括陈宏展、陈瑞军、易雨琪、全小军、李陈亮、严明、张吉。

可查看由陈宏展等 6 位作者撰写的《黑盒大语言模型的知识蒸馏》论文的 PDF 版本。查看 PDF HTML（实验版）

摘要

鉴于 GPT - 4 等专有大语言模型（LLM）表现卓越，近期研究愈发关注通过知识蒸馏（KD）从这些强大但为黑盒的教师模型提升较小模型的能力。虽然利用这些教师模型的高质量输出有优势，但无法访问其内部状态往往限制了有效的知识转移。为克服这一限制，研究人员提出了 Proxy - KD 这一新颖方法，它使用代理模型来促进知识从黑盒大语言模型高效转移到较小模型。实验表明，Proxy - KD 不仅提升了从黑盒教师模型进行知识蒸馏的性能，还超越了传统的白盒知识蒸馏技术。这种方法为从先进大语言模型中蒸馏知识提供了一个极具吸引力的新途径。

主题

引用方式

arXiv 通过 DataCite 分配的 DOI

提交历史

来自：陈宏展 [查看邮箱]

[v1]2024 年 1 月 13 日星期六 08:43:32 UTC（359 KB）

[v2]2024 年 11 月 9 日星期六 01:35:32 UTC（8,288 KB）

全文链接

可查看由陈宏展等 6 位作者撰写的《黑盒大语言模型的知识蒸馏》论文的 PDF 版本。

• 查看 PDF
• HTML（实验版）
• TeX 源代码

查看许可

当前浏览上下文

cs.CL

< 上一篇 | 下一篇 >

最新论文 | 近期论文 | 2024 - 01

可切换浏览方式：计算机科学

参考文献与引用

• NASA ADS
• 谷歌学术
• 语义学者

导出 BibTeX 引用（加载中...）

BibTeX 格式引用

×

加载中...

数据提供方：

书签

可在以下平台添加书签：

文献工具

文献与引用工具

文献浏览器切换

文献浏览器(什么是文献浏览器？)

关联论文切换

关联论文(什么是关联论文？)

Litmaps 切换

Litmaps(什么是 Litmaps？)

scite.ai 切换

scite 智能引用(什么是智能引用？)

代码、数据与媒体

alphaXiv 切换

alphaXiv(什么是 alphaXiv？)

代码链接切换

CatalyzeX 论文代码查找器(什么是 CatalyzeX？)

DagsHub 切换

DagsHub(什么是 DagsHub？)

GotitPub 切换

Gotit.pub(什么是 GotitPub？)

Huggingface 切换

Hugging Face(什么是 Huggingface？)

ScienceCast 切换

ScienceCast(什么是 ScienceCast？)

演示

Replicate 切换

Replicate(什么是 Replicate？)

空间切换

Hugging Face 空间(什么是空间？)

空间切换

TXYZ.AI(什么是 TXYZ.AI？)

相关论文

推荐器与搜索工具

影响花链接

影响花(什么是影响花？)

CORE 推荐器切换

CORE 推荐器(什么是 CORE？)

• 作者
• 出版地
• 机构
• 主题

关于 arXivLabs

arXivLabs：与社区合作的实验项目

arXivLabs 是一个框架，允许合作者直接在网站上开发和分享新的 arXiv 功能。

与 arXivLabs 合作的个人和组织都认同并接受开放、社区、卓越和用户数据隐私价值观。arXiv 致力于这些价值观，并且只与坚持这些价值观的合作伙伴合作。

若你有能为 arXiv 社区增值的项目想法，可了解更多关于 arXivLabs 的信息。

本文的哪些作者是认可者？ | 禁用 MathJax (什么是 MathJax？)

• 关于
• 帮助
• 联系 arXiv 点击此处联系 arXiv 联系
• 订阅 arXiv 邮件 点击此处订阅 订阅
• 版权
• 隐私政策
• 网络无障碍协助
• arXiv 运行状态