为什么Karpathy的LLM Wiki模式重要llm-wiki-compiler知识编译理念完全解读【免费下载链接】llm-wiki-compilerThe knowledge compiler. Raw sources in, interlinked wiki out. Inspired by Karpathys LLM Wiki pattern.项目地址: https://gitcode.com/gh_mirrors/ll/llm-wiki-compilerLLM Wiki 知识编译是 Andrej Karpathy 提出的一个重要理念不要每个 Agent 都在查询时从原始文件中重新发现知识而是先把知识编译成一份持久、可复用、带引用的 Wiki 产物。开源项目llm-wiki-compiler命令为llmwiki正是这一模式的完整落地——它把论文、笔记、文档、网页等原始资料通过两阶段 LLM 管线编译成互相链接的 Markdown Wiki供人类和 AI Agent 浏览、查询与复用。什么是 LLM Wiki 知识编译模式传统 RAG检索增强生成把原始文档块当作核心产物每次提问都去检索一批 chunk让模型当场重建关系答完即弃。LLM Wiki 模式则把编译后的知识当作核心产物概念拥有稳定的页面跨来源的同一概念合并为一页而不是以重复 chunk 竞争页面之间用[[wikilinks]]互链形成可导航的知识图谱每段论述、每个论断都引用回源文件的行号区间后续查询、上下文包、导出都运行在这份编译产物之上一句话概括把查询时重建变成编译时沉淀。更深入的解读见 docs/concepts/karpathy-pattern.mdx。RAG vs 知识编译为什么边查边算不够用对比维度传统 RAGllm-wiki-compiler 知识编译核心产物原始文本块编译后的 Wiki 页面查询行为每次重建上下文复用已有编译结构知识增长临时、即弃随页面与保存的答案复利式增长跨来源概念重复块互相竞争编译期合并为一页溯源能力chunk 级引用段落/论断级行号引用新鲜度追踪通常没有内置 stale/orphaned 检测需要强调知识编译不是否定 RAG而是让检索运行在结构化产物之上——语义向量检索、BM25 重排、wiki 链接图扩展共同产出紧凑且可溯源的证据包。llm-wiki-compiler 如何落地两阶段知识编译管线项目采用两阶段编译详见 docs/concepts/how-it-works.mdx阶段一概念提取—— 每个变更源都送入 LLM 提取概念全部提取完成后才开始写页因此编译器能看到跨来源的概念重叠阶段二页面生成—— 为每个概念生成带 YAML frontmatter 和[[wikilinks]]的 Markdown 页面多来源概念在此合并为单一页面这条管线还带来几个实用特性增量编译所有源文件做 SHA-256 哈希比对未变更的源不重复走 LLM混合检索编译后构建 chunk 级嵌入查询时余弦相似度 → BM25 重排 → 链接图扩展三步收窄证据新鲜度修复源文件变化后页面会被标记为 stale/orphanedllmwiki refresh --stale只重编受影响的页面✅质量门禁llmwiki lint校验链接与引用llmwiki eval输出健康度评分可用作 CI 门槛编译产物长什么样交叉链接、引用与状态一次编译会在项目里生成清晰的目录结构sources/存放原始资料wiki/concepts/是编译出的概念页wiki/queries/是保存的答案.llmwiki/保存状态、评审候选与嵌入索引完整结构见 README.md 的 What llmwiki creates 一节模型细节见 docs/concepts/wiki-model.mdx。编译出的页面是带元数据的纯 Markdownfrontmatter 记录类型、来源、更新时间正文中每段旁附引用 chip。通过llmwiki view --open打开本地查看器你可以获得侧边栏导航、全文搜索、力导向页面图以及每个段落旁的溯源徽章从 CLI 到 Agent编译后知识的多种消费方式知识编译的价值在于一次编译、多处复用llm-wiki-compiler 提供了完整的消费面CLI 查询llmwiki query 问题基于编译后的 Wiki 作答--save可把答案存回 Wiki 成为未来的上下文——知识真正开始复利MCP 服务器llmwiki serve --root 项目把 ingest、compile、query、lint、context-pack、OKF 交换等工具暴露给 Claude Desktop、Cursor 等 MCP 兼容 Agent见 docs/guides/mcp-agent-integration.mdxTypeScript SDKcreateWiki({ root })在进程内驱动整条管线无需 shell见 docs/guides/sdk.mdx可移植导出JSON、JSON-LD、GraphML、Marp 幻灯片、llms.txt以及 Google 的 Open Knowledge FormatOKF跨工具交换编译知识见 docs/guides/open-knowledge-format.mdx什么时候该用知识编译器✅适合知识会被反复复用的场景——研究语料、工程文档、团队手册、标准与决策记录、长期 Agent 项目的持久上下文。❌不适合一次性快问快答、变化极快的原始日志流——这类场景普通搜索或 RAG 就够了编译出的结构会过期得比它被评审的速度更快。快速上手3 条命令编译你的第一个 Wikinpm install -g llm-wiki-compiler llmwiki quickstart ./notes.md llmwiki query what are the key ideas?quickstart一步完成摄入、编译并打开查看器。也可以直接试一篇网页llmwiki quickstart https://en.wikipedia.org/wiki/Andrej_Karpathy。完整步骤见 docs/quickstart.mdx 与 docs/installation.mdx仓库里的 examples/basic/ 目录还有一个无需 API Key 即可查看的预生成小 Wiki。延伸阅读Karpathy 模式解读docs/concepts/karpathy-pattern.mdx编译器工作原理docs/concepts/how-it-works.mdxWiki 数据模型docs/concepts/wiki-model.mdx可配置生命周期画像按领域定制知识系统docs/concepts/configurable-lifecycle-profiles.mdxCLI 命令参考docs/cli/架构与职责边界ARCHITECTURE.md【免费下载链接】llm-wiki-compilerThe knowledge compiler. Raw sources in, interlinked wiki out. Inspired by Karpathys LLM Wiki pattern.项目地址: https://gitcode.com/gh_mirrors/ll/llm-wiki-compiler创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考