ai-agent 响应速度优化
ai-agent 响应速度优化
- 模型加载逻辑：在用户操作空闲时就去预热模型，不要等到用户首次输入后，再去加载模型；
- 模型预热内部优化：看下在模型预热的内部逻辑有没有可以优化的地方（例如是否可以复用testClone的测试模型而不销毁，或是用其他方式替代测试模型进行模型测试）；
- topk值调整：在确保输出质量的前提下，调整topk值，以此减小模型计算量；
- systemprompt优化：通过保证系统提示此语义完全不变的情况下，通过及结构化等方式，减小系统提示词体积；
- schema优化，数据结构能平铺尽量平铺，减小模型对schema编排的计算量；
- 架构优化：root 返回多个 agent 时，classifier 分类可以 并行 执行。多个 clone 可以同时 prompt()，提升效率；
- 对无依赖的worker子图并行执行（promise.all）
- 对历史轮次进行压缩，以保证处于最佳上下文长度环境下输出（提升输出效率）
- 分类结果缓存，对于非常近似的提问，可以不走模型，直接走缓存进行回答，大大提升输出效率；