RAG的一点思考

RAG有一个很典型的模块叫文本切块，然后检索。切块部分可以按window窗口切，检索部分也可以多路径检索，兼具稀疏检索，稠密检索和数据流检索。

这个流程和token化,然后embedding很像，所以我今天就陷入了迷茫？

因为一个RAG框架效果不好，你怎么定位是检索问题还是切块问题呢?

同学回答，其实两个很像，但是不一样，RAG切块可以大块的按照一段一页那种切，token化是按照最小语义切分，一个词或者一个字。所以定位问题时既要考虑检索，也要考虑生成。检索就要尝试可视化分块部分。

最近在学agent，hugging face的教程很不错。