1. 项目背景与核心需求

在传统RAG（检索增强生成）系统中，我们通常只能处理纯文本内容。当遇到PDF、Word等包含图文混排的文档时，系统往往只能提取文字部分，导致图片中的关键信息丢失。这种局限性在实际业务场景中会带来诸多不便——比如医疗报告中的CT影像、产品说明书中的示意图、学术论文中的图表等重要视觉信息都无法被有效利用。

最近在维护某汽车厂商的智能客服系统时，我们就遇到了典型痛点：用户询问"如何更换雨刮器"时，传统RAG只能返回文字步骤，而实际上说明书中的安装示意图才是最有价值的参考。这正是促使我们研发多模态RAG解决方案的直接动因。

2. 技术架构设计

2.1 整体工作流程

我们的多模态RAG系统采用模块化设计，主要包含以下处理环节：

1. 文档解析层：使用Unstructured等开源工具包，支持PDF/Markdown/Word等格式的解析。对于PDF文件，会同时提取文本内容和图片资源，并建立内容关联索引。

2. 向量编码层：

   • 文本嵌入采用bge-small-zh-v1.5模型
   • 图片嵌入使用CLIP-ViT-B-32视觉编码器
   • 通过共享向量空间实现图文联合检索

3. 知识存储层：

   • 文本片段存入Milvus向量数据库
   • 图片资源存储到阿里云OSS
   • 建立统一的元数据关联索引

4. 生成推理层：

   • 支持通义千问VL、Qwen-VL等多模态大模型
   • 实现图文内容的联合推理生成

2.2 关键技术选型

在模型选型上，我们对比了多种多模态方案：

最终选择Qwen-VL系列作为核心模型，主要考虑：

1. 对中文场景的优化更充分
2. 支持本地化部署
3. 提供完整的API文档和技术支持

3. 实现细节与核心代码

3.1 文档解析模块

使用PyMuPDF处理PDF文档的示例代码：

import fitz # PyMuPDF def extract_pdf_content(pdf_path): doc = fitz.open(pdf_path) content = { "text": [], "images": [] } for page in doc: # 提取文本 text = page.get_text() content["text"].append(text) # 提取图片 for img in page.get_images(): xref = img[0] base_image = doc.extract_image(xref) image_data = base_image["image"] content["images"].append({ "data": image_data, "page": page.number, "position": img[1:5] }) return content

3.2 多模态索引构建

from sentence_transformers import SentenceTransformer import clip import torch text_encoder = SentenceTransformer('BAAI/bge-small-zh-v1.5') device = "cuda" if torch.cuda.is_available() else "cpu" model, preprocess = clip.load("ViT-B/32", device=device) def encode_content(content): # 文本编码 text_embeddings = text_encoder.encode(content["text"]) # 图片编码 image_embeddings = [] for img in content["images"]: image = preprocess(Image.open(io.BytesIO(img["data"]))).unsqueeze(0).to(device) with torch.no_grad(): image_features = model.encode_image(image) image_embeddings.append(image_features.cpu().numpy()) return { "text_embeddings": text_embeddings, "image_embeddings": image_embeddings }

4. 效果展示与优化技巧

4.1 典型问答效果

用户提问：
"请展示发动机冷却系统的结构图并说明工作原理"

系统回复：

冷却系统主要由水泵、散热器、节温器等部件组成。工作原理如下：

1. 水泵推动冷却液循环
2. 散热器通过风扇散热
3. 节温器调节循环路径
   （详细说明略...）

4.2 性能优化经验

1. 图片预处理技巧：

   • 对文档中的示意图优先采用矢量图格式
   • 照片类内容建议压缩到1024px宽度以内
   • 为每张图片添加alt-text描述

2. Prompt工程要点：

当回答包含图片内容时，请按以下格式回复： ![图片描述](图片URL) 图片说明文字...

3. 缓存策略：
   • 对高频访问图片启用CDN加速
   • 实现向量检索结果的LRU缓存
   • 对图文关联索引建立BloomFilter

5. 常见问题排查

5.1 图片无法显示

现象：回答中图片链接返回403错误
排查步骤：

1. 检查OSS存储桶的ACL设置是否为public-read
2. 验证CDN配置是否正确回源
3. 确认图片URL签名有效期（如启用）

5.2 图文关联错误

现象：返回的图片与问题不相关
解决方案：

1. 检查向量检索的相似度阈值（建议设置在0.75以上）
2. 验证图文元数据关联是否准确
3. 调整多模态模型的temperature参数

5.3 处理性能瓶颈

优化方案：

1. 对大型PDF采用分页并行处理
2. 图片编码使用FP16精度
3. 实现异步预处理流水线

6. 进阶应用场景

在医疗健康领域，我们进一步扩展了该方案：

1. 影像报告解读：

   • 将CT/MRI图像与诊断文本关联
   • 支持"请标注肿瘤位置"等视觉问答

2. 药品说明书：

   • 识别药片外观照片
   • 关联用药剂量图表

3. 医疗知识图谱：

   • 构建症状-影像-诊断的多模态关系
   • 实现三维医学影像的检索

实际测试显示，在骨科病例分析场景中，增加X光片的多模态信息后，诊断建议的准确率从72%提升到了89%。