1. 项目概述为哈萨克语打造一个“触手可及”的智能助手在人工智能浪潮席卷全球的今天多模态大模型如GPT-4V、Gemini展现出的“看图说话”能力令人惊叹。然而当我们把目光投向哈萨克语——这门拥有超过1300万使用者、属于突厥语系、具有复杂粘着语形态的语言时会发现一个尴尬的现实现有的主流模型在处理哈萨克语时常常表现得词不达意、逻辑混乱甚至无法正确识别简单的文化元素。这并非模型不够“聪明”而是源于一个根本性的困境低资源语言在AI时代面临的“数据荒漠”。大多数前沿视觉语言模型Vision-Language Model, VLM的训练数据以英语、中文等高资源语言为主哈萨克语的高质量、大规模图文对齐数据极度稀缺。直接使用这些“通用”模型处理哈萨克语任务就像让一个只学过英语的人去解读哈萨克文诗歌配图结果可想而知。更棘手的是即便有研究者尝试为哈萨克语适配大模型动辄数百亿参数的规模也意味着高昂的部署成本难以在普通消费级硬件如个人电脑、移动设备上运行技术的普惠性无从谈起。Qolda项目正是为了打破这一僵局而诞生。“Qolda”在哈萨克语中意为“在手边”或“支持”这个名字精准地概括了项目的核心目标打造一个小巧、高效、专精于哈萨克语的视觉语言模型让它能真正“触手可及”。我们选择了通义千问的Qwen3-4B作为语言模型基石并将其嵌入先进的InternVL3.5多模态架构中最终得到一个仅含43亿参数的紧凑模型。别看它体积小经过我们设计的一套系统性四阶段训练流程后其在哈萨克语相关的图文理解任务上性能显著超越了参数量更大的基线模型同时在英语和俄语上保持了竞争力。简单来说Qolda想解决三个核心问题性能鸿沟让哈萨克语用户也能享受到接近主流语言的AI多模态理解能力。部署门槛将模型尺寸控制在消费级显卡如RTX 4090可以流畅运行的范围。生态空白构建并开源首个面向哈萨克语的大规模多模态训练数据集与评估基准为后续研究铺路。无论你是关注低资源语言AI的研究者希望为特定文化背景开发应用的产品经理还是对多模态模型技术细节感兴趣的工程师这篇文章都将为你详细拆解Qolda从架构设计、数据构建、训练策略到效果评估的全过程。你会发现为小语种打造一个“好用”的AI远不止是翻译数据那么简单它是一场涉及语言学、算法工程和资源优化的综合战役。2. 核心思路与方案选型为什么是“小模型”“四阶段训练”面对为低资源语言构建VLM的挑战市面上并非没有现成的方案。最常见的思路有两种一是直接对现有的百亿级多语言VLM如Qwen-VL、InternVL进行全参数微调二是像同期工作HordeVision那样基于一个较大的VLMQwen3-VL-8B使用参数高效微调技术如LoRA进行适配。然而Qolda团队经过深思熟虑选择了一条不同的路径以一个强大的小型语言模型SLM为起点通过一个精心设计的四阶段流程从头构建一个紧凑的、以哈萨克语为核心的多模态模型。这个选择背后是一系列紧密围绕实际需求和技术趋势的考量。2.1 为何押注“小型语言模型”SLM近年来AI社区一个越来越清晰的共识是模型性能并非与参数规模简单线性相关。2023-2024年间Phi-3、TinyLlama、MiniCPM等模型相继证明一个精心训练的、参数量在10B以下的模型其能力可以媲美甚至超越几年前参数量大一个数量级的模型。这背后是训练数据质量、模型架构效率和训练策略共同作用的结果。对于哈萨克语这样的低资源语言场景SLM的优势尤为突出部署友好一个4B参数量的模型经过量化后可以轻松在拥有16GB显存的消费级显卡上运行甚至有望部署到边缘设备。这大大降低了使用门槛让本地化、低延迟的应用成为可能。训练成本可控全参数微调一个4B模型所需的算力、时间和数据远低于微调一个70B或更大规模的模型。这使得在有限预算内进行多轮迭代和实验成为可能。避免“灾难性遗忘”直接微调一个在巨量英语数据上预训练好的超大模型风险在于新学的哈萨克语知识可能会严重覆盖或干扰模型原有的强大通用能力。而以一个已经具备良好多语言基础如Qwen3-4B支持119种语言且规模适中的SLM为起点进行有针对性的增强更容易在“专精”和“通用”之间找到平衡。因此我们选择了Qwen3-4B作为语言主干。它不仅是当前开源SLM中的佼佼者在多项基准测试上表现亮眼更重要的是其预训练数据中包含了哈萨克语语料具备了初步的语言先验这为后续的深度适配奠定了比“白板”更好的基础。2.2 四阶段训练流程一次循序渐进的“能力注入”确定了“小模型”的路线后下一个问题是如何将视觉能力与针对哈萨克语的深度语言理解能力高效、稳定地整合进去。直接混合各种数据做端到端训练风险很高容易导致模态对齐失败或语言能力退化。为此我们设计了一个分阶段、渐进式的训练管道每一步都目标明确并为下一步打好基础。阶段一语言模型监督微调SFT—— 打好语言地基目标在引入视觉模块之前先让Qwen3-4B成为“哈萨克语专家”。做法收集并构建了一个包含约570万条指令样本的三语哈萨克语、俄语、英语数据集。其中不仅包含从MMLU、GSM8K等通用基准翻译而来的数据还整合了ISSAI积累的哈萨克语命名实体识别KazNERD、问答KazQAD等专业数据集以及大量人工构建的关于哈萨克斯坦文化、历史的问答对。关键细节我们特别注重保留模型的思维链CoT推理能力。数据集中约70%的样本包含了由更大模型生成的推理步骤确保微调后的模型我们称为Qolda-Stage1不仅会回答还会“思考”如何得出答案。这为后续复杂的视觉推理任务埋下了伏笔。阶段二视觉-语言对齐 —— 连接眼睛与大脑目标将预训练的视觉编码器InternViT-300M与我们刚训练好的哈萨克语专家语言模型Qolda-Stage1连接起来。做法冻结视觉编码器和语言模型的参数只训练中间的MLP投影层。这个投影层就像一个“翻译官”负责将视觉编码器输出的图像特征向量“翻译”成语言模型能理解的语义向量。数据与技巧使用了超过1380万图文对进行训练。数据来源主要有二一是将Cauldron等大型英文VLM数据集机器翻译成哈萨克语和俄语二是从互联网爬取关于哈萨克斯坦文化、风景、人物的图片并用大模型生成对应的双语描述和问答对。一个重要的消融实验证明使用经过Stage1微调的语言主干相比使用原始Qwen3-4B在投影层训练时损失值降低了约16%。这清晰地表明先让语言模型精通目标语言能极大促进视觉与语言模态的高质量对齐。阶段三联合微调与推理增强 —— 让模型学会“看图思考”目标解锁言模型的参数让其与投影层一起在高质量的图文推理数据上进一步学习实现深度的多模态融合与复杂推理。做法使用更强的模型Qwen3-VL-235B对Stage2的数据进行“提纯”重新生成包含详细推理链的答案构建了约150万条高质量图文推理数据。在此数据上同时微调投影层和语言模型。设计考量此阶段数据以英语为主占56.9%旨在巩固模型的核心视觉推理能力同时混合哈萨克语和俄语数据以维持语言适应性。为了防止模型过度依赖思维链我们在训练时随机以20%的概率丢弃推理步骤迫使模型也学会直接输出答案。阶段四混合偏好优化MPO—— 纠正幻觉打磨答案目标解决模型在Stage3后可能出现的“幻觉”编造图像中不存在的细节和“推理跳跃”省略思考步骤直接给答案问题提升回答的可靠性和规范性。做法采用InternVL团队提出的MPO算法。它不仅仅像标准的DPO那样让模型学会区分“好答案”和“坏答案”还增加了对“好答案”本身语言质量的优化目标。我们使用了一个包含约9万条偏好对的数据集其中既有图文对也有纯文本对让模型学会生成事实准确、逻辑清晰、步骤完整的响应。这四步流程如同建造一座大楼先打好坚实的语言地基Stage1然后架设连接视觉和语言的钢梁Stage2接着进行整体结构的联合加固和内部装修Stage3最后进行精细的质量检查和瑕疵修复Stage4。整个过程逻辑严密每一步都为下一步的成功创造了条件。3. 数据构建低资源语言多模态训练的“造血”工程如果说模型架构是骨架训练算法是灵魂那么数据就是滋养模型成长的血液。对于哈萨克语这样的低资源语言缺乏现成的大规模、高质量多模态数据集是最大的拦路虎。Qolda项目超过一半的精力实际上投入到了这场艰巨的“数据造血”工程中。我们的策略可以概括为机器翻译扩规模合成生成补缺口人工精校保质量。3.1 文本指令数据构建三语知识体系Stage1使用的570万条文本指令数据是模型语言能力的基石。其构成体现了平衡与侧重通用能力基石包含了MMLU、GSM8K、ARC等经典英文基准的训练集确保模型保留基本的数学、逻辑、常识推理能力。这些数据通过机器翻译主要使用Gemini-2.5-Pro扩展出哈萨克语和俄语版本。哈萨克语核心能力领域数据集直接整合了ISSAI发布的KazNERD命名实体识别、KazQAD问答等专业语料这些是来自真实场景的高质量数据。文化知识注入我们系统地从哈萨克语维基百科等渠道提取实体和事实构造问答对。一个关键技巧是对于真实存在的实体提供正确答案对于虚构的实体则训练模型回答“我不知道”。这能有效抑制模型胡编乱造的倾向。思维链数据利用Qwen3-235B模型为大量问题生成包含逐步推理的答案并将问题和最终答案翻译成目标语言而推理过程保留为高效的英语。这能在不显著增加计算开销的前提下传递复杂的推理模式。安全与对齐手动收集并整合了安全对齐数据训练模型妥善处理有害或敏感的查询。实操心得翻译与原创的平衡完全依赖机器翻译的数据可能存在“翻译腔”和文化不匹配问题。而完全人工标注成本过高。我们的经验是对于事实性、逻辑性强的知识如科学问题可以大胆使用高质量的机器翻译对于涉及文化、情感、本地化表达的语料则必须依赖人工创作或精校。在Stage1数据中我们保持了约30%的高质量人工或半人工合成数据这对提升模型回答的“地道感”至关重要。3.2 视觉-语言对齐数据创造“看得懂”的哈萨克语世界Stage2需要的1380万图文对是让模型“睁开眼”的关键。我们通过两条腿走路路径一现有数据集的本地化改造。我们选取了Cauldron集合中覆盖视觉问答、图像描述、图表理解等任务的50多个数据集。对于其中文本嵌入不深的如简单问答、描述直接翻译问答对。对于图表、地图类数据集我们则走得更远直接修改生成图表的源代码将坐标轴标签、图例、标题等替换为哈萨克语和俄语再用脚本重新生成图片。这保证了图像内的文本也是目标语言实现了真正的端到端本地化。路径二哈萨克斯坦主题数据合成。我们从互联网系统性地爬取了反映哈萨克斯坦自然风光、历史建筑、传统服饰、美食文化的图片。然后利用GPT-4等大模型根据图片内容生成哈萨克语、俄语、英语的三语描述和多样化的问题。例如给一张“冬不拉”哈萨克传统乐器的图片模型需要生成“这是什么乐器”、“它通常由什么材料制成”、“在什么场合演奏”等一系列问题及其答案。3.3 高质量推理与偏好数据从“有答案”到“有好答案”Stage3和Stage4的数据旨在提升答案质量。Stage3推理数据我们从Stage2的海量数据中筛选出10%用更强大的Qwen3-VL-235B模型重新处理让它生成带有详细推理链的答案。这个过程相当于让“老师”大模型为“学生”我们的模型准备了更优质的“教材”。Stage4偏好数据我们混合了多模态和纯文本的偏好对。多模态部分来自MMPR数据集包含了“好答案”推理清晰、依据图像和“坏答案”存在幻觉、逻辑错误的对比。纯文本部分则来自Dolci-Think-DPO数据集用于稳定模型的纯语言生成能力防止在优化视觉对齐时牺牲文本质量。避坑指南数据污染与评估泄露在构建数据时必须严格将用于训练的数据和用于评估的基准数据分开。我们所有基于公开基准如MMLU、AI2D构建的训练数据都只使用其官方划分的训练集部分。评估时则使用其验证集或测试集或者像我们为哈萨克语专门构建的全新基准如OCRBench-Kazakh。绝不能为了让“成绩好看”而让模型在训练时“偷看”过考题否则评估结果将毫无意义。4. 训练实施细节与核心参数解析有了清晰的架构和丰富的数据下一步就是将这些转化为实际的训练过程。这一部分将深入技术细节揭示如何用有限的算力高效地完成这四个阶段的训练。4.1 硬件配置与训练框架所有实验均在16张NVIDIA H100 GPU上进行。我们选择了Axolotl作为训练框架它是一个集成了Flash Attention、完全分片数据并行FSDP等最新优化的开源后训练工具包能显著提升训练速度和内存效率。4.2 分阶段超参数配置详解每个阶段的目标不同超参数设置也各有侧重。阶段一语言模型监督微调SFT目标学习语言知识不过度拟合。关键配置学习率2e-5。这是一个比较标准的SFT学习率既能有效更新参数又不会导致训练不稳定。优化器AdamW。这是当前训练Transformer模型的标准选择。调度器余弦衰减配合10%的预热步数。这能让学习率从一个小值平滑上升到设定值再逐渐下降有助于模型收敛到更优的局部最优点。序列长度8192 tokens。充分利用Qwen模型的长上下文能力通过序列打包技术提高训练效率。批量大小每GPU批大小3梯度累积步数8有效全局批大小为384。大批量训练通常更稳定但受限于GPU内存我们通过梯度累积来模拟大批量效果。训练量在570万数据上训练1个epoch约5000步。阶段二视觉-语言对齐目标快速让投影层学会“翻译”视觉特征。关键配置学习率8e-5。比Stage1更高。因为此阶段只训练投影层1700万参数参数少且任务相对明确特征映射可以使用更大的学习率加速收敛。冻结策略冻结视觉编码器和语言模型的所有参数仅训练投影层。图像处理分辨率动态调整至448x448支持最多12个动态图像块patch并使用了缩略图增强。这是InternVL框架的标准预处理流程能平衡计算开销和细节保留。批量大小每GPU批大小12梯度累积步数2有效全局批大小为384。训练量在1380万数据上训练1个epoch约3万步。阶段三联合微调目标让语言模型和投影层协同工作完成复杂推理。关键配置学习率2e-5。调回较小的值。因为此阶段解冻了语言模型需要更精细的调参以避免破坏已学到的知识。序列长度8192 tokens。为容纳详细的思维链。思维链丢弃20%的概率。这是防止模型对思维链产生依赖的关键正则化手段。训练量在210万数据150万图文60万文本上训练1个epoch约1.6万步。阶段四混合偏好优化MPO目标微调模型行为提升答案质量。关键配置学习率2e-7。非常保守的学习率。偏好优化是在模型已有能力上的精细调整类似于“精修”过大的学习率会破坏模型原有参数。损失函数MPO Loss 0.8 * DPO Loss 0.2 * BCO Loss 1.0 * NTP Loss。其中DPO损失让模型学会区分好坏答案BCO二元分类器优化损失进一步提升答案质量NTP下一词预测损失确保语言流畅性不退化。批量大小每GPU批大小1梯度累积步数4在8张H100上训练有效全局批大小为32。小批量处理偏好数据是常见做法。训练量在9万偏好数据上训练1个epoch。经验之谈学习率的艺术学习率是训练中最关键的“魔法数字”之一。我们的策略是对齐阶段Stage2用大学习率快速收敛微调阶段Stage1,3用中等学习率稳健学习偏好优化阶段Stage4用极小学习率精细打磨。这种“由快到慢由粗到细”的节奏是稳定训练多阶段复杂模型的关键。5. 评估体系构建与结果深度分析训练出一个模型只是第一步客观、全面地评估其能力更为重要。对于Qolda我们建立了一个多维度的评估体系既要看它在哈萨克语任务上的“专精”程度也要检验其通用能力是否退化。5.1 评估基准从通用到专属我们构建了一个分层的评估基准库通用语言能力使用MMLU知识、GSM8K数学、ARC推理等标准英文基准及其机器翻译的哈萨克语、俄语版本评估模型的基础认知能力。多语言理解使用Belebele阅读理解和FLORES-200机器翻译评估模型的跨语言能力。哈萨克语专属知识KazMMLU首个哈萨克语版的MMLU涵盖科学、人文、社科等领域。KazCulture我们自建的数据集包含关于哈萨克斯坦历史、文化、地理的问答分“仅问题”和“提供文本”两种模式分别考察模型的内在知识和信息提取能力。KazQAD开放域问答数据集评估模型的事实性知识。多模态能力通用VQAMMStar、RealWorldQA的翻译版本。图表与数学推理AI2D图表问答、MathVista视觉数学。对于这两个基准我们进行了昂贵但必要的人工本地化不仅翻译问题还使用图像编辑软件修改了图表内的所有文字标签确保评估的纯粹性。OCR我们构建了OCRBench-Kazakh包含常规文本、手写文本和图表VQA三个子任务填补了哈萨克语OCR评估的空白。5.2 核心结果解读小身材大能量评估结果详见论文原表清晰地展示了Qolda的价值在哈萨克语任务上实现超越纯文本Qolda-Stage4在KazMMLU和KazCulture仅问题模式上的平均准确率分别达到72.62%和49.13%显著超过了参数量更大的基线模型如InternVL3.5-4B以及同为8B参数的哈萨克语大模型如Sherkala-8B、KAZ-LLM-8B。这证明我们四阶段训练在注入哈萨克语能力方面是卓有成效的。多模态在哈萨克语视觉问答MMStar和图表理解AI2D任务上Qolda-Stage4相比InternVL3.5-4B基线有超过10个百分点的提升。在全新的OCRBench-Kazakh上也取得了57.36%的准确率建立了首个性能基线。通用能力保持良好在英语基准上Qolda-Stage4的平均性能与原始Qwen3-4B相比略有下降例如MMLU-Pro从70.93%降至66.88%这在预期之内是专注于低资源语言适配必然要付出的“对齐税”。但下降幅度可控且其在需要复杂推理的MathVista任务上甚至反超了InternVL3.5-4B基线68.10% vs 65.40%说明其核心推理能力得到了保持和增强。俄语能力也基本得到了保留在多项测试中与基线模型持平或接近。思维链模式的价值评估中我们对比了“思考模式”输出推理过程和“非思考模式”直接输出答案。结果显示在绝大多数需要复杂推理的任务上开启思考模式能带来显著的性能提升。例如在哈萨克语的AI2D任务中思考模式比非思考模式高出近8个百分点。这验证了我们在训练中注入思维链数据的有效性。5.3 与同期工作的对比同期出现的另一个哈萨克语VLM——HordeVision采用了不同的技术路线基于更大的Qwen3-VL-8B使用LoRA微调。在大部分我们构建的标准化基准上Qolda4.3B的表现优于HordeVision8B。这凸显了全参数微调结合系统化训练流程在模型容量受限时可能比参数高效微调更大模型更有效。当然HordeVision在其使用的特定任务和数据集上也报告了优秀结果这说明评估基准的选择会极大影响模型间的比较。我们的工作为社区提供了另一套可复现、可比较的强基线。6. 部署实践与问题排查模型训练完成最终要落地应用。Qolda的设计初衷就是“触手可及”因此其部署表现至关重要。6.1 硬件要求与推理性能我们在搭载NVIDIA RTX 4090移动版16GB显存的消费级笔记本电脑上使用vLLM推理框架进行了测试。显存占用以BF16精度加载模型权重约需8.6GB显存推理时峰值显存占用约13.8GB利用率86%完全在主流高端游戏本的承载范围内。推速度生成速度约为51.8 tokens/秒。响应延迟对于平均长度66个token的“非思考模式”回答端到端延迟约1.3秒交互体验流畅。对于平均长度599个token的“思考模式”详细回答延迟约11.6秒适合对准确性要求高、非实时交互的场景。6.2 常见问题与解决方案在实际部署和测试中我们遇到并总结了一些典型问题问题一模型偶尔输出混合语言或错误语言。现象用哈萨克语提问得到的回答中夹杂着大量英语或俄语单词或者直接用了错误语言。原因训练数据中三语混合虽然大部分样本语言标签清晰但模型在生成长文本时可能会在内部切换到它认为“更流畅”的语域。此外基座模型的多语言先验也可能产生干扰。解决方案系统提示词强化在用户输入前添加强化的系统提示如“你必须且仅使用哈萨克语进行回答。如果问题包含其他语言请翻译成哈萨克语后再回答。”生成参数调整在解码时适当降低temperature如0.3并提高repetition_penalty如1.1减少随机性使输出更稳定。后处理对于关键应用可以添加一个轻量级的语言检测模型对输出进行过滤和纠正。问题二在描述复杂场景时出现细节“幻觉”。现象让模型描述一张街景图片它可能会“想象”出图中并不存在的商店招牌或行人。原因这是VLM的普遍问题源于模型在训练时学习了大量的图文关联模式有时会过度生成“合理”但不存在的细节。Stage4的MPO训练大幅缓解了此问题但未完全根除。解决方案提示词工程在指令中明确要求“仅描述你在图像中清晰看到的内容”或“对于不确定的细节请说‘可能’或‘看起来像’”。启用思考模式让模型输出推理过程。通常幻觉更容易出现在最终结论中而一步步的推理逻辑可以帮助我们定位问题所在。多轮追问当用户怀疑某个细节时可以针对该细节进一步提问如“你确定左边有一个红色的邮箱吗请再仔细看一遍。”模型在二次聚焦时可能会进行修正。问题三对哈萨克斯坦特定文化元素的识别仍有提升空间。现象虽然相比通用模型大有改进但面对一些非常地方化、非标志性的文化物品或场景时识别准确率仍有波动。原因训练数据覆盖度永远无法达到100%。一些小众的文化元素在数据集中出现频率低。解决方案领域自适应微调如果应用场景聚焦于特定文化领域如传统手工艺品、地方美食可以收集该领域少量高质量的图文对几百到上千条对Qolda进行LoRA微调。这是成本最低、效果最直接的提升方式。检索增强生成RAG为模型外接一个关于哈萨克文化的知识库文本或图文。当模型遇到不确定的内容时可以先从知识库中检索相关信息再基于检索结果生成回答能极大提升事实准确性。问题四思维链模式导致响应速度变慢。现象开启思考模式后响应时间从1秒多增加到10秒以上不适合实时交互。解决方案异步处理对于非实时任务如内容分析、报告生成采用异步调用用户无需等待。流式输出使用支持流式传输的推理服务器让用户先看到思考过程的前半部分获得“模型正在工作”的反馈提升等待体验。模型量化使用GPTQ、AWQ等量化技术将模型精度从BF16降至INT4甚至更低可以显著降低显存占用并提升推理速度通常对精度损失很小。7. 总结与未来展望回顾整个Qolda项目其核心贡献在于为低资源语言的多模态AI发展提供了一套可复现的技术蓝图。我们证明了通过“强基座SLM 系统化多阶段训练 高质量数据工程”的组合拳完全可以在有限的算力资源下为一个像哈萨克语这样的语言打造出一个性能实用、部署便捷的专属视觉语言模型。这个过程中最深的体会是对于低资源语言数据工作的深度和细致程度直接决定了模型能力的上限。机器翻译可以快速扩增规模但真正让模型“理解”文化内涵的是那些精心构造的、包含本土知识和表达方式的原创数据。同时分阶段训练策略如同精密的外科手术让我们能够精准地控制能力注入的过程避免了“一锅炖”可能带来的灾难性遗忘或模态冲突。当然Qolda仍有其局限。例如对英语高知识密度任务如GPQA的性能有一定牺牲训练数据中合成和翻译数据的比例较高可能引入未知偏差对俄语的视觉评估尚不完整。这些都是未来可以改进的方向。对于想要借鉴此方法为其他低资源语言构建VLM的同行我的建议是尽早开始构建属于自己的高质量种子数据集哪怕规模很小充分利用强大的多语言基座模型如Qwen、Llama重视评估基准的建设它是衡量进展的标尺。技术的最终目的是服务人。希望Qolda以及它所代表的方法论能像其哈萨克语名字的寓意一样为更多语言和文化背景的人们提供触手可及的AI支持让技术的福祉更加普惠。
