ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

From Neurons to Semantics: Evaluating Cross-Linguistic Alignment Capabilities of Large Language M...

From Neurons to Semantics: Evaluating Cross-Linguistic Alignment Capabilities of Large Language M... 文章主要内容总结本文聚焦大型语言模型(LLMs)的跨语言对齐能力评估,提出了一种基于神经元状态的新框架NeuronXA(Neuron State-Based Cross-Lingual Alignment),并通过实验验证了其有效性。研究背景:现有跨语言对齐评估方法多依赖句子嵌入,但神经模型的表示空间存在非光滑性(如各向异性),尤其影响低资源语言的语义对齐评估。核心方法:受神经科学中“相似信息激活重叠神经元区域”的启发,NeuronXA通过量化神经元对多语言平行语料的激活一致性来评估跨语言对齐。具体包括:神经元状态检测(激活状态为二进制0/1,激活值为绝对强度);句子表示(采用位置加权平均法缓解解码器模型的 token 表示偏差);对齐分数计算(通过余弦相似度矩阵中平行句子对的一致性比例衡量)。实验设计:在LLaMA、Qwen、Mistral等主流多语言LLM上,通过平行句子检索、跨语言迁移任务(如XNLI、BMLAMA-53)和多语言基准(如Belebele、m-ARC)验证NeuronXA的效果。关键发现:神经元状态表示在语义检索中表现更优,尤其减少了双向检索的方向性不对称;NeuronXA与下游任务性能和迁移能力的皮尔逊相关系数分别达0.9556和0.8514(仅用100个平行句对
返回列表