1. 从似然性到适应性：蛋白质与基因组语言模型的变异效应预测优化

在蛋白质工程和基因组学研究中，预测基因变异对生物功能的影响一直是个核心挑战。传统实验方法如深度突变扫描（DMS）虽然准确但成本高昂且通量有限。近年来，基于大规模自然序列训练的蛋白质/基因组语言模型（pLMs/gLMs）通过计算变异序列的似然性（likelihood）来预测其效应，已成为一种高效的计算替代方案。然而，随着模型规模扩大到数十亿参数，一个令人困惑的现象出现了：更大的模型并不总是带来更好的预测性能，有时甚至会出现性能平台期或退化。

这背后隐藏着一个根本性问题：模型计算的序列似然性并不等同于生物适应性（fitness）。自然序列的分布同时受到多种因素影响，包括功能性约束、系统发育历史、测序采样偏差等。当模型规模增大时，它会更精确地捕捉所有这些信号——包括我们不需要的噪声。这就好比一个语言模型学会了区分英式英语和美式英语的拼写差异，但这些差异与句子的语法正确性无关。

2. 核心问题：似然性与适应性的脱节

2.1 为什么大模型的性能会停滞？

在蛋白质语言模型中，序列的似然性反映了该序列在自然分布中出现的概率。理论上，功能性强的序列应该在进化过程中被保留，因此具有较高似然性。但在实际中，这种关联存在两个主要干扰：

1. 系统发育相关性：密切相关的物种间序列相似性可能仅反映共同祖先而非功能约束。例如，人类和黑猩猩的某些蛋白序列差异可能对功能影响很小，但模型会赋予它们不同的似然性。

2. 采样偏差：测序数据中某些物种或群体过度代表。比如人类基因组数据远多于其他灵长类，导致模型对人类特有变异似然性估计偏高。

随着模型参数增加，它会更精确地建模这些干扰因素，导致预测性能不再提升。我们的实验显示，ESM-2模型从650M参数增长到15B参数时，在ProteinGym基准上的平均Spearman相关性仅从0.38提升到0.41。

2.2 适应性景观的复杂性

生物适应性是一个多维度的概念，包含蛋白折叠稳定性、分子间相互作用、表达效率等。自然选择在这些维度上施加了复杂约束，而语言模型仅从序列统计中间接感知这些约束。更复杂的是，不同功能位点对突变的容忍度差异巨大——活性位点的一个突变可能完全破坏功能，而表面环区的大段缺失可能影响甚微。

3. LFB方法：桥接似然性与适应性的创新方案

3.1 方法核心思想

LFB（Likelihood-Fitness Bridging）的关键洞见是：通过聚合来自相似选择压力下的同源序列的似然性信号，可以抵消系统发育和采样偏差带来的噪声。具体操作包括：

1. 同源序列选择：对目标蛋白，从数据库中筛选具有相似功能的同源序列（通常30-100条）。这些序列应满足：

   • 经历相似的选择压力（如相同折叠家族）
   • 系统发育分布广泛（降低相关性）
   • 覆盖关键功能位点的自然变异

2. 似然性差分平均：对每个待评估变异，计算其在所有同源序列位置上的平均似然性变化：

   ΔLFB = 1/N Σ [log p(x_i | M) - log p(x_wt | M)]

   其中x_i是变异序列，x_wt是野生型，M是语言模型。

3.2 理论依据：Ornstein-Uhlenbeck过程

我们使用OU过程建模蛋白进化：序列在适应性景观中经历"漂移-选择"的动态平衡。OU过程的一个重要性质是，序列变异的条件分布是多元正态的，其均值回归到最优序列。LFB相当于估计这个隐含的最优点周围的适应性梯度。

数学上，设真实适应性f(x) = -||x-μ||²/2，观测似然性l(x) = f(x) + ε，其中ε∼N(0,Σ)包含系统发育噪声。当同源序列的ε相关性较低时，LFB估计的方差随N增加而降低：

Var(ΔLFB) ≈ (σ² + Tr(Σ))/N

3.3 实现细节优化

在实际实现中，我们做了几项关键优化：

1. 同源序列筛选：使用MMseqs2进行快速聚类，设置60%序列相似度阈值。对每个簇，按系统发育距离均匀采样。

2. 位置映射：使用结构比对工具（如FoldSeek）确保同源序列的正确位置对应，特别是对indel变异。

3. 温度系数：对大型模型（如ESM-2 15B）的logits应用温度缩放（τ=0.8），缓解模型过度自信问题。

4. 计算加速：利用模型并行在多个GPU上同时计算不同同源序列的似然性。

4. 实验结果与分析

4.1 ProteinGym基准测试

我们在ProteinGym的87个DMS数据集上评估LFB，涵盖酶、抗体、转录因子等多种蛋白。关键发现：

1. 突破性能平台：

   模型	原始ρ	LFB ρ	提升
   ESM-2 650M	0.38	0.43	+13%
   ESM-2 15B	0.41	0.49	+20%
   ProGen2 6.4B	0.39	0.47	+21%

   特别值得注意的是，15B参数的ESM-2应用LFB后，性能超过了专门训练的监督模型（如DeepSequence）。

2. 难例分析：对模型分歧大的变异（原始预测|ΔL|>3），LFB校正后与实验测量的一致性提高37%，表明其有效修正了模型偏差。

4.2 临床变异分类

在ClinVar数据库的305个疾病相关基因上，LFB显著改善了致病性判别：

• ROC-AUC提升：0.82 → 0.87
• 特别对"意义未明变异"（VUS），分类准确率提高29%
• 假阳性率降低：从15.2%降至9.7%

一个典型案例是BRCA1的错义变异：原始模型将多个良性多态性误判为致病（如p.Leu871Val），而LFB正确识别了这些变异在哺乳动物同源序列中的保守模式。

5. 应用指导与实操建议

5.1 何时使用LFB？

LFB特别适合以下场景：

• 评估大语言模型（>1B参数）预测的变异效应
• 分析高度多态性或快速进化的蛋白家族
• 临床变异解读中区分致病突变与良性多态

对于小型模型或高度保守的蛋白（如组蛋白），原始似然性可能已足够。

5.2 实施步骤详解

1. 准备输入数据：

   • 野生型序列（FASTA格式）
   • 变异列表（VCF或简易格式：POS REF ALT）
   • 可选：蛋白结构（PDB）辅助比对

2. 运行流程：

   # 1. 同源序列搜索 mmseqs easy-search input.fasta uniref90 homologs.m8 tmp --min-seq-id 0.6 # 2. 多序列比对（可选） mafft --auto homologs.fa > aligned.fa # 3. 运行LFB python lfb.py --model esm2_15B --variants muts.tsv --homologs aligned.fa

3. 参数调优建议：

   • 同源序列数量：通常30-50条足够，对快速进化蛋白可增至100条
   • 温度系数：大模型用0.7-0.9，小模型用1.0
   • 排除极端序列：剔除与野生型相似度<40%或>95%的同源序列

5.3 常见问题排查

问题1：LFB预测与已知实验数据矛盾

• 检查同源序列是否包含远缘物种（可能选择压力不同）
• 验证变异位置在多序列比对中的对应关系
• 尝试调整温度系数（过高会减弱校正效果）

问题2：计算时间过长

• 对大型模型，使用--chunk-size 32减少内存占用
• 对大批量变异，先过滤掉几乎中性（|ΔL|<1）的变异
• 考虑使用ESM-1b等轻量级模型进行初步筛选

问题3：特定位置预测不稳定

• 检查该位置在同源序列中的保守性
• 排除测序错误较多的低质量同源序列
• 结合结构信息判断位置是否在灵活区域

6. 扩展应用与未来方向

6.1 与其他方法的结合

LFB可以与以下方法互补使用：

• 结构预测工具：用AlphaFold2预测变异对结构的影响，与LFB的序列信号结合
• 物理能量函数：如Rosetta的ddG，提供不同视角的适应性评估
• 群体遗传数据：整合gnomAD等数据库的频率信息

我们开发了一个集成工具包，支持一键式多方法联合分析：

from lfb_tools import IntegratedPredictor predictor = IntegratedPredictor(methods=['LFB','AF2','ddG']) results = predictor.run(variants='muts.tsv')

6.2 局限性讨论

当前LFB存在几个限制：

1. 对全新功能设计（无自然同源序列）不适用
2. 依赖同源序列质量，对稀有蛋白家族效果有限
3. 计算成本仍较高（15B模型预测一个变异约需2分钟）

6.3 未来改进方向

1. 自动化同源序列筛选：开发基于功能注释的选择方法，替代单纯的序列相似性
2. 跨模型集成：结合不同架构模型（如ESM系列与ProGen系列）的LFB预测
3. 轻量化实现：通过模型蒸馏或LORA微调，降低大模型推理成本

在实际应用中，我们发现LFB的一个意外优势是增强了模型的可解释性——通过分析对预测贡献最大的同源序列，研究者可以直观理解模型判断的生物学依据。例如，一个癌症相关变异被预测为致病，是因为它在所有哺乳动物同源中高度保守，而在鱼类中存在自然变异，这种模式强烈暗示其功能重要性。