1. 项目概述当机器学习遇见宇宙“放大镜”在浩瀚的宇宙中有一种被称为“强引力透镜”的奇妙现象。当一个前景的大质量天体比如一个星系团恰好位于我们和一个遥远背景光源比如另一个星系或类星体的视线方向上时其强大的引力场会像一块宇宙“透镜”一样弯曲并放大背景光源发出的光线。这会导致我们观测到多重像、爱因斯坦环或明亮的弧状结构。这些“宇宙放大镜”不仅是壮观的宇宙奇景更是天文学家研究暗物质分布、测量宇宙膨胀速率哈勃常数和检验引力理论的宝贵探针。然而发现它们却如同大海捞针。在像暗能量巡天DES这样的大型巡天项目中产生的图像数据包含数十亿个天体而强引力透镜的预期数量可能只有几千甚至几百个。传统上这依赖于天文学家的“火眼金睛”进行目视筛选效率低下且主观性强。这正是机器学习ML大显身手的舞台。通过训练卷积神经网络CNN等模型我们可以让计算机学会从海量图像中自动识别出那些具有透镜特征的天体将天文学家从繁重的初筛工作中解放出来专注于高置信度候选体的后续确认和物理分析。但问题来了不同的ML模型基于不同的架构、训练数据和策略其表现如何哪个模型更可靠我们能否做得更好这正是我们这项工作的核心。我们并非从零开始构建新模型而是扮演“模型评估与优化工程师”的角色对已有的三个著名DES强透镜搜索模型——Jacobs (2019)、Rojas (2022) 和 González (2025)——进行了一次系统的“横向评测”。更重要的是我们探索了集成学习Ensemble Learning这一利器尝试将多个模型的智慧结合起来构建一个更强大、更稳健的“超级分类器”。我们的目标很明确在保证尽可能找到更多真实透镜高查全率的前提下最大限度地减少需要人工检查的假阳性目标高查准率从而将宝贵的人力资源用在刀刃上。2. 评测体系构建数据、专家与评估指标在开始比较模型之前我们必须建立一个公平、可靠的“考场”。这涉及到三个核心部分评测数据集、作为“标准答案”的专家评分以及衡量模型好坏的量化指标。2.1 数据基础交集样本与专家验证集我们的评测并非在原始的海量DES数据上进行那样效率太低。我们构建了一个精心设计的“交集样本”Intersection Sample。简单来说我们只选取那些被上述三个ML模型都处理过的DES Y6数据中的目标。这样做确保了模型间的可比性。从这个交集样本中我们进一步筛选出在强透镜数据库SLED中被报告为候选体的系统共计1651个。这些候选体就是我们评测的“考题”。接下来我们需要“标准答案”。我们组织了一个由强引力透镜研究专家组成的团队对这1651个候选体的DES Y6图像进行了盲审即评审时不知道模型的预测结果。每位专家根据图像中透镜特征的可信度将每个系统归入以下四类之一A类明确透镜特征清晰无误基本可确定为强透镜。B类可能透镜特征比较有说服力是透镜的可能性很高。C类模糊案例有某些特征但不足以明确判断可能是透镜也可能不是。Z类可能非透镜没有可信的透镜特征很可能是其他天体或图像伪影。为了量化我们将类别转换为“专家评分”Expert ScoreA3, B2, C1, Z0。这个0到3的分数就是我们衡量模型预测好坏的黄金标准。在实际评估中我们通常将专家评分 1.2大致对应B类中高置信度部分及以上的系统定义为“真实透镜”正例其余为“非透镜”负例。注意专家评分是本次研究的基石但其本身也有不确定性。不同专家之间可能存在细微判断差异。我们通过多人独立评审、交叉验证的方式并最终校准得到一个一致的专家评分以最大程度减少主观偏差。2.2 评估指标详解超越简单的准确率在如此不平衡的数据集正例极少上传统的准确率Accuracy毫无意义。我们主要依赖以下几个核心指标归一化排名Normalized Rank每个模型会对每个目标输出一个原始分数Raw Score表示该目标是透镜的置信度。我们将所有目标的分数从高到低排序排名最高的设为1最低的设为0中间线性插值。这个0到1的值就是归一化排名。它直观地告诉我们在所有目标中这个候选体被模型认为有多“像”透镜。精确率Precision、召回率Recall与F1分数F1-Score精确率 真阳性 / (真阳性 假阳性)。它回答“模型说是透镜的目标里有多少是真的” 高精确率意味着人工检查时“垃圾”目标少效率高。召回率 真阳性 / (真阳性 假阴性)。它回答“所有真实的透镜里模型找出了多少” 高召回率意味着漏网之鱼少。F1分数是精确率和召回率的调和平均数是一个综合衡量指标。我们通过遍历不同的归一化排名阈值比如只检查排名0.9的目标计算出一系列精确率-召回率对并找到能使F1分数最大化的那个阈值及其对应的F1分数Max F1 Score。这是衡量模型综合性能的关键指标。ROC曲线与AUCAUROC接收者操作特征曲线描绘了在不同阈值下模型真阳性率TPR即召回率与假阳性率FPR的关系。曲线下的面积AUC越接近1说明模型整体区分正负例的能力越强。AUC是一个对类别不平衡不敏感的指标非常适合我们的场景。杰卡德相似系数Jaccard Similarity用于衡量两个模型或模型与专家在排名列表头部如前5000名或尾部如后10万名的重叠程度。公式为J(A,B) |A ∩ B| / |A ∪ B|。值越高说明两者选出的“最像”或“最不像”透镜的目标集合越一致。有了统一的“考题”、“标准答案”和“评分标准”我们就可以让三个ML模型同台竞技了。3. 三大ML模型单打独斗性能深度剖析Jacobs、Rojas和González三个模型代表了强透镜搜索中ML方法的不同发展阶段和技术路径。我们的评测就像一场解剖不仅要看结果更要理解其背后的原因。3.1 模型简介与方法论差异Jacobs et al. (2019a,b)可视为DES上大规模应用CNN搜索强透镜的先驱工作之一。它使用相对经典的CNN架构在大量模拟透镜图像和真实非透镜图像上进行训练。其特点是开创性强但模拟数据与真实数据的差异模拟器偏差可能影响其泛化能力。Rojas et al. (2022)在Jacobs的基础上进行了改进。可能采用了更先进的网络架构如ResNet变体并在训练数据生成和增强方面做了优化旨在更好地捕捉真实观测中透镜的复杂形态和噪声特征。González et al. (2025)代表了当前的前沿引入了交互式机器学习Interactive ML, IML。其核心思想不是一次性训练完就固定模型而是让人专家参与到循环中模型给出初步预测 - 专家检查并标注一批不确定性高的或有趣的候选体 - 用这些新的、高质量的“人类反馈”数据重新练或微调模型 - 模型性能提升如此迭代。这种方法能有效纠正模型在初始训练中形成的错误偏见并教会它识别那些难以通过模拟生成的、真实数据中的复杂特征。3.2 性能对比González为何胜出评测结果清晰地显示了一个性能递增的序列González Rojas Jacobs。综合性能F1分数与AUCGonzález模型取得了最高的最大F1分数0.54和AUC0.85显著优于Rojas0.35 0.68和Jacobs0.31 0.59。这意味着González模型在综合权衡“找得全”和“找得准”方面表现最好整体区分能力最强。与专家的一致性通过比较模型排名与专家评分我们发现González模型在排名头部和尾部与专家判断的杰卡德相似系数都是最高的。这说明González认为的“好”候选体和“差”候选体与专家的看法最吻合。完备性分析我们检查了高置信度透镜A、B类被模型“漏掉”归一化排名0.8的情况。结果显示三个模型都漏掉的A类透镜仅占5%。更重要的是82%的A/B类透镜至少被其中一个模型以高排名0.8识别出来。这首次明确揭示了不同模型之间的互补性——它们可能擅长识别不同形态的透镜。为什么González模型表现最好我们认为IML是关键。传统的离线训练就像学生只做模拟题而IML引入了“名师实时指点”。专家在循环中纠正模型的错误并提供难以模拟的真实正负例使得模型能快速适应真实数据的复杂分布。这解决了纯模拟训练中固有的“模拟-现实差距”问题。一个有力的佐证是尽管González模型的训练数据中也包含了非真实的模拟透镜但其性能并未受损这恰恰说明了高质量人类反馈的威力可以超越模拟数据的局限性。3.3 模型“盲点”与启示即使是最好的González模型也会漏掉一些高专家评分的透镜。我们分析了这些被“错过”的候选体图像见图12发现了一些共同特征特征微弱或细小透镜弧非常暗淡或者爱因斯坦半径透镜效应空间尺度的表征非常小几乎融入前景星系的光晕中。形态不典型可能呈现为不完整的、扭曲的弧而非教科书般完美的弧或环。前景星系复杂位于密集的星系团环境中背景弧被前景星系的光芒淹没或与其它星系图像混淆。这些“盲点”告诉我们当前的模型即使是IML增强的对于极端微弱、小尺度或不常见形态的透镜识别仍有挑战。这为下一代模型的改进指明了方向需要专门针对这些困难案例构建训练集或设计对微弱特征更敏感的网络架构。4. 集成学习融合众智锻造更强分类器既然单个模型各有千秋且存在互补性一个自然的想法是能不能把它们组合起来取长补短这就是集成学习的思想。我们测试了六种集成策略从简单到复杂简单平均/中位数直接对三个模型的原始分数Raw Scores取算术平均或中位数。线性回归以三个模型的原始分数为特征以专家评分为目标训练一个线性回归模型来预测“综合评分”。决策树与随机森林将问题转化为分类任务透镜/非透镜以三个模型的原始分数为特征训练决策树和随机森林分类器。我们使用网格搜索和5折分层交叉验证来优化超参数如树的最大深度、叶子节点最小样本数等并使用类别权重来平衡样本不均。独立贝叶斯方法这是一种更概率化的方法。首先对每个单独模型的原始分数进行校准使得校准后的分数具有明确的概率解释例如所有被预测为0.7的目标中约有70%是真实透镜。我们使用保序回归进行校准。然后在测试时假设三个模型的校准输出是条件独立的利用贝叶斯定理将它们融合得到一个最终的后验概率。4.1 集成效果显著提升与最佳实践我们在专家验证集上划分出80%的训练/验证集和20%的测试集来评估这些集成方法。结果令人振奋F1分数大幅提升如图13所示除了简单的平均法所有集成方法的最大F1分数都超过了最好的单个模型González。其中决策树、随机森林和独立贝叶斯方法表现最佳将最大F1分数从González的0.57提升到了约0.67提升幅度超过17%。查准率飞跃我们更关注在实际搜索中的效率。我们设定一个目标要找回测试集中约三分之二的真实透镜12个中的8个然后看需要检查多少候选体。在这个查全率水平下集成方法的查准率表现惊人最佳单模型González查准率2.35%从426个候选体中找出10个透镜。独立贝叶斯方法查准率13.04%仅需检查69个候选体就能找出9个透镜。线性回归查准率12.50%检查80个找出10个。这意味着什么假设天文学家团队有固定时间检查100个候选体。使用最好的单模型可能找到2-3个真实透镜而使用集成方法有望找到12-13个工作量不变但科学产出翻了数倍。这极大地优化了人力资源的配置。为什么简单平均不行简单平均假设所有模型同等重要且误差独立。但实际上模型性能有优劣如González明显更好其误差也可能相关。简单平均无法捕捉这些复杂关系甚至可能被较差的模型“拖后腿”。而更高级的方法如线性回归、树模型、贝叶斯能够学习每个模型输出的权重和相互关系从而做出更聪明的决策。4.2 独立贝叶斯方法一个值得深入探讨的案例独立贝叶斯方法在此次评测中表现突出它提供了一种优雅的概率框架。校准这一步至关重要。机器学习模型尤其是神经网络直接输出的分数logits或经过sigmoid的值通常不是校准好的概率。一个输出0.9的样本其真实是正例的可能性可能只有70%。保序回归学习一个单调映射函数将原始分数映射到校准概率使得概率值具有实际频率意义。融合假设模型A、B、C给出校准概率P_A, P_B, P_C且给定真实标签Y这些概率条件独立。根据贝叶斯定理在假设先验概率P(Y透镜)为某个值可从训练集估计的情况下可以计算后验概率。虽然条件独立假设很强但在实践中只要模型差异足够大它往往能提供一个很好的近似并且数学上非常简洁有效。实操心得在实际部署集成系统时独立贝叶斯方法有一个额外优势——可解释性。我们可以追溯每个单独模型对最终决策的贡献。如果某个候选体被一个模型强烈支持而被另一个模型反对这个信息本身对专家来说就很有价值可能提示该候选体具有某种不寻常的特征。5. 工程实践构建你自己的强透镜集成搜索管道理论很美好但如何落地这里我结合本次研究的经验梳理出一个可供参考的实操流程。5.1 数据准备与预处理标准化集学习的前提是输入特征的一致性。对于多个来源的模型预测必须确保它们处理的是同一批数据、相同的预处理流程。图像裁剪与对齐所有输入模型的图像cutout必须保证中心、尺寸、像素尺度完全一致。通常以目标坐标中心裁剪固定大小如101x101像素的RGB三波段合成图像。光度定标与归一化确保不同波段的图像拉伸和颜色平衡方式一致。通常采用astropy或photutils进行背景减除并使用zscale或asinh拉伸进行可视化归一化使透镜特征在不同图像上对比度相似。元数据关联除了图像还需要关联目标的测光红移、星等、颜色等基本信息这些可能作为某些模型的额外输入或后续分析的依据。5.2 模型输出收集与格式化你需要从各个独立运行的模型中提取它们的预测结果。关键字段每个目标至少需要记录唯一标识符如OBJID、模型原始分数raw_score_jacobs,raw_score_rojas,raw_score_gonzalez。如果可能保存模型输出的类别概率向量。数据合并使用Pandas等工具以目标唯一标识符为键将所有模型的预测结果合并到一张大表中。务必处理缺失值——如果一个模型未处理某个目标其分数应标记为NaN并在后续集成策略中妥善处理例如仅基于可用模型进行集成。5.3 集成策略的选择与实现根据你的资源和对可解释性的要求来选择集成方法快速基线简单平均/中位数用NumPy或Pandas一行代码即可实现。虽然性能未必最优但可以作为性能提升的基准线。import numpy as np import pandas as pd # 假设df是包含三个模型分数的DataFrame df[score_avg] df[[score_j, score_r, score_g]].mean(axis1) df[score_median] df[[score_j, score_r, score_g]].median(axis1)性能优先决策树/随机森林使用scikit-learn库。关键步骤是处理类别不平衡。from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import train_test_split, GridSearchCV, StratifiedKFold from sklearn.metrics import f1_score, make_scorer from sklearn.preprocessing import StandardScaler # 准备数据X是三个模型分数y是专家标注0/1 X df[[score_j, score_r, score_g]].values y df[expert_label].values # 划分训练/测试集保持类别比例 X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, stratifyy, random_state42) # 标准化特征对线性模型和树模型有时有益 scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) X_test_scaled scaler.transform(X_test) # 定义随机森林模型使用类权重平衡 rf RandomForestClassifier(class_weightbalanced, random_state42) # 设置超参数网格 param_grid { n_estimators: [100, 200], max_depth: [10, 20, None], min_samples_split: [2, 5], min_samples_leaf: [1, 2] } # 使用分层5折交叉验证和F1分数进行网格搜索 cv StratifiedKFold(n_splits5, shuffleTrue, random_state42) scorer make_scorer(f1_score) grid_search GridSearchCV(rf, param_grid, cvcv, scoringscorer, n_jobs-1) grid_search.fit(X_train_scaled, y_train) # 最佳模型 best_rf grid_search.best_estimator_ # 预测概率 y_pred_proba best_rf.predict_proba(X_test_scaled)[:, 1]概率化与可解释性独立贝叶斯实现稍复杂但逻辑清晰。from sklearn.isotonic import IsotonicRegression # 步骤1校准每个模型 calibrators {} for model_name in [score_j, score_r, score_g]: ir IsotonicRegression(out_of_boundsclip) # 在训练集上拟合校准器原始分数 - 专家标签作为概率目标 ir.fit(X_train[model_name], y_train) calibrators[model_name] ir # 步骤2定义贝叶斯融合函数假设先验概率p为训练集中正例比例 p y_train.mean() # 先验概率 def bayesian_fusion(scores_calibrated): # scores_calibrated: 字典键为模型名值为校准后的概率 # 计算似然比乘积假设条件独立 likelihood_ratio np.prod([sc / (1 - sc) for sc in scores_calibrated.values()]) # 计算后验概率 posterior (likelihood_ratio * p) / (likelihood_ratio * p (1 - p)) return posterior # 步骤3应用 # 对测试集每个样本先校准再融合 calibrated_scores_test {} for model_name in [score_j, score_r, score_g]: calibrated_scores_test[model_name] calibrators[model_name].transform(X_test[model_name]) # 逐样本计算后验概率 posterior_probs [] for i in range(len(X_test)): scores_i {name: calibrated_scores_test[name][i] for name in calibrated_scores_test} posterior_probs.append(bayesian_fusion(scores_i))5.4 阈值选择与生产部署得到集成模型的分数或概率后需要选择一个阈值来决定哪些候选体提交给专家审查。基于业务目标如果你的目标是尽可能不漏掉透镜高查全率可以选择一个较低的阈值如集成分数0.3。但这会导致需要检查的候选体数量激增。基于固定查全率如同我们的实验分析测试集上分数与查全率的关系选择能达到目标查全率如66%的最低阈值。这能保证科学产出。基于固定查准率如果专家审查能力有限可以设定一个可接受的最低查准率如5%然后选择能达到该查准率的最高阈值这样能最大化专家时间的利用率。部署时建议构建一个自动化流水线新数据输入 - 各独立模型推理 - 收集分数 - 集成模型计算最终分数 - 根据阈值生成候选体列表 - 推送至专家审查平台。整个流程可以用Airflow或Prefect等工具进行编排和监控。6. 常见问题、挑战与未来展望在实际操作中你可能会遇到以下问题问题1专家标注数据太少不足以训练集成模型。应对这是小样本学习的典型问题。可以尝试以下策略(1) 使用更简单的集成方法如加权平均权重可以根据单个模型在少量标注数据上的表现来设定。(2) 采用半监督或自训练方法先用少量标注数据训练一个初级集成模型对大量未标注数据预测选取高置信度的预测作为伪标签扩充训练集再训练。(3) 利用迁移学习使用在其他巡天数据如HSC, KiDS上预训练的模型作为基础用少量DES专家数据进行微调。问题2不同模型输出的分数范围差异巨大直接融合是否公平应对绝对不公平。必须进行标准化或校准。我们的做法是使用归一化排名或概率校准。归一化排名将每个模型的分数映射到[0,1]区间消除了绝对尺度的差异。概率校准则更进一步使输出具有真实的概率意义。这是集成前不可或缺的一步。问题3集成模型虽然整体好但会不会“抹杀”了某个单模型独有的、发现特殊类型透镜的能力应对有可能。这就是“多样性”与“一致性”的权衡。一个解决方案是采用动态选择或堆叠策略。例如可以训练一个元分类器不仅接收各模型的分数还接收目标的一些元特征如颜色、红移让元分类器学习在什么情况下应该更信任哪个模型。另一种实践是保留“异议者”机制如果一个候选体被某个单模型以极高分数推荐但被集成模型否决可以将其放入一个特殊的“复审”队列由专家重点检查。问题4如何将新的、更好的单模型加入到现有集成系统中应对需要重新评估和可能的重训练。将新模型的预测作为新特征加入在最新的专家标注数据集上重新运行整个集成学习流程包括特征选择、模型训练、超参数调优。这是一个持续迭代的过程。建议建立模型版本管理和A/B测试框架确保新集成的性能稳定提升。未来展望强透镜搜索的ML方法正朝着更自动化、更智能化的方向发展。我认为有几个关键趋势IML与主动学习的深度结合不仅仅是专家纠正模型模型应能主动询问“我最不确定的样本是什么”或“哪些样本最能帮助我改进”实现更高效的人机协作。多模态与物理信息融合未来的模型不应只“看”图像。将测光数据、光谱信息、甚至基于透镜物理模型如lenstronomy生成的模拟特征一起输入构建多模态学习系统有望进一步提升对复杂和模糊案例的识别能力。可解释性AIXAI让模型不仅给出“是”或“否”还能指出“为什么”——例如通过显著性图高亮图像中做出决策的关键区域弧的位置、前景星系核心等这将极大增强天文学家对模型预测的信任并帮助发现新的物理现象。机器学习集成方法在强引力透镜搜索中展现出的性能提升是实实在在的。它不是一个复杂的黑魔法而是一种系统性的工程思维承认单一模型的局限性通过系统化的方式融合多模型信息从而获得更稳定、更强大的解决方案。从我们“横向评测”到“集成优化”的实践来看这条路不仅走得通而且效益显著。对于面临类似“大海捞针”式发现任务的天文学或其他领域这套评估、比较与集成的框架或许能提供一个值得借鉴的蓝本。
