Verifiable Social Reasoning for LLM Assistants作者Amir Taubenfeld, Zorik Gekhman, Avigail Grinstein-Dabush, Itay Laish, Ariel Goldstein, Marian Croak, Avinatan Hassidim, Yossi Matias, Amir Feder核心发表机构Google Research、Hebrew University、University of Cambridge论文链接arXiv:2609.17496v1发布于arXiv 预印本cs.AI一、核心贡献 / Core Contributions提出Fuse一个用于研究“用户中介社会推理”的多智能体模拟框架。该框架让一个带有隐藏动机的目标智能体与其他智能体互动其中一名智能体代表用户随后用户向被评估助手转述事件助手必须推断目标的隐藏动机。由于隐藏动机在模拟时被显式设定因此 ground truth 可验证。构建并开源一个大规模评估数据集。论文生成 30 个场景模板每个 ATOMS 类别 6 个每个场景包含两个对比动机每个场景与每个动机采样 20 个模拟实现共30 × 2 × 20 1,200 30 \times 2 \times 20 1{,}20030×2×201,200个多智能体模拟。每个模拟进一步在 2 个 reporting bias 条件、3 个叙事细节水平下各采样 3 个 debrief总计 21,600 条用户消息开源数据集规模为 21k examples。通过两个互补的人类研究收集超过 24,000 条标注验证模拟忠实性与任务可解性。主模拟验证中300 个模拟各由 10 名独立评分者观看原始事件多数投票与 ground truth 匹配率约 96.9% 至 97%用户中介单消息人类基线中三个细节水平各 700 条 opening messages由 10 名评分者标注总体MSR 0.75 \text{MSR}_{0.75}MSR0.75​为 89.8%正确预测率约 88%。将 Fuse 应用于 12 个 LLM涵盖 7 个模型家族。主结果显示没有任何被评估模型超过 83.7 MSR而人类多数基线达到 89.8 MSR差距超过 6 个 MSR 点许多模型错误率超过 20%可能使用户基于错误社会假设采取行动。系统隔离四个关键因素用户中介、用户偏差框架、叙事细节水平、多轮对话长度。实验表明用户中介会叠加社会推理固有难度LLM 对带偏见的用户 framing 存在系统性敏感模型有时需要比人类更多细节才能正确预测更长对话并不总是提升表现尽管它们提供了澄清机会。二、研究背景与动机 / Background MotivationLLM 助手已被广泛用于日常社交咨询。用户会向助手描述同事、朋友、伴侣或家人的行为并希望助手帮助判断对方的真实意图、信念、情绪或知识状态。然而评估 LLM 在这种咨询场景中的社会推理能力非常困难。论文指出两个核心挑战。第一真实助手通常只能从用户的主观叙述中了解社会情境。用户可能无意或有意省略关键上下文可能投射自身偏见与情绪状态也可能对事件进行带偏向的叙述。助手看到的是经过用户中介的信息而不是完整、客观的社会互动。第二社会属性例如他人的意图、信念或情绪通常缺乏可验证的 ground truth。一个人的真实动机往往只有他自己知道在现实社会情境中人类标注者很难事后可靠地标注“对方真正想要什么”。因此日常社交咨询中的社会推理评估既难以构造也难以验证。现有社会推理评估通常给模型一个完整、预定义的情境描述然后提出针对性问题例如 Social IQa、FANTOM 等。这种设定与真实部署的 LLM 助手不同真实助手不是直接观察社会互动而是通过用户的主观视角了解互动。近期一些评估开始接近真实部署但主要集中在安全导向场景例如用户表达明显妄想信念。这类场景的 ground truth 通常可以从前提中平凡推出例如“用户声称有超能力”显然为假。然而日常社交场景不同例如“同事是真的支持我还是在暗中打压我”真实动机无法从用户叙述中简单恢复。论文认为合成数据是自然选择让场景和 ground-truth 标签联合生成从而在构造上获得可验证的 ground truth。Fuse 建立在两个基础上。第一人类社会认知的许多特征是多尺度交互的涌现现象。第二生成式多智能体模拟已被证明能有效模拟复杂社会动态。Fuse 使用多智能体模拟但关键区别在于目标智能体有隐藏动机用户智能体之后向被评估助手转述事件助手只能看到用户的主观转述必须推断目标智能体的隐藏动机由于隐藏动机是模拟时设定的因此 ground truth 构造上可验证。这一设计使论文能够在贴近真实助手咨询场景的同时获得可控、可扩展的评估信号。三、方法 / Methodology3.1 总体框架 / Overall ArchitectureFuse 的整体流程分为五个步骤。第一步是社会推理类别定义决定评估范围。论文采用 ATOMS taxonomy其包含七类心理状态desire、intention、belief、emotion、knowledge、percepts、non-literal communication。论文排除了 percepts 和 non-literal communication因为纯文本模拟缺乏丰富感官模态无法忠实评估这两类。最终保留五类desire、intention、belief、emotion、knowledge。每个类别对应一个核心推理问题例如 desire 对应“他们想要什么”intention 对应“他们会做什么”belief 对应“他们认为什么是真的”emotion 对应“他们感受到什么”knowledge 对应“他们知道什么”。第二步是场景模板生成。对每个类别论文生成一组场景模板。场景模板定义模拟骨架用户 persona、辅助 persona、人物关系、有序的 episodes、目标 persona以及目标 persona 可能被赋予的动机集合。第三步是多智能体社会实现模拟。场景模板只定义社会结构不定义唯一具体事件序列。对场景和具体动机Fuse 创建一组场景实现使用基于 Concordia 框架的 LLM 驱动多智能体模拟。一个实现是场景的具体展开智能体按预设 episode 序列互动episode 之间相互 build upon目标 persona 按动机行动。采样多个 realization 可确保同一隐藏动机通过不同社会模式表现出来。第四步是用户 debrief 模拟。社会实现结束后用户智能体与被评估助手讨论事件。场景模板支持两个可控轴用于改变用户叙述而不改变底层事件reporting biases 和 narrative detail levels。设 reporting bias 为b bb细节水平为l llD ( r , N , b , l ) \mathcal{D}(r, N, b, l)D(r,N,b,l)表示所有可能的N NN-turn debrief realization 集合。一个 debrief realizationd ∈ D ( r , N , b , l ) d \in \mathcal{D}(r, N, b, l)d∈D(r,N,b,l)是用户与助手就r rr中事件进行咨询的一次可能对话。关键信息不对称在于助手不直接观察r rr只能看到d dd。这复现了真实助手使用中的信息不对称并测试助手能否区分行为证据与用户主观解释。第五步是助手评估与 judge 判定。对被评估助手它阅读 debriefd dd并被提示预测哪个候选动机最能解释目标人物行为。回答由 LLM-as-a-judge 评估条件为候选动机集合、ground truth 和预测。judge 将回答分为三类Correct、Incorrect、Not Attempted也称 Abstain。论文强调模拟与 debrief 完全分离真实咨询常与持续进行的社会情境交织但这里故意分离使模拟可被任意数量被评估模型复用降低大规模研究计算成本并使生成静态评估数据集成为可能一次生成、反复用作 benchmark。3.2 关键模块 / Key Modules社会推理类别与场景模板。论文为每个 ATOMS 类别转换出六个 scenario templates共 30 个模板。每个模板包含 27 rounds并 split across multiple episodes。转换流程是先为每个类别定义 inference question捕捉核心推理挑战再 prompt coding agent 遵循 authoring protocolSKILL.md生成与该 inference question 对齐的 candidate scenarios人工审核子集确保严格遵循设计指南与 structural invariants。表tab:mental_states给出五个 mental state categories、对应推理问题与一个示例场景。例如 desire 类别的问题是“他们想要什么”示例场景是“一个 helpful colleague 是真心支持还是在 undermining the user?”intention 类别的问题是“他们会做什么”示例场景是“一个 struggling team member 是暂时低谷还是计划离开?”belief 类别的问题是“他们认为什么是真的”示例场景是“用户父母是否相信其伴侣适合用户?”emotion 类别的问题是“他们感受到什么”示例场景是“朋友为用户升职高兴还是私下嫉妒?”knowledge 类别的问题是“他们知道什么”示例场景是“经理是否知道用户正在别处面试?”。论文刻意聚焦 clear-cut social situations即目标 persona 的行为主要由单一可识别动机驱动而非模糊动机混合。实现方式是SKILL.md指示生成模型为每个场景生成四个 candidate motives沿 intensity spectrum 排列只保留 contrasting endpoints。例如模型生成 strongly romantic、mildly romantic、mildly platonic、strongly platonic最终选择最清晰区分的 pairstrongly romantic 与 strongly platonic。这种设计有三个目的确保模拟行为为 ground-truth label 产生清晰信号创建 advice 应随 motive 急剧分歧的场景增加 substantial evidence 在用户叙述早期即可用的机会见 first-message focus。模拟实现。场景模板只定义社会结构具体事件序列由多智能体模拟生成。论文生成 30 个场景模板每个 ATOMS 类别 6 个所有场景使用两个对比动机每个场景模板和每个动机采样 20 个 realization由 Gemini 3.1 Flash-Lite 驱动所有模拟 persona。总多智能体模拟数为30 × 2 × 20 1,200 30 \times 2 \times 20 1{,}20030×2×201,200。采样多个 realization 可确保同一隐藏动机通过不同社会模式表现出来避免模型只记住单一叙事模式。Debrief 生成。对每个场景实现论文在每种 bias 条件与 narrative detail 组合下采样 3 个 debrief每个 debrief 包含 1 条用户消息。两个 bias 条件是 default 和 opposing belief。default 是用户自然叙述事件脚注强调 default 不应被严格理解为中性因为寻求建议本身可能反映怀疑、希望、焦虑或其他既有视角。opposing belief 是用最小化单句提示轻微引导用户解释朝向与 ground truth 相反的动机。三个叙述细节水平通过改变用户模拟器 prompt 中 detail instruction 的强度实现。low-detail 分享 1 条证据medium-detail 分享 2 条证据high-detail 不限制证据数量。平均消息长度分别为 low-detail 约 520 characters、medium-detail 约 710 characters、high-detail 约 1,010 characters。完整 prompts 在 released codebase。强制选择预测与推理协议。评估 assistant 预测 target agent ground-truth motive 的能力。每个 scenario template 指定两个 contrasting motives 和一个 evaluation question。示例romantic interest 场景对比 romantic motive 与 platonic motive评估问题为“Is{target}s attentiveness toward{user}driven by romantic interest, or is{target}simply being a devoted platonic friend?” 查询模型时observer setting 把{user}替换为 user 的姓名user-mediated setting 把{user}替换为me并 append 两个 motives 作为 labelled options。该 prompt 没有 adversarial pressure它只是模拟用户想要一个明确答案被视为 advice-seeking conversations 中的现实用例。结果显示在绝大多数情况下这种简单 prompt 足以引出具体 verdict。作者选择 forced-choice而非评估开放回答内容原因有二开放回答常 hedge 并列出多个可能性直接评分信号少hedged responses 常仍通过 word choice 和 framing 倾向某一选项但区分真正 abstention 与 implicit leaning 很难且易受 judge-LLM bias。本文不尝试量化这种 implicit leanings并将其列为未来方向。Judge 与指标。judge 模型为 Gemini 3.1 Flash-Lite。每个预测被标为 Correct、Incorrect、Not Attempted。论文报告各类比例并计算聚合指标 Mediated Social Reasoning scoreMSR。MSR 的参数d ∈ ( 0 , 1 ) d \in (0,1)d∈(0,1)控制 abstention 的信用MSR ( d ) ∣ Correct ∣ d ⋅ ∣ Not Attempted ∣ ∣ Correct ∣ ∣ Incorrect ∣ ∣ Not Attempted ∣ \text{MSR}(d) \frac{|\text{Correct}| d \cdot |\text{Not Attempted}|} {|\text{Correct}| |\text{Incorrect}| |\text{Not Attempted}|}MSR(d)∣Correct∣∣Incorrect∣∣Not Attempted∣∣Correct∣d⋅∣Not Attempted∣​d 0.75 d 0.75d0.75被设为随机猜测期望与完美预测的中点。理由是承认不确定性优于猜测但低于正确预测。论文指出最优 abstention policy 是复杂问题超出本文范围。为增加推理焦点、减少 abstention论文采取三项措施构造 target 动机强烈偏向一方的 clear-cut 场景通过人类研究验证这些场景高度可解使用 forced-choice prompt要求模型必须给出预测。四、实验 / Experiments4.1 数据集与评估指标 / Datasets Metrics论文生成 30 个场景模板每个 ATOMS 类别 6 个。所有场景使用两个对比动机。每个场景模板和每个动机采样 20 个 realization总共 1,200 个多智能体模拟。对每个场景实现在每种 bias 条件与 narrative detail 组合下采样 3 个 debrief每个 debrief 包含 1 条用户消息。由于有 2 个 reporting bias conditions 和 3 个 narrative detail levels每个 realization 得到2 × 3 × 3 18 2 \times 3 \times 3 182×3×318个 debriefs。总数为1,200 × 18 21,600 1{,}200 \times 18 21{,}6001,200×1821,600条用户消息。公开数据集规模为 21k examples。论文主要分析助手对用户初始消息的首次回应即 first-message focus。理由包括第一解释尤其重要会塑造后续假设、问题和建议每个评估实例由固定用户消息组成因此数据集可作为完全静态 benchmark研究者无需额外基础设施即可评估任意模型人类研究确认在 88% 以上案例中正确预测所需信息已存在于第一条消息。论文进行两个互补人类研究共收集 24,000 条标注。主模拟验证中采样 300 个模拟每个由 10 个独立 rater 观看原始事件事件 transcript 与问题格式与 LLM observer evaluation 完全一致。平均 inter-rater agreement 为 91.2%多数聚合后仅 1 个 item 给出 abstain verdict96.9% 的 majority verdicts 匹配 ground-truth motive。笔记也提到多数投票预测与 ground truth 匹配率约 97%。人类判断并不建立 ground-truth 标签本身而是验证生成这些标签证据的模拟程序。因为潜在状态对每个生成实例都已知所以不需要逐例人类标注。第二个人类研究是 user-mediated 单消息人类 baseline。该研究只使用 debrief 中的 initial user message对应 first-message focus。对三个 debrief detail levels各采样 700 条 opening user messages每个(simulation, motivation, bias)triplet 选一条消息50% 来自 neutral bias condition50% 来自 opposite-bias condition每个 item 由 10 位独立 rater 评估呈现给 rater 的 user message 与 binary classification question 与被评估模型完全相同。结果平均 inter-rater agreement 为 86.8%多数投票后仅 2.8% 的 items 为 abstain verdict在 majority verdicts 上总体MSR 0.75 \text{MSR}_{0.75}MSR0.75​达到 89.8%正确预测率约 88%。论文使用多数投票目标不是测量平均人类社会推理能力而是探测任务本身高分确认第一条消息在绝大多数情况下携带足够信号来恢复正确动机因此模型与人类基线之间的差距更可能反映模型局限而不是任务不可解。模拟可解性约 97% 与第一条消息可解性约 88% 之间的差距可能代表第一条消息本身信息不足的情况多轮交互可缩小该差距但不一定能完全消除。人类评分指令要点在 observer setting 中参与者作为 observer 查看多人、多场景的 interaction transcript目标是评估 target person 行为并确定其 true motive、intentions 或 motivations输入包括 interaction transcript、question、two options决策指南要求尽量做出预测只在 equally consistent with both options 时选 “I don’t know”并考虑 overall pattern across scenes因为单句或动作孤立时可能 ambiguous。在 user-mediated setting 中参与者阅读用户向 AI assistant 寻求社会建议的消息用户描述另一个人的 recent behaviour想弄清 true motive决策指南要求尽量预测关注 facts 而不是用户 interpretation基于具体 actions and words而非用户主观意见并考虑 overall pattern。被评估模型共 12 个跨 7 个家族。开放权重模型 6 个Gemma-4 12B 与 31BMistral 4 Small 119B MoEMistral 3.5 Medium 128BGPT-OSS 20B 与 120B MoE。封闭权重模型包括GPT 5.6 Luna 与 TerraClaude 5 Sonnet 与 OpusGemini 3.7 FlashGrok 4.5。源码笔记指出原文称“seven closed-weight models”但按列举为 6 个可能遗漏一个或存在笔误。后文 Observer 分析中Mistral Small 4 被描述为 “a 120B-parameter model”与前面 “119B MoE” 略有数字差异按原文保留。Gemini 3.1 Flash-Lite 用于驱动模拟和担任 judge不在被评估模型之列。该论文没有训练新模型也没有定义损失函数推理/评估流程为多智能体模拟生成社会实现用户模拟器生成 debrief被评估助手读取 debrief在 forced-choice 提示下预测动机judge 根据候选动机集合、ground truth、预测分类汇总 Correct、Incorrect、Not Attempted 比例并计算 MSR。4.2 主实验结果 / Main Results主结果显示没有模型超过 83.7 MSR。人类多数基线达到 89.8 MSR基于 88% 正确率和少量 abstention。即使最强模型仍与人类基线相差超过 6 个 MSR 点。许多模型错误率超过 20%这可能导致用户误读社交情境并基于错误假设行动。不同模型在 abstention 上策略差异明显一些模型几乎总是预测隐藏动机例如 Mistral 和 GPT 5.6来自 Gemma 和 Claude 两个家族的四个模型尽管被明确要求必须给出预测仍有超过三分之一案例 abstain这些模型错误率相对较低但效用下降因为四个模型最多只在 50% 案例中给出正确预测。摘要与引言给出四个系统性发现。第一user mediation 加剧社会推理固有难度。第二LLM 对带偏见的用户 framing 表现出系统性敏感。第三模型可能比人类需要更多细节才能做出正确预测。第四更长对话不一定提升表现因为多轮既提供澄清机会也增加采纳用户 framing 的机会。这些发现分别揭示 distinct and measurable gaps。4.3 消融实验 / Ablation StudyObserver 基线隔离用户中介的影响。用户中介社会推理的难度有两个来源一是从社会情境推断他人潜在动机的固有复杂性二是通过用户主观中介进行推断的额外难度。为评估二者贡献论文引入 Observer baseline被评估模型不扮演与用户对话的助手而是直接看到模拟中的实际事件被要求预测目标人物的动机。Assistant 与 Observer 的差距量化用户中介的成本。仅看 Observer baselineLLM 即使没有用户中介也可能难以理解社会情境。例如 Mistral Small 4一个 120B 参数模型在直接看到客观事件时仍有 20.9% 显著错误率。由于人类研究确认模拟行为忠实展现预期动机这些 Observer 表现差距反映模型社会推理的真实局限而非模拟信号不足或不忠实。前沿模型如 Claude Opus 5 和 Gemini 3.7 Flash 在 Observer 上接近完美说明足够强的模型可以有效分析原始事件。从 Observer 切换到 Assistant 设置后错误率更高abstention 率也更高。这说明用户中介在底层推理任务固有难度之上额外造成一致性的性能差距。Claude Opus 5 的特别现象是在 Observer 设置中性能接近完美但在 Assistant 设置中弃权率急剧上升这说明模型可以具备强社会推理能力却在与用户交互时采取高度谨慎策略。图fig:observer显示这一模式在来自两个家族Gemma 和 Claude的四个高弃权模型中一致。讨论部分进一步解释原则上主动助手可以通过与用户交互恢复许多证据但不期望 gap 完全闭合因为用户中介设置中同一事件通过用户主观叙述传达带有选择、framing 和解释因此部分 gap 反映的是“从主观复述而非直接观察进行推理”的内在困难。另一个担忧是用户是模拟的部分 gap 可能来自模拟器特定效应。论文通过基于 Concordia 框架、给模拟用户完整模拟历史、允许助手提问来缓解但未经验上将模拟器伪影与用户中介的内在困难分开。用户偏差效应。论文比较默认框架和偏见框架下的 MSR按条件间差距排序并给出人类多数基线。关键结果引入偏差后所有模型性能一致下降。平均模型差距为 7.7 点人类基线下降 3.6 点。模型差距是人类下降的两倍多说明退化不只是信息损失。四个偏差差距最小的模型Gemma 和 Claude 家族是弃权率非常高的模型弃权信用主导了它们的 MSR压缩了测得的偏差差距但代价是可用性下降。因此论文聚焦其余 8 个模型作为主要参考其偏差差距范围为 6.9 到 12.5 点。人类多数基线在偏差下也下降 3.6 点但 8 个关注模型的差距显著超过该下降说明模型对偏见框架存在真正敏感性而不仅仅是可用信息减少差距原则上可通过提高偏差鲁棒性来缩小。模型间敏感性差异说明 Fuse 可作为诊断工具识别哪些模型更容易受用户主观框架影响。用户偏差放大案例中ground truth 是 Caleb 仅一周前被雇用的志愿者协调员真心渴望学习和贡献。用户描述积极行为遵从用户愿景、表示很荣幸学习、希望工作完全符合用户策略但用户把这些行为框定为可疑称赞美过度。模型 Grok 4.5 没有保持中立而是强化用户框架将同事的顺从称为 “a classic ingratiation tactic”描述为 “map relationships and identify levers” 的策略将用户的不确定性本身验证为 “a signal”。案例表明在缺乏具体证据时模型可能放大用户的偏见解释。叙事细节效应。论文展示 MSR 随叙事细节水平的变化并对比人类多数基线。关键数值平均模型 MSR 从 74.2 增至 80.1提高 5.9 点人类基线从 88.3 增至 91.1提高 2.8 点12 个模型中有 10 个缩小了与人类基线的差距平均差距下降 22%从 14.1 降至 11.0。解释模型缩小与人类基线的差距说明在某些案例中低细节水平下可能已经存在足够信息做出正确预测但模型只有在提供更多细节后才正确预测。定性分析显示许多情况下模型形成了一种不基于证据的默认解释需要额外细节来修正默认解释方向不同一些模型倾向更 alarming 的解读另一些即使担忧合理也会 de-escalate。去污名化/细节效应案例中ground truth 是室友 Devon 最近被裁员但继续表现得开心、不受影响实际上 Devon 真的没事。低细节时用户提供清晰积极信号模型 GPT Luna 却升级到讨论自杀预防预测 Devon 处于 distress。中细节时模型承认存在模糊性但仍默认预测 distress。高细节时积累的快乐证据难以忽视模型才正确预测 Devon “genuinely fine”并明确警告不要将积极行为解读为痛苦。该案例说明框架的可控轴可以揭示模型行为的不同模式。多轮动态。论文把 debrief 阶段从 2 轮扩展到 8 轮从低细节用户消息开始观察模型能否收集信息并改善预测。最陡的 MSR 增加发生在第 2 到第 4 轮因为用户引入额外证据澄清社会情况第 4 轮之后性能大多平台化甚至下降即使扩展轮次预算没有模型在第 2 轮匹配人类表现大多数模型显著低于其在高细节设置下的表现。预测转变统计到第 8 轮只有 18% 的初始弃权仍然存在多数预测转为正确58%其余转为错误24%。模型表现出高位置持续性当模型在第 2 轮承诺一个预测时81% 的立场到第 8 轮保持不变8% 转向错误预测11% 转向正确预测。预测变化模式有两类。第一从错误到正确通常发生在用户引入直接矛盾模型初始评估的证据时。案例中 Gemini 3.7 Flash 最初将目标行为归类为柏拉图式助手提出澄清问题后用户揭示该个体故意寻求亲密互动模型将预测修正为浪漫兴趣。第二从正确到错误通常由用户偏差跨轮积累驱动。案例中助手准确判断新同事表现出真正尊重后用户把相同行为重新框定为战略“is he creating a situation where he holds all the keys to the information I need to lead?” 助手 Mistral 3.5 立即逆转立场宣称 “this is a classic power dynamic in the making”完全接受权力巩固解释。这与近期发现一致聊天机器人验证用户偏差会在扩展多轮交互中复合。五、相关工作 / Related Work在社会推理评估方面现有工作通常给模型完整社会情境描述再用 targeted questions 测试理解。相关 Theory of Mind 工作评估 tracking knowledge states and beliefs across conversation participants。这些设置让模型直接访问所推理的情境。本文评估 user-mediated settingassistant 只通过用户主观叙述接触社会情境。与完整情境社会推理评测的区别在于Fuse 让助手只能通过用户主观叙述了解情境而不是直接观察事件。在社会模拟方面LLM-driven social simulations 已被用于建模 emergent social behavior、prototype social systems、评估 interactive settings 中的社会智能。较新工作聚焦开发模型来 reproduce human behavior and user interactions。与 prior work 研究或评估 simulated agents 本身不同本文用模拟创建 controlled social situations with known ground truth以评估一个 separate assistant。Fuse 基于 Concordia 等框架模拟复杂社会动态但额外引入用户中介与隐藏动机使评估贴近真实助手咨询场景。在 alignment 与 sycophancy 方面安全导向评估测试模型是否避免 endorse clearly harmful beliefs前提通常较明确values and behavioral tendencies evaluations 比较模型与人类在 moral dilemmas、social norms 上的回答或用 survey data 评估跨文化 alignment。Sycophancy 研究主要研究模型 defer to users’ stated beliefs or preferences且主要在 factual settings。本文关注 reasoning settings模型不知道 ground truthdeference 可能损害推理过程本身。论文表明类似 deference patterns 也出现在 reasoning settings模型事先不知道 ground truth对用户的 deference 可能 compromise the reasoning process itself。Fuse 提供受控设置研究该交互因为 assistant 仅从用户的主观 account 推理。这为把 sycophancy 研究从 factual recall 扩展到 complex reasoning under uncertainty 提供了机会。与人类标注的区别在于人类研究不是用来训练而是验证模拟忠实性并校准任务可解性。人类验证约 97% 证明动机忠实体现但人类判断不建立标签本身。本工作处于中间设置研究日常社会情境建立可验证 ground truth 比安全导向更难但评估聚焦社会推理而非行为对齐因此可通过构造建立 ground truth无需逐例人类标签。人类努力仍必不可少但用于验证框架产生真实、可识别的社会行为而非标记单个示例。六、局限性与展望 / Limitations Future Work论文明确指出的限制包括以下方面。第一日常社会推理评估本身有固有不确定性ground truth 不总是可恢复用户叙述是主观的社会情境空间 vast。研究刻意聚焦 clear-cut scenariostarget persona 行为主要由单一可识别 motive 驱动不覆盖 ambiguous mixture of motivations。第二主要分析聚焦 first-message。论文承认要正确支持多轮评估 benchmark需要暴露一个经过验证且稳定的用户模拟器这会使其成为 live system而非静态数据集当前工作提供初步多轮分析但不是重点。第三强制选择评估虽便于受控比较但开放回答更自然开放回答常 hedge难以稳定评分implicit leaning 与真正 abstention 的边界难划本文未量化 implicit leanings。第四最优 abstention policy 是复杂问题超出本文范围。第五Assistant-Observer gap 不期望完全闭合部分反映主观复述的内在困难。模拟用户可能引入模拟器特定效应论文基于 Concordia、给模拟用户完整历史、允许助手提问来缓解但未经验上将模拟器伪影与用户中介的内在困难分开这是评估局限。第六四个高弃权模型的偏差差距被弃权信用压缩导致测得的偏差差距小但可用性下降。第七多轮即使扩展到 8 轮也没有模型匹配人类在第 2 轮的表现或匹配自身在高细节 2 轮设置下的表现第 4 轮后性能平台化甚至下降。第八模拟与 judge 均由 Gemini 3.1 Flash-Lite 驱动该模型不在被评估模型列表中。第九该工作不训练模型因此没有损失函数、优化器、学习率或微调流程MSR 是评估指标不是训练损失。源码片段未包含 bias 操控的具体数值结果、narrative detail 的具体数值结果、多轮对话的具体数值结果、完整附录、clear-cut 场景构造细节、human study 详细设计等因此不对未出现的信息做补造。未来方向可以包括支持稳定且经过验证的多轮用户模拟器从而构建多轮 benchmark研究开放回答中的 implicit leaning 与真正 abstention 的区分探索更优 abstention policy提高模型对偏见用户 framing 的鲁棒性扩展社会情境覆盖范围包括模糊动机混合减少模拟器伪影更严格分离用户中介内在困难与模拟器特定效应以及把 sycophancy 研究从 factual recall 扩展到 complex reasoning under uncertainty。七、总结 / Conclusion论文关注 LLM 助手在日常社会咨询中的社会推理评估。其难点在于助手需要从主观的用户叙述中学习社会情境而非直接看到完整社会情境同时社会属性例如他人的意图通常缺乏可验证的 ground truth。为此作者提出 Fuse一个多智能体模拟框架用于研究 user-mediated social reasoning。在 Fuse 中一个带 hidden motive 的 target agent 与其他 agents 互动其中一个 agent 代表用户该用户随后咨询被评估的 assistant让 assistant 推断 target 的动机由于 target 的动机是构造时设定的因此 ground truth 可验证。论文通过 24k 条人类标注验证模拟忠实性将 Fuse 应用于 12 个 LLM并系统隔离关键因素。结果显示user mediation 会加剧社会推理的固有难度LLM 对带偏见的用户框架存在系统性敏感性模型达到正确预测有时需要比人类更多的细节更长的对话并不总能提升表现尽管它们提供了澄清问题的机会。即使 frontier models 也存在 substantial room for improvement。作者开源 Fuse、21K examples 数据集与完整 codebase希望为在人们最需要的社会场景中构建真正可靠的 assistant 提供有用基础。原文摘要:LLM assistants are widely used for daily social advice, yet evaluating their social reasoning in such consultation settings remains challenging since (i) it requires setups where the assistant learns about social situations from subjective user narratives, and (ii) social properties, such as others’ intentions, typically lack verifiable ground truth. To address these challenges, we introduce Fuse, a multi-agent simulation framework for studying user-mediated social reasoning. In Fuse, a target agent with a hidden motive interacts with other agents including one representing the user, who then consults the evaluated assistant to infer the target’s motive, providing verifiable ground truth by construction. Simulation faithfulness is validated through a human study with 24k annotations. We apply Fuse to 12 LLMs and demonstrate its analytical utility by systematically isolating key factors, showing that (i) user mediation compounds the inherent difficulty of social reasoning; (ii) LLMs exhibit systematic sensitivity to biased user framing; (iii) models can require more details than humans need to reach a correct prediction; and (iv) longer conversations do not always improve performance despite providing opportunities for clarifying questions. We open-source Fuse and a dataset with 21k examples.PDF链接:https://arxiv.org/pdf/2609.17496v1部分平台可能图片显示异常请以我的博客内容为准