论文文章

Reefknot: AComprehensive Benchmark for Relation Hallucination Evaluation, Analysis and Mitigation in Multimodal Large Language Models

一句话概括

问题-关于关系幻觉的基准数据集缺少细致评估，所以现在重新基于图像的数据集构建了新的问题（判断关系是否成立\多项选择题\看开放式问答）

流程

(a) Scene Graph Data：场景图数据提取

(b) Triplet Filtering：三元组信息过滤（冗余关系，错误关系，噪声描述）

(c) Semantic Triplet Extraction：语义三元组提取

(d) Relation Categorization：关系分类（表面的位置关系类\复杂的认知关系类）

(e) Relation-relevant Question Construction：关系问题构建形成

(f) Multi-Turn Manual Checking：最后人工检查这个关系问题构建的效果