ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

Prompt-and-Check: Using Large Language Models to Evaluate Communication Protocol Compliance in Si...

Prompt-and-Check: Using Large Language Models to Evaluate Communication Protocol Compliance in Si... 《Prompt-and-Check:利用大型语言模型评估模拟训练中的通信协议合规性》总结与翻译一、文章主要内容本文聚焦模拟训练中通信协议合规性的自动化评估问题,尤其针对海事等安全关键领域,提出了“Prompt-and-Check”方法,核心内容如下:研究背景:在医疗、航空、海事等高危领域,评估人员对通信协议的遵守情况传统上依赖专家审核 transcripts、日志等,耗时且费力,而现有LLM(大型语言模型)应用多假设输入干净结构化,未充分解决嘈杂多轮自然语言 transcripts 的合规性分类问题。数据集构建:在新加坡海事安全卓越中心(CEMS)的先进导航研究模拟器(ANRS)收集数据,10名持证甲板官员完成2种能见度(良好/恶劣)下的模拟试验,共20个会话,每个45分钟的试验包含潜在船舶碰撞、发动机故障、强风暴3个预设高风险事件,同时获取通信 transcripts、场景特定检查清单及专家标注的合规性标签。核心方法(Prompt-and-Check)任务框架:将模拟场景表示为(transcripts集合T,检查清单项集合C)的元组,目标是通过LLM基于T和单个检查清单项c_j判断合规状态y_j(True/False)。上下文选择:先通过时间上下文提取,基于事件注入的时间戳及前后缓冲确定相关 utterances 候选集;再通过语义相似性
返回列表