MIT的一项新研究显示基于众包用户反馈的LLM大语言模型排名平台可能并不可靠。研究人员发现只需移除极其微小的一部分数据就足以显著改变模型的最终排名结果。为此他们开发了一种快速评估方法能够识别出对排名结果影响最大的少数投票数据从而帮助用户判断所依赖的排行榜是否稳定。排名数据的高度敏感性一家希望利用LLM来总结销售报告或处理客户咨询的公司可以从数百种各具微小性能差异的模型中做出选择。为了缩小选择范围公司经常使用LLM排名平台。这些平台收集用户对模型交互的反馈根据模型在特定任务上的表现进行排名。然而MIT的研究表明少数用户交互就可能导致结果出现偏差。他们的研究显示移除极少量的众包数据例如在一个超过5.7万个投票的数据集中仅移除两个投票就能改变排名第一的模型。“如果顶尖LLM的排名仅由两三条用户反馈决定那么当它被部署时我们就不能理所当然地认为它会持续优于所有其他模型”该研究的资深作者、MIT电子工程与计算机科学系副教授Tamara Broderick表示。近似方法的提出与验证由于手动测试海量数据子集例如从5.7万票中移除0.1%即57票其组合数量是天文数字在计算上不可行研究人员基于先前工作开发了一种高效的近似评估方法。该方法能够明确指出哪些数据点可能导致排名不稳定。用户可以直接剔除这些可疑数据点重新运行分析查看排名是否发生变化。应用该方法后研究团队惊讶地发现只需极少的“关键票”就能颠覆现有排名。问题根源与改进建议分析显示这些高影响力的投票可能源于用户失误例如误操作、注意力不集中或确实难以判断哪个响应更好。相比之下一个使用专业标注者和更高质量提示词的另一排名平台鲁棒性稍好移除约3%的数据才会导致顶尖模型互换。研究团队建议为提升平台鲁棒性可以收集更丰富的反馈如用户对每次投票的置信度或引入人工审核员来评估众包回答。从长远看需要更严谨的策略来评估模型排名。对于依赖排行榜决策的用户这无疑是一个重要的警示当前排名可能并未反映出模型真实的、泛化的性能差异。FINISHED更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享