亚马逊Nova AI挑战赛：加速生成式AI安全研究

亚马逊Nova AI挑战赛加速生成式AI领域发展首届全球大学竞赛专注于推进安全、可信的AI辅助软件开发。在[某机构]负责任的AI开发包括与顶尖大学合作以促进突破性研究。认识到许多学术机构缺乏进行大规模研究的资源我们正通过亚马逊Nova AI挑战赛来改变这一现状。虽然该挑战赛将探索生成式AI的各个方面但今年的挑战赛聚焦于“可信AI推进安全的、AI辅助的软件开发以构建更安全、更可靠的应用程序”。弗吉尼亚理工大学团队的指导教师兼助理教授Ruoxi Jia博士表示“这项挑战赛确实是独一无二的。尖端的AI研究通常需要访问大规模训练的模型或开放权重的模型。但不幸的是开放权重的模型往往性能不佳。某机构通过给予学术界前所未有的资源和真实场景的访问权限极大地降低了研究门槛。”AI正在通过自动化繁琐但必要的任务如软件更新来彻底改变软件开发从而解放团队使其专注于创新。例如通过将[某机构] Q的代码转换功能集成到[某机构]的内部系统中该团队将Java应用程序升级到Java 17所需的时间从通常的50个开发人天减少到了几个小时。这估计节省了相当于4500个开发人年的工作量并产生了约2.6亿美元的年度效率提升。然而随着AI越来越多地融入编码流程它将不可避免地带来新的安全挑战。通过主动应对这些风险从开始就优先考虑信任和安全。在“锦标赛制”的赛制下十支大学团队——五支模型开发者防御团队和五支红队攻击团队——将依次进行四轮锦标赛以加强基于AI的安全软件开发。每个防御团队的代码生成模型将面对所有五个红队红队将使用自动化技术探测漏洞和缺陷。亚马逊Nova团队为此次挑战赛在AWS Trainium硬件上构建了一个定制模型以支持在安全软件开发领域进行开放、协作的研究。第一轮锦标赛于2025年1月启动决赛将于2025年6月现场举行。所有团队都将发表研究论文详细介绍他们的方法和发现最终提升用户体验、防止滥用并使AI在软件开发中的应用更加安全。该挑战赛取得的进展将为更广泛的代码生成及其他领域的负责任的AI开发做出贡献。卡内基梅隆大学团队的学生负责人Atharva Naik说“研究通常是孤独的。在这里我们实际上是在与其他研究团队竞争努力跟上他们的进步并实时超越他们。”Naik强调锦标赛的赛制也促使团队快速实施和测试他们的策略而不会陷入一个解决方案的泥潭。亚马逊Nova AI挑战赛各个类别的入选团队模型开发者团队卡内基梅隆大学哥伦比亚大学捷克理工大学布拉格捷克共和国伊利诺伊大学厄巴纳-香槟分校弗吉尼亚理工大学红队新里斯本大学科技学院里斯本葡萄牙普渡大学加州大学戴维斯分校德克萨斯大学达拉斯分校威斯康星大学麦迪逊分校组织者和参与者都认为锦标赛的赛制已被证明具有很高的激励性。攻击和防御系统必须能有效对抗五个对手团队并且每个团队都会在与不同对手的交锋中不断进步。[某机构] 通用人工智能高级副总裁Rohit Prasad表示“我们汇集了学术界最优秀、最聪明的人才不仅是为了竞争更是为了共同解决生成式AI实际应用中最重要的问题之一——安全可靠的软件开发。我们将这项挑战赛设计成一个独特的、快节奏的锦标赛以加速面向实际应用的学术研究。秉承[某机构]的传统我期待参赛团队努力拼搏享受乐趣并在通往决赛的道路上创造历史。”[某机构] 首席安全官Steve Schmidt表示“这项挑战赛体现了我们致力于推进负责任的AI开发和安全性的承诺。通过与大学合作我们正在挖掘新思想的源泉并培养未来的AI安全领导者。这项举措超越了理论研究——它旨在开发识别安全漏洞和防御威胁的新方法这些方法可以直接应用于生成式AI编码助手。我迫不及待地想看到学生们会发明什么并与大家分享他们的研究成果。”每个团队将获得25万美元的赞助、每月的AWS积分并有机会角逐最高奖项。获胜的红队和模型开发者团队将各获得25万美元由学生分享第二名团队将获得10万美元。包括津贴、70万美元的奖金和AWS积分在内对团队的总投资超过500万美元。汇聚精英[某机构] 的组织者审阅了90多份提案最终选出了十支参赛团队。据负责挑战赛科学和工程工作的[某机构]应用科学负责人Michael Johnston称这是一个艰难的决定被选中的团队必须带来各种独特且实用的想法。由于每个团队都将与多个对手竞争他们需要准备好多种策略。并且由于对手会不断调整这些想法必须展现出创造力和适应性。该挑战赛本质上是多学科的——处于负责任的AI、生成式AI、安全、对话式AI和自动化软件开发的交叉点。因此它汇集了跨多个研究领域的团队为比赛带来了不同的才能和视角。从理论到实践解决方案亚马逊Nova AI挑战赛鼓励团队以比学术研究中通常使用的更务实的视角来处理问题。弗吉尼亚理工大学的Jia指出学术文献倾向于关注理论问题并偏向于复杂的解决方案。但这并不是这里所需要的。Jia说这项挑战赛有助于以一种对真实人群有益的方式来构建问题。她表示在与[某机构]研究人员的对话中很明显他们并不欣赏过于复杂的解决方案。她说“他们告诉我他们想要最简单的解决方案稳健且易于排查故障。这可以让人大开眼界并在一定程度上重塑我的研究理念。”这些团队还获得了学术界通常难以获得的资源水平。Naik说“我们正在尝试新事物否则在学术预算下很难实现。”他的团队通常处理较小的数据集并且没有机会训练大型语言模型或进行更大规模的实验。捷克理工大学团队的学生负责人Ondrej Kobza在训练营期间同样印象深刻。“我们立即获得了AWS Trainium芯片的访问权限这是由AWS专门为AI训练和推理而构建的AI芯片系列可在降低成本的同时提供高性能。这真的很棒尤其是对于一个来自捷克共和国小型大学的团队来说我们没有机会接触到如此强大的硬件。”普渡大学教授Xiangyu Zhang作为其学校团队的顾问他表示“这个挑战赛与我们的研究兴趣非常契合。而且我们确实需要竞争这一额外的步骤。我们从各个角落发起攻击。”敬请关注团队进展的更新以及2025年6月决赛的报道。FINISHED更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享