亚马逊支持的人工智能初创公司Anthropic推出了一项漏洞赏金计划，并将为每份发现其人工智能系统关键弱点的报告支付高达15000美元。该倡议是任何使用高级语言模型众包安全测试的公司所做的最广泛的努力之一。

据该公司称，赏金针对的是“普遍越狱”攻击，这种方法可以绕过生物武器和网络威胁等领域的人工智能安全措施。在向公众提供下一代安全缓解系统之前，Anthropic计划允许道德黑客对其进行测试，以防止潜在的滥用。

我们正在扩大我们的漏洞赏金计划。这项新举措的重点是在我们的下一代安全系统中找到通用的越狱。我们为包括网络安全在内的广泛领域的新漏洞提供奖励。——人类学（@AnthropicAI）2024年8月8日

Anthropic的漏洞赏金计划最初是与HackerOne合作开展的一项仅限受邀者的计划，该计划希望网络安全研究人员具备识别和修复其人工智能系统漏洞的技能。该公司计划在未来更广泛地开放它，有可能提供一种全行业人工智能安全合作模式。

与此同时，英国竞争与市场管理局（CMA）正在调查亚马逊对Anthropic 40亿美元的潜在竞争问题投资。在监管审查日益严格的背景下，关注安全可以提高Anthropic的声誉，使其与竞争对手区别开来。

Anthropic制定了新的AI安全标准

虽然OpenAI和谷歌也有漏洞赏金计划，但它们主要关注传统的软件漏洞，而不是人工智能特有的漏洞。Meta因采取了一些人认为相对封闭的研究方法来确保越来越智能的机器的安全开发而受到批评。通过明确针对这些问题并邀请外部对其进行审查，Anthropic为该行业的开放树立了先例。

然而，人们怀疑仅靠漏洞赏金能否有效解决与保护先进机器学习系统相关的所有问题。虽然对于识别和修补特定缺陷很有价值，但它们可能无法应对围绕人工智能对齐和长期安全的更广泛挑战。可能需要一个更全面的战略，包括广泛的测试、改进的可解释性和潜在的新治理结构，以确保人工智能系统在变得更加强大时与人类价值观保持一致。