谢罗德·德格里波（Sherrod DeGrippo）：欢迎来到 Microsoft 威胁情报播客。我是Sherrod DeGrippo。有没有想过踏入数字间谍、网络犯罪、社会工程、欺诈的阴暗领域？好吧，每周，和我们一起深入地下。来这里了解 Microsoft 的精英威胁情报研究人员。加入我们，我们将解开谜团，揭露隐藏的对手，并塑造网络安全的未来。这可能会有点奇怪，但别担心，我是你通往威胁景观后巷的向导。欢迎来到 Microsoft 威胁情报播客。我是Sherrod DeGrippo，今天我有一个很酷的话题要告诉你。我们将讨论漏洞赏金，但我们不会像过去那样谈论漏洞赏金。我们谈论的是漏洞赏金的新方式，人工智能漏洞赏金。我和来自Microsoft的同事一起：首席研究经理 Andrew Paverd;和项目经理 Lynn Miyashita。嗨，大家好。欢迎来到节目。 林恩·宫下（Lynn Miyashita）：非常感谢您邀请我们。 谢罗德·德格里波（Sherrod DeGrippo）：谢谢你加入我。所以我想和你们俩谈谈的原因是，漏洞赏金，我们知道什么，我们喜欢它，但 AI 漏洞赏金是一个奇怪的新事物，Microsoft于 2023 年推出。从那时起，人工智能漏洞赏金就成了人们经常谈论的事情——我想我们是第一个这样做的人。我注意到在社交媒体上，人们会在人工智能中发现错误。就像，这是一件大事，人们 这几乎就像过去的虫子狩猎一样 人们甚至不想找到东西;他们只是作为用户在胡闹，然后突然出现一些东西，他们说，“哦，这似乎是一个问题。那么，林恩，你能给我们介绍一下，比如，什么是漏洞赏金？但是，AI漏洞赏金是如何开始的呢？这是怎么回事？漏洞赏金是怎么回事？ 林恩·宫下（Lynn Miyashita）：是的。因此，Microsoft 漏洞赏金计划提供金钱奖励，以激励我们的外部安全研究人员发现并报告高影响的安全漏洞，从而帮助我们解决安全问题并帮助保护我们的客户。因此，我的团队是管理和建立与安全研究人员和我们的行业合作伙伴建立这些关系的团队。我们以及我们在这里的关系，帮助识别客户威胁和新出现的漏洞模式。因此，我们采用这些模式和见解，并与整个公司的工程团队分享，以推动安全投资，而不仅仅是这些一次性的错误修复。因此，我们的人工智能赏金计划是自Copilot推出以来数月投资和学习的关键结果，Copilot以前是Bing Chat，其中包括AI安全研究挑战，甚至更新了Microsoft关于AI系统漏洞严重性分类的指南。我认为安德鲁实际上可以多谈谈 AI 错误栏。 谢罗德·德格里波（Sherrod DeGrippo）：是的。什么是错误栏？ 安德鲁·帕弗德：绝对。谢谢，林恩。谢谢，谢罗德。从本质上讲，作为任何类型的漏洞赏金计划的关键第一要素，我们需要的是一个非常明确的定义，即我们所说的漏洞。那么，研究人员将向我们报告哪些类型的事情，以及我们如何用一种共同的语言来谈论它们，如果你愿意的话，就漏洞是什么，它影响什么，然后严重性级别是什么？所有这些都在漏洞赏金计划中发挥了作用。因此，正如Lynn所提到的，随着Copilot和新的AI系统的兴起，我们不得不扩展Microsoft的漏洞严重性分类，或者非正式地扩展我们的bug栏，以涵盖这些新的AI和机器学习系统。这也是我们去年所做的，这构成了我们漏洞赏金的基础。 谢罗德·德格里波（Sherrod DeGrippo）：那么你能给我举个例子吗，比如，有些东西可能会到达错误栏，有些东西可能不会？如果我只是想把它从我的头顶上弹出来，我能不能在上下文中考虑一下？ 安德鲁·帕弗德：绝对。也许我可以先跳进去。因此，我们对这个错误栏进行了大量仔细的思考。首先要提到的是，目前，我们专注于安全问题。有一个计划对此进行更广泛的思考。但就目前而言，我们鼓励研究人员寻找他们所期望的安全问题，他们会向Microsoft报告，但特别是更广泛地考虑人工智能系统可能出现的新安全问题。因此，我们当然可以深入研究细节。但是，我们看到的人工智能系统出现的一个非常有趣的类是这一类，比如说，命令注入或提示注入。这很有趣，因为在当前一代人工智能系统之前，这并不存在。因此，我们非常希望看到研究人员在这种领域寻找新的和有趣的漏洞。 谢罗德·德格里波（Sherrod DeGrippo）：明白了。所以提示注入是其中很重要的一部分，听起来像，我知道这是人们偶然发现的例子之一，只是开始在社交媒体上粘贴屏幕截图，比如，“看看我让人工智能做了什么或说了什么。因此，当人们发现这些时，这些示例是您希望提交到漏洞赏金计划中的吗？ 安德鲁·帕弗德：我想是的。答案甚至比这更微妙。因此，我们在 AI 错误栏中指出的一件事是查看它基本上能够通过提示注入执行的效果。如果您能够以某种方式对其他用户造成伤害，那么显然这是我们将立即解决的问题，并且必须报告。如果它只是导致 AI 的行为可能略有不同，我会说我们需要从以下问题开始：如果您愿意，这是否符合我们的漏洞赏金计划的标准？因此，我们真的想鼓励人们寻找能够产生最大影响的东西，如果这在某种程度上有意义的话。 谢罗德·德格里波（Sherrod DeGrippo）：确定。所以，比如，从严重性的角度对漏洞进行优先级排序，诸如此类。 安德鲁·帕弗德：完全。是的。 谢罗德·德格里波（Sherrod DeGrippo）：所以，Lynn，帮我了解，艾克，漏洞赏金中包含哪些产品，以及是否有任何新产品可能会添加。那么包括什么呢？ 林恩·宫下（Lynn Miyashita）：是的。因此，今天，我们的 AI 漏洞赏金侧重于漏洞和 Copilot AI 体验。因此，如果您想到Microsoft Edge 浏览器中的 copilot.microsoft.com 或 Copilot 体验，甚至是适用于 Android 和 iOS 的 Copilot 移动应用程序，这些就是我们现在在公共 AI 赏金计划范围内所拥有的。但是我们一直在后台工作，发展、迭代和发展我们的赏金计划，以包括更多的 Copilot AI 体验套件，因为 Microsoft 每天都在推出新功能和新产品。 谢罗德·德格里波（Sherrod DeGrippo）：明白了。所以你能告诉我吗，林恩，比如，如果我发现一个错误或我认为是一个错误的东西，我该如何处理它？ 林恩·宫下（Lynn Miyashita）：尽快提交给 MSRC。因此，我们在 aka.ms/secure-at 有一个 MSRC 研究人员门户。在那里，您会找到一个提交表格供您填写，其中包含您发现的漏洞类型、受影响的产品以及概念证明等信息。因此，无论此概念验证是视频还是屏幕截图，甚至只是重现问题的书面步骤，所有这些信息都对我们的团队能够尽快进行调查非常有帮助。 谢罗德·德格里波（Sherrod DeGrippo）：明白了。所以我想我的问题是，比如——我将从安德鲁开始。好。让我们来看看。我正在经历 Copilot，是 AI Copilot 之一——我个人经常使用 Copilots。比方说，我发现一些行为看起来是错误的或不好的，或者我利用某种提示注入技术来让副驾驶以一种真正不安全、不聪明、不好或不安全的方式行事。我把它提交给 Lynn 提到的门户网站，这是 aka.ms/secure-at -- 我们会把它放在节目说明中，这样每个人都可以直接点击它，如果他们愿意-- Microsoft用它们做什么？ 安德鲁·帕弗德：哦，好问题。因此，一旦你提交了一些东西，第一件事就是我们开始计时。稍后我会在我的例子中回到这个时钟，但请记住这一点。因此，从本质上讲，从技术方面发生的事情是，它来到了我们，Microsoft安全响应中心。我们做的第一件事就是努力重现和理解这个漏洞-- 已经报告的潜在漏洞。这确实是一个关键的步骤，因为首先，我们希望确保我们完全理解研究人员告诉我们的内容，我们可能会通过一个开放的沟通渠道回到研究人员那里说，“嘿，我们需要更多的信息”，或者，“这份报告究竟是如何工作的？因此，一旦我们从我们这边完全了解了漏洞，我们将开始与工程团队合作，以了解该漏洞的严重性或影响。在我们评估该漏洞严重程度的同时，工程团队开始对其进行修复或缓解。正如我所说，所有这一切都与我们与研究人员本身保持开放的沟通渠道并行，这就是 Lynn 和团队的用武之地，以确保对赏金方面的事情有后续跟进。如果研究人员的报告有资格获得赏金，则赏金过程将在之后继续进行。所以回到我一开始提到的时钟，为什么我们要在时钟下做这一切？主要有两个原因。首先，显然，我们希望确保尽快修复漏洞，并优先考虑严重性最高的漏洞，但也因为我们 Microsoft 是协调漏洞披露的坚定倡导者。因此，这通常意味着研究人员可能会推迟公布他们的漏洞，直到我们有机会采取缓解措施。因此，从我们的角度来看，我们继续为此类事情定义时间表是公平的。正如您可能已经从最近宣布的“安全未来计划”中看到的那样，这非常重要，既可以更快地响应，又可以完全透明地处理此类漏洞。因此，一旦我们设法修复和缓解了这个漏洞，我们就会鼓励研究人员保持透明并真正宣传这一点，以便整个社区都能从漏洞的发现中吸取教训。所以这是一个相当复杂的过程。希望这能总结一下。 谢罗德·德格里波（Sherrod DeGrippo）：所以我认为每个人都想知道的是，这些错误中有多少被提交了？我们在看什么样的指标？有什么支出，我们见过的任何大额赏金支出吗？我们能谈谈吗？ 林恩·宫下（Lynn Miyashita）：是的。因此，到目前为止，我们已经看到了一些很棒的提交，并且通过这些报告，我们一直在学习有关研究人员如何方法的新事物，例如研究和人工智能系统。安德鲁，我不知道你能不能举几个例子，或者—— 谢罗德·德格里波（Sherrod DeGrippo）：是的，告诉我。我很想知道。比如，你提交了哪些你认为很酷、很奇怪或有趣的东西？有哪些值得注意的事情？ 安德鲁·帕弗德：是的。因此，我认为从我们这边来看，有一个非常有趣的例子，正如我之前提到的，提示注入攻击肯定是众所周知的。但有趣的是，你可以利用提示注入攻击来做什么？从广义上讲，这可能因产品而异。但也许其中一个更有趣的问题，也是一个可能需要进一步研究的领域，即是否可以利用即时注入攻击以某种方式泄露私人数据。因此，要获取模型有权访问的数据，请以某种方式发送给攻击者。现在可能有各种可能的方法，我们已经看到了一些非常聪明的方法，但研究人员自己有特权披露这些方法。但从广义上讲，这些有趣的方面是我们最感兴趣的。 谢罗德·德格里波（Sherrod DeGrippo）：因此，让我问你，如果一个研究人员提交了漏洞赏金，被发现是一个合法的漏洞，并且该漏洞得到了修复，等等，你会得到一个CVE吗？ 安德鲁·帕弗德：这是一个非常有趣的讨论。目前，业内正在讨论我们应该为这些新兴领域做些什么，比如云漏洞和人工智能漏洞。过去曾针对 AI 漏洞发布过 CVE，但这仍然是一个过程，每个人都在了解什么有资格获得 AI CVE。所以我认为有很多公众 -- 有一些公共工作组、规则和讨论正在进行。因此，人们实际上可以去查看 CVE 委员会的规则，看看将来哪些人可能有资格获得 CVE。 谢罗德·德格里波（Sherrod DeGrippo）：我认为，当我们进入这个新的人工智能世界时，当涉及到这样的事情时，它将需要新的思维方式。CVE可能需要对AI的归属进行某种审查，因为AI是一种互动的东西。这不仅仅是一个简单的代码错误。这有点像一个整体的系统性错误，涉及用户以及用户对它做了什么。所以我也想知道，如果你认识一个传统的漏洞猎手，一个在传统软件包中寻找安全漏洞的人，你会建议他们开始做人工智能漏洞赏金吗？林恩，我先从你说起。您认为更传统的漏洞赏金背景人们应该看看吗？ 林恩·宫下（Lynn Miyashita）：百分之百。是的。我认为，任何背景的人都可以从这个领域开始。正如安德鲁提到的，您可以找到许多不同类型的漏洞，其严重程度各不相同。我认为这为任何背景的人打开了大门，他们有机会去 copilot.microsoft.com 并开始与Copilot聊天，看看他们能找到什么。 谢罗德·德格里波（Sherrod DeGrippo）：安德鲁，你的看法是一样的吗，把传统的虫子赏金猎人带到这里？ 安德鲁·帕弗德：绝对是100%。在林恩所说的基础上，我想补充一点，因为我们正在从整体上看待这个系统，人工智能只是一个更大的系统的一部分。因此，肯定有可能发现漏洞，这些漏洞跨越了你所说的漏洞猎人的传统范围，以及可能因人工智能而出现的新漏洞的范围。也许最有趣的是这两个方面之间的交集。因此，肯定会鼓励大家来看看我们的系统。 谢罗德·德格里波（Sherrod DeGrippo）：因此，对于那些正在那里收听并且熟悉甚至可能参与过传统漏洞赏金计划的人来说，看看，如果你能进入那里并开始尝试，也许会积累一些 AI 错误。我认为寻找 AI 错误或我们有时称之为 Microsoft AI 红队的有趣事情之一有点像搞砸它，以至于您不必对系统、编码和协议有大量了解。我喜欢这些东西。但是，如果你以前从未尝试过这些东西，那么几乎任何人，安德鲁，林恩，如果我错了，请纠正我，任何人都可以成为人工智能错误猎人，对吧？ 林恩·宫下（Lynn Miyashita）：百分之百。 谢罗德·德格里波（Sherrod DeGrippo）：是的，这太酷了。我认为这是它有趣的事情之一。你知道，有很多不同的副驾驶可供选择。有 Copilot for Security，我经常使用它，但 Bing 中也有 Copilot，对吧？就像它是一个搜索引擎 Copilot 系统。这个真的非常非常迷人。这真的很有趣，因为在我使用 Bing AI 时，它具有所有这些不同的模块和适用于不同用例的功能。我最喜欢的是获得在线购物优惠。因此，它使用人工智能在网络上为您找到交易。我认为这将是一个开始寻找漏洞的好地方，因为你知道，与互联网生态系统互动以找到交易对它来说非常重要，那里可能有很多可能性。所以，人工智能漏洞猎人，林恩，最后一个问题要问你。如果你要让某人开始在人工智能中寻找错误并提交到程序中，你会告诉他们什么？ 林恩·宫下（Lynn Miyashita）：首先，转到 aka.ms/aibounty，因为您可以了解我们的范围以及 Andrew 在那里谈论的 AI 错误栏的漏洞类型。其次，一定要跟上 MSRC 博客和我们的 Like X（或以前的 Twitter）社交媒体渠道，因为我们的团队会发布一些非常酷、有趣的研究，这些研究正在内部进行。我们也一直在谈论新的和即将到来的赏金范围。因此，当我们的 AI 赏金范围有更新时，我们一定会在我们的社交媒体上发布。 谢罗德·德格里波（Sherrod DeGrippo）：棒。安德鲁，你想在一条建议上添加什么，你可能会给某人，“我想开始做人工智能错误狩猎吗？ 安德鲁·帕弗德：好吧，很难听懂林恩的回答。绝对是林恩所说的一切。我想我唯一要给出的额外建议是说，尝试一下。这是一个全新的世界。这是一个令人兴奋的新方面，你不需要使用这项技术很多年。没有人在这方面有几十年的经验。所以真的尝试一下。如果您发现任何有趣的东西，请将其发送给我们。 谢罗德·德格里波（Sherrod DeGrippo）：非常好。好吧，林恩，安德鲁，非常感谢你加入我。我认为我们应该在这里结束它，以便人们可以开始在 Copilot 产品中寻找错误并找到这些错误并开始提交它们。谢谢你加入我。和你聊天真是太好了。 林恩·宫下（Lynn Miyashita）：再次感谢我们，Sherrod。 安德鲁·帕弗德：非常感谢。 谢罗德·德格里波（Sherrod DeGrippo）：感谢您收听 Microsoft 威胁情报播客。我们很乐意听取您的意见。将您的想法通过电子邮件发送给我们 tipodcast@microsoft.com.每一集，我们都会解码威胁态势，并为您提供应对威胁行为者所需的情报。msthreatintelpodcast.com，请查看我们，了解更多信息，并在您最喜欢的播客应用程序上订阅。