最后更新于2024年6月14日星期五14:07:51 GMT

AI- trism - AI时代的信任、风险和安全管理

Lara Sunday和Pojan Shahrivar共同撰写

随着人工智能(AI)和机器学习(ML)技术的不断发展和扩散, 各行各业的组织都在这些变革能力上投入了大量资金. 根据Gartner的数据，到2027年，人工智能软件的支出将增长到297美元.90亿美元，年复合增长率为19%.1%. 生成式人工智能(GenAI)软件支出将从2023年占人工智能软件的8%上升到2027年的35%.

With the promise of enhanced efficiency, personalization, and innovation, 组织越来越多地转向云环境来开发和部署这些强大的人工智能和机器学习技术. However, 这种快速的创新也带来了新的安全风险和挑战，必须积极应对，以保护有价值的数据, intellectual property, 并维护客户和利益相关者的信任.

云环境对人工智能开发的好处

云平台提供了无与伦比的可扩展性, 允许组织轻松地扩展或缩小计算资源，以满足培训和部署复杂人工智能模型的苛刻要求.

“按需调整资源的能力改变了我们人工智能开发的游戏规则," says Stuart Millar, Principal AI Engineer at Rapid7. “我们可以在训练高峰期快速提供必要的计算能力, 然后，当不再需要这些资源时，缩减规模以优化成本."

云环境还为开发人工智能模型提供了一种经济有效的方式, 基于使用的定价模式，避免了在硬件和基础设施上的大量前期投资. Additionally, 主要的云提供商提供访问尖端的人工智能硬件和预构建的工具和服务, such as Amazon SageMaker, Azure Machine Learning, and Google Cloud AI Platform, 哪一个可以加速开发和部署周期.

基于云的人工智能开发的挑战和风险

虽然云为人工智能的发展提供了许多优势, 它还引入了组织必须应对的独特挑战. 对复杂数据流和模型更新的有限可见性可能会给安全团队带来盲点, 使他们无法有效地监控潜在的威胁或异常情况.

In their  AI Threat Landscape Report, HiddenLayer强调，在接受调查的所有公司中，有98%的公司认为，他们的人工智能模型中的元素对他们的商业成功至关重要, 77%的人在过去一年中发现了人工智能的漏洞. Additionally, 多云和混合部署带来了监控, governance, and reporting challenges, 这使得在不同的云环境中评估AI/ML风险变得困难.

New Attack Vectors and Risk Types

在云中开发人工智能也使组织面临新的攻击媒介和风险类型，而传统安全工具可能无法检测或缓解这些攻击媒介和风险类型. Some examples include:

Prompt Injection (LLM01): 想象一个用于生成营销文案的大型语言模型. 攻击者可以制作一个特殊的提示，欺骗模型生成有害或攻击性的内容, 损害公司的品牌和声誉.

Training Data Poisoning (LLM03, ML02): 攻击者可以篡改训练数据，从而损害基于云的人工智能模型的完整性和可靠性. 以安全监控系统中用于图像识别的人工智能模型为例, 含有错误标记图像的有毒训练数据可能导致模型生成错误的分类, potentially missing critical threats.

Model Theft (LLM10, ML05): 未经授权访问部署在云中的专有人工智能模型会对知识产权和竞争优势构成风险. 如果竞争对手窃取了一个经过公司敏感数据训练的模型, 他们可能会复制它的功能，并获得有价值的见解.

Supply Chain Vulnerabilities (LLM05, ML06): Compromised libraries, datasets, 或云人工智能开发管道中使用的服务可能导致广泛的安全漏洞. 恶意行为者可能会在广泛使用的人工智能开源库中引入漏洞, 然后可以利用它来访问由多个组织部署的人工智能模型.

开发确保人工智能开发的最佳实践

To address these challenges and risks, 组织需要开发和实现适合其特定业务需求的最佳实践和标准, 在促进创新和引入风险之间取得适当的平衡.

而像NCSC安全人工智能系统开发和 The Open Standard for Responsible AI provide a valuable starting point, 组织还必须根据其独特的业务需求开发自己的定制最佳实践, risk appetite, and AI/ML use cases. For instance, 开发欺诈检测人工智能模型的金融机构可能会优先考虑围绕数据治理和模型可解释性的最佳实践，以确保遵守法规并保持决策过程的透明度.

在制定这些最佳实践时需要考虑的关键因素包括:

确保在整个人工智能生命周期中安全的数据处理和治理

  • 为AI/ML资源实现健壮的访问控制和身份管理
  • 验证和监控人工智能模型的潜在偏差、漏洞或异常
  • 为特定于人工智能的威胁建立事件响应和补救流程
  • 保持透明度和可解释性，以理解和审计人工智能模型行为

Rapid7确保AI开发的方法

"At Rapid7, 我们的InsightCloudSec解决方案提供了跨主要云提供商运行的AI/ML资源的实时可见性, 允许安全团队持续监控潜在风险或错误配置," says Aniket Menon, VP, Product Management. 可见性是任何环境中有效安全的基础, 在人工智能开发的复杂世界中尤其如此. 对你的AI/ML资产和活动没有清晰的认识, you're essentially operating blind, 使您的组织容易受到一系列威胁."

在Rapid7，我们的AI TRiSM(信任、风险和安全管理)框架授权我们的团队. 该框架不仅为我们的运营提供了信心，也为我们推动创新提供了信心. In their recent blog outlining the company’s AI principles, 劳拉·埃利斯和萨宾·马利克分享了Rapid7如何处理和应对人工智能挑战. Centering on transparency, fairness, safety, security, privacy, and accountability, these principles are not just guidelines; they are integral to how Rapid7 builds, deploys, and manages AI systems.

Security and compliance are two key InsightCloudSec capabilities. 合规性包是针对所有资源的行业需求和标准的相关见解的开箱即用的集合. Compliance packs may focus on security, costs, governance, 或者是跨各种框架的组合, e.g., HIPAA, PCI DSS, GDPR, etc.

去年，Rapid7推出了Rapid7 AI/ML安全最佳实践合规性包, 通过支持跨AWS的GenAI服务，该软件包允许实时和持续地查看在云上运行的AI/ML资源, Azure and GCP. 使您能够在组织需求和优先级的上下文中评估这些数据, 你就可以自动将AI/ ml相关的风险按优先级排序 Layered Context 基于可利用性和潜在的业务影响.

您还可以利用InsightCloudSec中的身份分析来收集和呈现给定用户或角色在特定时间段内执行的操作. 收集并分析这些记录的操作, 为您提供整个组织中谁可以访问AI/ML资源的视图，并根据最小权限访问(LPA)概念自动调整大小. 这使您能够战略性地通知您的政策向前发展. 本机自动化允许您对评估采取行动，以警告遵从性漂移, remediate AI/ML risk, and enact prevention mechanisms.

Rapid7持续致力于人工智能创新

As an inaugural signer of the CISA Secure by Design Pledge, and through our partnership 与女王大学贝尔法斯特安全信息技术中心合作, Rapid7始终致力于与行业领导者和学术机构合作，领先于新兴威胁，并开发尖端解决方案，以确保人工智能的发展.

随着人工智能和机器学习功能的采用不断加速, 组织必须拥有知识和工具来做出明智的决策并建立信心. 通过实施强大的最佳实践和利用先进的安全工具，如InsightCloudSec, 组织可以利用人工智能的力量，同时降低相关风险，并确保其有价值的数据和知识产权得到保护.

了解有关Rapid7如何帮助您的组织开发和实施确保AI开发的最佳实践的更多信息, visit our website to request a demo.

Gartner, 预测分析:人工智能软件, 2023-2027, Worldwide, Alys Woodward, et al, 07 November 2023