云控制矩阵（Cloud Control Matrix，CCM）是由云安全联盟（CSA）开发的云安全控制框架，被世界各国公认为全球通用的黄金标准。CCM v4.0 包括17个控制域中的197个控制目标，全方位涵盖了云计算技术的安全领域。它可以用作对云计算实施的系统性评估工具，也可以作为云计算供应链中各角色与安全控制关系的指导。
本文重点关注CCM中其中一个安全域，应用程序和接口安全（Application & Interface Security，AIS）。AIS控制域主要是为了确保软件、应用程序开发和生命周期管理流程的安全。
经过将CCM的AIS安全域适用于对生成式人工智能的AIS控制的分析，CCM对GenAI安全评估有一定适用性，特别是从管理角度保障AI应用的基础安全。未来可以把GenAI安全评估检测标准与CCM 结合起来，确保基于云的AI服务在算力基础设施、模型、数据等全方面的安全。
CCM因其独特属性而成为评估生成式人工智能控制的合适框架：
- 全面覆盖：CCM 包含与云环境相关的广泛安全控制，与通常在云中运行的生成式AI模型的多方面安全需求高度契合。
- 灵活适配：CCM最初是为了云安全而设计的，其模块化结构易于定制和扩展，以满足生成式AI系统的特定要求。
- 行业认可：CCM 在行业内被广泛认可，是与既定很好实践同步的坚实基础。
- 监管合规性：考虑到全球法规，将 CCM 应用于生成式 AI 可确保安全性并遵守国际标准。
- 方法论评估：CCM按领域（如“应用程序与接口安全（AIS）”）组织，促进结构化评估方法，可以覆盖每一个安全方面。
- 社区驱动更新：CCM持续以安全专家多元化社区的意见为参考，保持其相关性，能够应对生成式AI领域快速发展中的新威胁。
- 审计重点：鉴于许多人工智能模型的不透明性，CCM 对审计确认和合规性的关注对于一致的安全和道德评估至关重要。
从本质上讲，CCM 的全面性、适应性和结构化性质，加上其行业赞誉和全球合规性，使其成为评估和实施生成式 AI (GenAI) 系统控制的理想选择。
以下重点介绍将CCM的AIS领域应用于GenAI领域。
01
AIS 控制：它们是什么以及它们在生成式 AI 中的应用
CCM的“应用程序和接口安全（AIS）”域包括7个控件；我们将回顾这 7 个控件，然后列出它们对生成式人工智能（GenAI） 的适用性。
AIS 控制审查
1. AIS-01：应用程序和接口安全策略和规程：建立、记录、批准、沟通、申请、评估和维护应用程序安全策略和规程，为组织的应用程序安全能力的适当规划、交付和支持提供指导。
2. AIS-02：应用程序安全基线需求：建立、记录和维护应用程序的基线要求。
3. AIS-03：应用程序安全指标：根据业务目标、安全需求和合规义务，定义和实施技术和运营的指标。
4. AIS-04：应用程序安全设计和安全开发：根据组织定义的安全需求，定义并实施应用程序设计、开发、部署和运营的SDLC流程。
5. AIS-05：自动化应用程序安全测试：实施一个测试战略，包括新的信息系统、升级和新版本的接受准则，这提供了应用程序的安全保障，并在实现组织交付速度目标的同时保持符合性。
6. AIS-06：自动化应用程序安全部署：为安全、标准化和兼容的应用程序部署建立和实施战略和能力。
7. AIS-07：应用程序脆弱性修复措施：定义并实施修复应用程序安全脆弱性的过程。
AIS 控制和生成式AI的适用性
下表给出了 AIS 控制对生成式 AI 的适用性。
表1：AIS 控制及其对生成式 AI 的适用性
02
AIS 控制及其在银行业生成式AI中的具体应用
本节以银行业中的 GenAI 为例，讨论银行业安全采用生成式人工智能的应用程序和接口安全 (AIS) 控制示例。
AIS-01：应用程序和接口安全策略和规程
- 背景：在银行领域，人工智能模型，尤其是聊天机器人，处理从账户余额到贷款查询等敏感的用户查询。
- 示例：以一个名为“BankBot”的生成式人工智能聊天机器人为例，它可以帮助用户浏览其在线银行门户。“BankBot”的策略必须明确定义谁可以训练和修改模型、模型用于处理和响应客户查询的确切流程，以及审查和更新这些策略的频率。这确保了“BankBot”在不损害用户数据的情况下提供准确的信息。
AIS-02：应用程序安全基线需求
- 背景：银行应用程序经常处理高度敏感的用户数据，因此该领域的人工智能模型满足严格的安全标准至关重要。
- 示例：一个根据用户资料预测贷款资格的人工智能模型必须采用加密标准来保护用户数据，拥有强大的身份管理协议以防止未经授权的访问，并确保所使用的每条数据都得到很大程度的机密性处理。
AIS-03：应用程序安全指标
- 背景：指标有助于定量衡量人工智能模型的性能和安全性。
- 示例：对于银行业用于预测潜在贷款违约的人工智能模型，指标可以包括其预测准确性、未经授权的访问尝试次数及其响应时间。持续监控这些指标可确保模型以很好且安全的方式运行。
AIS-04：应用程序安全设计和安全开发
- 背景：鉴于金融交易的敏感性，银行应用程序需要高标准的安全性。
- 示例：一个为银行投资部门预测股市趋势的生成人工智能模型必须设计为安全处理财务数据，确保从设计阶段就解决潜在的数据泄漏或偏差问题。
AIS-05：自动化应用程序安全测试
- 背景：自动化可确保安全检查的一致性和连续性。
- 示例：银行业聊天机器人（例如“BankBot”）的自动化测试将确保它不会无意中共享敏感信息，例如帐户详细信息、之前的交易或生成的响应中的其他机密数据。
AIS-06：自动化应用程序安全部署
- 背景：随着人工智能模型的发展，确保其安全部署至关重要。
- 示例：在推出欺诈检测模型的更新版本之前，自动检查必须验证其有效性。这确保了更新后的模型能够准确地检测欺诈交易，而不会产生高误报率或误报率。
AIS-07：应用程序脆弱性修复措施
- 背景：发现银行应用程序中的漏洞可能会产生重大影响，因此快速修复至关重要。
- 示例：如果“BankBot”中发现漏洞，在某些情况下会错误地泄露用户交易历史记录，则必须立即采取行动修补模型。此外，必须通知受影响的客户，并采取措施防止将来再次发生此类情况。
表2：AIS 控制及其在银行业生成式人工智能中的具体应用
表2简要概述了 AIS 控件及其在生成 AI 场景中的应用。
03
GenAI 的 AIS 域实施指南
AIS-01：应用程序和接口安全策略和规程
指南 1：政策应包括明确的角色和职责。
- 生成式人工智能应用：部署生成式人工智能模型时，应明确定义角色和职责。例如，某些团队成员可能负责模型训练，而其他成员则负责部署或监控输出。
指南 2：提供应用程序环境的描述。
- 生成式人工智能应用：记录生成式人工智能模型运行的环境至关重要。这可能包括它运行的硬件、与之交互的数据源以及任何第三方集成。
指南 3：强制执行定期审查流程。
- 生成式人工智能应用：鉴于人工智能的快速发展，定期审查模型的性能、输出和安全性至关重要。这可以确保模型随着时间的推移保持相关性、准确性和安全性。
AIS-02：应用程序安全基线需求
指南：基线要求至少应包括安全控制、加密标准和身份管理协议。
- 生成式人工智能应用程序：为网站生成文本内容的生成式人工智能模型应该具备基准安全措施。这包括确保输出被加密、对模型的访问经过身份验证以及遵守安全协议。
AIS-03：应用程序安全指标
指南：定义可行的指标时应考虑应用程序的类型及其重要性。
- 生成式人工智能应用：对于创作艺术的生成式人工智能模型，指标可以包括生成作品的独特性、用户参与率以及任何潜在的版权侵权。
AIS-04：应用程序安全设计和安全开发
指南：定义安全需求应该是开发生命周期的第一步。
- 生成式人工智能应用：在开发为用户生成个性化内容的模型之前，应建立数据隐私、内容过滤和用户同意等安全要求。
AIS-06：自动化应用程序安全部署
指南：策略应包括定义的安全检查、审批流程和监控。
- 生成式人工智能应用：在部署建议产品推荐的生成式人工智能模型时，应该进行自动检查以确保建议适当、模型更新的审批流程以及对模型输出的持续监控。
AIS-07：应用程序脆弱性修复措施
指南：应用程序安全修复应遵守既定策略，确保及时响应和缓解。
- 生成式人工智能应用：如果生成式人工智能聊天机器人开始产生不适当的响应，则应该有一个明确的流程来快速纠正模型、解决漏洞并在必要时通知受影响的用户。
04
需要潜在的新控制措施
本文是将 CSA CCM 安全域之一应用于生成式人工智能（GenAI）系统和应用程序的初步尝试。未来可以把相同的研究应用于 CCM 内的其他安全领域。
- {{ item }}
共{{ commentListInfo.totalCount }}条记录