生成式人工智能仍在蓬勃发展，对于AI安全和风险的担忧也与日俱增，部分法律工作者开始倡导对AI工具的使用进行立法，一些企业家也在呼吁暂停AI系统的训练以确保企业的安全。Meghan Rimol就此问题，与Gartner分析师Avivah Litan进行了对话（以下简称M和A），让我们从对话中了解关于AI风险管理的发展和想法。
M：面对大众对于AI安全和风险的忧虑，AI研究是该暂停还是继续呢？
A：可以肯定的是，AI研究不会暂停。研发AI的机构需要针对AI信任、风险和安全管理制定企业范畴的策略，立即制定相应的管理工具处理用户和企业间的数据和流程迫在眉睫。
目前AI市场上并没有现成的有效工具，可以确保用户在使用AI模型过程中的隐私安全，实现有效内容的过滤，如替用户过滤掉与事实不符、虚幻的内容，区分版权保护的材料或机密的信息。
AI研发者需要与政策制定者相互合作，为生成式AI的监督与风险管理制定政策和实践。
M：当前生成式AI对企业最大的威胁是什么？
A：AI带来的潜在威胁有很多，以下几点是影响比较大的。
- 虚假信息是当前AI聊天机器人带来的最常见问题。用于训练AI机器人的数据本身可能带有缺陷，导致训练输出的答案带有偏见或缺乏依据，而且当人们越来越依赖AI机器人的答案，会导致这些输出的虚假信息充斥网络，让人难辨真假。
- 当生成式AI被用于多重目的，深度伪造成为了另一个潜在风险。AI生成的伪造照片、视频和录音被用于攻击名人或政客，造成误导信息的传播，甚至用于注册伪造账户，从而攻击现有的官方账户。
- 数据隐私。员工在与AI机器人交互时，会不经意间透露企业敏感的数据，AI会无限地抓取用户的输入，甚至将这些数据用于训练其他的模型，这导致了机密信息的进一步泄露，发生安全漏洞时，数据还可能会落入不法分子的手中。
- 侵权问题。生成式AI机器人基于大量的网络数据进行训练，这些数据可能包含了受版权保护的材料，导致AI输出的内容可能会侵犯版权或知识产权，但由于AI输出过程缺乏来源引用和透明度，用户只能自行审查输出内容侵权与否。
- 网络安全问题。除了更高级别的社会工程和网络钓鱼威胁，攻击者还可以利用AI工具生成各种各样的攻击代码。虽然AI研发机构承诺他们的AI模型会拒绝网络攻击相关的提问需求，但是他们并没有提供给用户有效的工具对安全行为进行审查。
M：企业当下可以采取什么措施实现生成式AI的风险管理？
A：使用AI模型的常见方法不外乎两种，一是即开即用；二是即时工程法，需要使用工具创建、调整和评估即时输入和输出的内容。
对于即开即用的AI用例，研发机构需要通过手动检查AI模型输出的所有内容，识别错误、误导或带有偏见的输出结果，并为企业建立一个规则框架，明确指出禁止员工询问可能透露敏感信息的问题。
AI研发机构需要对未经许可使用ChatGPT或其他AI解决方案的行为进行监控，利用现有的安全控制手段和仪表盘及时发现违反政策的行为。例如：利用防火墙禁止部分用户访问，使用安全信息和事件管理系统监控违反政策的行为日志，或利用安全网关监控未批准的API调用请求。
对于即时工程用例，所有的风险缓解措施都适用。无论是内部数据，还是运用到第三方基础建设的敏感数据，都需要采取保护措施，并创建不可更改的工程提示，作为日后可长期安全复用的有利条件。
文章来源：
Why Trust and Security are Essential for the Future of Generative AI
- V20 更新 1：BETA 2 计划报告
- Microsoft Teams 最新性能 | 2024 企业连接版（四）
- Microsoft Teams 最新性能 | 2024 企业连接版（三）
- Microsoft Teams 最新性能 | 2024 企业连接版（二）
- Microsoft Teams 最新性能 | 2024 企业连接版（一）
