11月2日，包括英国、美国和中国在内的近30个国家（以及欧盟）在人工智能安全峰会上达成首个全球性人工智能安全协议，并发布了《人工智能安全宣言》，这标志着人工智能正式进入安全发展的强监管时代。

峰会期间，人工智能意见领袖们就人工智能安全风险的严重性判断产生重大分歧，双方阵营展开激烈辩论。人工智能教父级人物Geoffrey Hinton和Yoshua Bengio认为人工智能存在严重风险，科技公司在人工智能风险问题上撒谎以阻止竞争、规避责任，引发（同时也支持）严格监管。而Andrew NG和Meta首席AI科学家Yann LeCun则认为人工智能风险被夸大，是大型科技公司用来扼杀创新、巩固权力的阴谋论。

特斯拉创始人马斯克并未选择站队，但是在X上发帖讽刺人工智能风险监管和“AI军备竞赛”的矛盾现状：

虽然业界对于人工智能风险级别尚未达成共识，但Forrester Research上周发布的2024年人工智能预测报告为企业安全利用人工智能技术带来了新的视角。该报告为可量化评估的人工智能增长制定了路线，同时警告企业领导者为猖獗的“影子AI”做好准备，因为越来越多的员工开始自行使用人工智能工具来提高工作效率。

Forrester预计，随着企业投资可扩展的解决方案来构建、部署和监控人工智能模型，人工智能平台预算将在2024年增加两倍。然而，Forrester警告称，这不足以满足员工的需求。该报告预测60%的员工将在工作中使用自己的人工智能工具，从而带来新的监管和合规挑战。

Forrester发现，85%的企业通过GPT-J和BERT等开源模型扩展AI功能，而不是仅仅依赖ChatGPT等流行的大语言模型应用。Forrester预计40%的企业将积极投资于人工智能合规治理，领先于欧盟、美国和中国即将出台的更为严苛的监管法规。

人工智能进入效用时代

在创新方面，Forrester预测2024年将会有大型保险公司开始提供人工智能“幻觉保险”，承保由人工智能错误（AI幻觉）造成的损失和伤害。

Forrester警告企业领导者在制定人工智能应用战略时不要被炒作和“娱乐”分散注意力。

Forrester认为，2024年是“人工智能效用时代”的开始，人工智能技术将从企业的研发缓解转移到生产环境的商业应用中。

“毫无疑问，2023年将被称为人工智能年，因为我们看到了生成式人工智能消费化的兴起。发布了大量有关合并、收购、企业超高估值以及超大规模风险投资和内部投资的公告。”Forrester的分析师团队在报告中表示。

报告补充道：“我们预测，2024年将激励企业团队积极主动，制定有意义的人工智能战略，并兑现人工智能承诺，同时密切关注法规和新风险。”

Forrester对2024年人工智能安全发展的十大预测

1. 60%的员工会在工作中使用自己的人工智能工具，从而产生安全风险。

2. 随着企业对人工智能功能的需求激增，人工智能平台的预算将增加两倍。

3. 85%的公司将把开源人工智能模型纳入其技术堆栈中。

4. 40%的企业将主动投资人工智能治理以实现合规性。

5. 保险公司将开始提供涵盖人工智能错误的“人工智能幻觉保险”。

6. 随着采用率的激增，生成式人工智能从2023年到2030年的复合年增长率将达到36%。

7. 企业将把人工智能从研发转移到生产业务应用。

8. 人工智能战略将侧重于管理影子AI使用和价值创造。

9. 科技领导者感受到来自员工和高管采用人工智能（BYOIA）的压力。

10. 2024年，随着炒作让位于实用主义，“人工智能效用时代”将开启。

Forrester强调制定针对性人工智能战略的必要性，认为企业领导者在扩大人工智能应用时必须主动应对风险，而不是被动合规，因为全球监管格局正处于高度动态发展中。

正如四大会计师事务所之一的安永在《人工智能全球监管格局报告》中指出的，全球性的人工智能监管环境中仍然存在分歧和挑战。欧盟在全球范围内采取了最积极主动的立场，提出了一项全面的人工智能法案，对生物识别或关键基础设施等高风险人工智能用途提出强制性要求。中国也表现出了监管人工智能的较强意愿，例如内容推荐或面部识别。相对而言，美国采取了温和的做法，重点关注自愿性行业指导和针对具体行业的规则。