物理学家霍金(Stephen Hawking)、Tesla执行长Elon Musk以及苹果(Apple)共同创办人Steve Wozniak等几百位在学术界与产业界颇负盛名的专家学者们日前签署了一份反对攻击性自动武器的公开信。

　 　这封公开信是生命未来研究所(Future of Life Institute;FLI)在2015年人工智慧国际联合会(IJCAI)开幕时所发表的，用意在于警告开发军事人工智慧(Artificial Intelligence;AI)系统的军备竞赛将会伤害人类。

　　“如果有任何重大的军事力量推动AI武器的发展，不可避免地将会造成一波全球性的军备竞赛，而这项技术轨迹的终点是显而易见的：自动武器将会变成明日的Kalashnikovs冲锋枪。”

　　信中强调，这样的系统利用其强大的可承受能力，无可避免地将会变得无所不在，并且被用于暗杀、动荡国家、进行种族屠杀与恐怖主义。

　 　FLI是由美国麻省理工学院(MIT)宇宙学家Max Tegmark和Skype共同创办人Jaan Tallinn联手成立的，Hawking与Musk担任该研究所顾问，期望教导人们看清伴随人类发展AI而来的风险。他们先前已经公开指出超先进AI的 潜在危险，Musk还曾经强调先进的AI最终“可能成为我们最大的生存威胁”。

　 　由AI带来的潜在危险已成为技术专家和决策者之间讨论的共同话题。就在一个月前，位于美国华府的资讯技术与创新基金会(Information Technology and Innovation Foundation)邀请多位知名的电脑科学家共同针对超级智慧电脑是否真的对人类造成威胁的问题展开广泛讨论。

　　加州大学柏克莱分校AI教授Stuart Russell参与了这场辩论会，同时也签署了这封公开信。根据他的观察，“AI是否会对人类造成威胁，取决于我们是否使其成为人类的威胁。”他强调，我们还必须更加努力，才能确保不会使AI成为人类的威胁。

　　美国军方目前坚称，自动系统必须服从人类的指挥。根据2012年美国国防部(DoD)的政策指令规定，“自动与半自动武器系统的设计必须能让指挥官和营运商行使适当的人为判断，凌驾于武力的使用之上。”

　　然而，人类控制超越这些系统的实践仍然不完善。2014年，人权组织Reprieve声称，美国无人机在每一次预定目标的攻击行动中意外导致28名不明个人死亡。

　　美国国防部对于自动武器的政策必须在发布后的五年内重新认证，否则将在2022年到期。然而，如果其他国家不断追逐自动系统的开发，那么政治或军事领袖是否会持持这项策略就不得而知了。

　　在2014年的报告中，华府的一个防御政策小组——新美国安全中心(CNAS)声称，全球至少有75个国家仍不断投资于自动军事系统的研发，而美国将“出于运作的必要性而被迫投入些系统，同时也因为人员的成本以及传统载人作战平台的发展越来越无以为继。”

　　如果CNAS是正确的，那么自动系统的经济将会十分吸引人，攻击性武器的禁令可能无法实现。

　　经济吸引力

　　经济将在武器系统的诉求下展现明显作用。Kalashnikov步枪在很大程度上取决于其普及度、可负担性以及简单性。或者，以地雷为例，这种表面上的攻击性自动武器并不包括在公开信提出“禁用攻击性自动武器”的涵盖范围内。

　　根据联合国的资料，地雷的制造费用介于3美元至75美元之间。从1960年代以来，已经有多达1.1亿个地雷被部署在全世界70多个国家中。此外，在战时尚未被发现的地雷仍可能引爆。

　　禁止地雷的确有其效果：在1999年分颁布禁雷条约(Mine Ban Treaty)后，因地雷死伤的人数已经从每天25人降低到9人了。但对于地雷的限制至今尚未取得世界各地或每个人的重视。

　 　的确，更好的AI实际上也有许多好处。例如，基本的地雷演算法是：如果触发，随即爆炸。它能做得更有识别能力吗?——何时爆炸、该矿区的机制是机械或电 子的?例如在地雷中加一个逾期计时器，就能避免许多意外致死，特别是当作战结束后。更先进的系统对于有效目标应该具有更高的识别能力。

　　攻击性的向动武器目前已经存在了。除了地雷，还有自动网路武器。例如，Stuxnet一直被归类于AI。事实上，相较于消极地禁止自动武器系统以外，更实际也更有效的作法在于追寻一个积极管理的制度。