上周，路透社报道“韩国大学研制AI武器，遭多国专家断交”，艾伦·马斯克照例来秀了一把存在感，也有一些在人工智能领域有些名气的专家发表了一些观点。
但是这并没阻止美国国防部先进技术研究局开始“攻击性蜂群”竞赛项目的热情。以及各国军方在新技术发展规划中纷纷写明要研究AI系统在军事领域的运用。那么，“天网”会降临我们的现实世界吗？本文来试着分析一下。
其实关于“坏”人工智能的故事，早就已经是科幻小说的常见话题了，事实上，它甚至要比喜欢讨论人工智能的“赛博朋克”小说出现的更早。
阿西莫夫当年的《钢窟》系列就有不少关于机器人利用逻辑漏洞，突破“机器人三大定律”实施杀人犯罪的故事。
当然，笔者最喜欢的关于人工智能的故事，是一本想不起名字的经典小说，其中描写的是人类自我毁灭后，一个AI试图了解什么才是人类，但却无论如何也做不到，最后他克隆了一具没有意识的人类身体，将自己的意识注入这具躯体。瞬间，他真正用人类的感官体验了这个世界，然后，他成为了第一个复活的人类。这是让我这个“唯物主义蠢货”（睿智的群星玩家）感到“舒服”的一个故事——意识、情感、逻辑……这一切都是基于我们的身体和感知搭建起来的，所以就像AI无法想象人类的感受，人类也注定难以理解AI的“感受”。
而大家熟悉的，更多的AI故事则是来自于电影和游戏，《终结者》大概是说起AI毁灭人类，大家首先想到的一个故事。而《终结者》的故事，也正是无数“科学大咖”们试图描绘的，人类应该避免的一幅图景。
毁灭人类的终结者大军，实际上代表了人类对无法理解AI的恐惧
在1984年电影《终结者》中，超级AI“天网”是由美国军方开发的一套战略决策系统，他们让它掌握了美国的核武器，结果，这个“天网”在开始运转后几分钟，就发现对于它来说，人类是最大的威胁，为了毁灭人类，它向苏联发射了核武器，引发核大战，毁灭了大部分人类。然后，它又利用其控制的工厂，生产出冷酷无情的机器人杀手“终结者”，来彻底消灭残存的一小部分人类。
这个故事的核心在于，人类无法理解AI，无法理解一旦AI产生自我意识后，会做出什么样的反映。
而当AI试图接近人类的表现和情感，变得“可以理解”的时候，它就由恐怖杀手变成了忠实的伙伴
当然，时过境迁，在那之后，关于AI，无数科幻影视和幻想小说又做出了无数的想象。但人们仍然不知道，如果真正的“强人工智能”真的出现，它会有什么想法。
事实上，这方面，军方又走在了前面。不久前，DARPA主管人工智能研究的一位领导就表示，他们下一步在人工智能方面的研究，将集中精力于创造一个可以向人类解释自己决策，并真正值得信任的AI。
想象一下，如果“阿尔法狗”的后代，能够说明白它到底是“怎么想的”，那将是一副什么情景？
然而这很难。
看过EVA的朋友们都记得，在这部作品里，巨大的“机器人”其实是用“夏娃”和人类的基因混合克隆出来的“巨人”，而驾驶员要接入它的神经系统，实际上就是让两个灵魂融合，而要实现这种融合，就会听到有个操作员喊一句“思维模式，调节到日语”。
这背后其实是有个基本原因的，人类的意识和思维，是要靠语言进行的——所以人类才能解释自己是如何思考的。
正是因为我们的逻辑思维要依靠语言进行——所以没有掌握语言的人，有没有思考能力呢？如果他后来学会了语言，又能否向别人解释他形成语言能力前，有没有能力思考呢？没人知道，因为所有“狼孩”都没能真正学会语言，因此其心理和智力发育十分缓慢，在一例美国人研究的“狼孩”案例中，这孩子17岁时刚刚达到普通儿童3岁半的智力水平，因此无法给我们解释她年幼时期的感受。
由这一点说来，“人猿泰山”是个反智主义大毒草：在无语言环境下成长的“泰山”不可能拥有和文明世界的人类相似的思维
但可以肯定，现在的“深度学习”型人工智能，它的思维过程，无法被我们理解。它的思维与我们所知道的任何别的东西都不一样，既不同于动物本能，也不同于我们的思维。
所以说，真正研究人工智能的专家，对于人工智能的担忧是可以理解的，毕竟“恐惧源于未知”。
不过话又说回来，正如美军自己的表述，这种“无法解释自己”的人工智能，就是“不能被信任”，所以任何军队也不会将武器交给这些人工智能去控制。因为你根本无法预计它们会做什么——而这和全世界军队对于“武器”的首要要求背道而驰。
日本轻小说《全金属狂潮》中，设想了这样一种装置，它能够在驾驶员攻击或防卫冲动控制下，直接发出物理能量（能量来自核反应堆），比如你产生摧毁你前面的一辆坦克的冲动，它就会被轰飞，你试图抵挡敌人的炮弹，敌人的炮弹就真的会被弹飞。但是，这种装置只能被人脑特殊的脑波操纵，而这种脑波要么靠精神类药物产生，从而让驾驶员变成疯疯癫癫，要么就是关键时刻就用不出来。所以，小说里的军方对它评价为——没有实用价值。
当然这种东西很符合日本特色的“中二少年拯救世界”的想象，但作为日本动漫编剧当中少有的懂军事的作者贺东招二，至少在“λ驱动器”在正常的军队眼里会得到何种评价方面，写的一点不错。（当然书里不计后果的恐怖组织“秘银”和“汞合金”都在使用这种玩意……）
吃我中二护盾啦！！
就算你威力再大，但如果过于不稳定，以至于无法预测使用效果，那实用价值就近乎于——没有……
为什么世界各国都很少让试验性武器上战场？就是因为这个道理。
笔者之前曾经问过“彩虹5”无人机的设计师，有没有考虑过在无人机上采用“深度学习”型的AI，他的回答也是这个意思：“既没有必要，技术难度也太大了，我们现在还是用脚本方式实现自动化操作的。”
“彩虹”5无人机可能在后续型号上实现更高水平的人工智能，不过依然是脚本触发式
换句话来说，到目前为止，真正有可能投入军事领域实用的AI技术，最复杂的也仍然是和各位平时玩RTS游戏里的电脑玩家AI一样，实际上是一系列触发脚本。
本质上来说，这样的AI，和人类最原始的“AI”——陷阱的原理是一样的：当目标满足一定（走到陷阱上面）条件时，“AI”就会做出设计者预期的反映（让目标掉进去）。
所以，人们完全可以预料到AI在某种特定环境下，会做出什么动作。如果它超出了你的预料——那就是哪里脚本写错了……
这种AI，其实是不大可能引发这些专家们所说的“AI毁灭人类”的事情的——只要得到充分调试和试验。
况且，这样的AI，因为触发脚本数量毕竟有限，它也无法真正替代人类操作者。现在为止，类似无人机这样的武器，比如“彩虹4”，虽然已经能够实现自主搜索目标，甚至自主攻击，但是仍然要有个操作员来随时监控它的运转。因为在“彩虹4”这类无人机作战中，真正最难，最需要人类参与的部分——目标识别和判断目标性质，这依然只有靠人来完成。
所以，之前我们就提到过，那些使用“彩虹”无人机的中东国家，最后派来学习无人机操作的，不是战斗机飞行员，也不是游戏宅男，而是熟悉他们将要执行的任务区风土人情的人——他们看到地面上的人驾驶汽车的习惯，就能判断那家伙是不是本地人。
所以，美国无人机总是炸死平民的原因就出来了……
所以说到底，现在的AI武器，仍然是“人在杀人”，而不是“机器在杀人”。
既然认识到了这一点，担心现在的“AI杀人导致道德问题”，就是一种“泛化”的说法了。说到底，这和反对用飞机杀人，反对用枪杀人，反对用毒气杀人，反对用燃烧武器，反对用霰弹枪……最后说到底，反对用任何方法杀人——是一样的。
这样做对吗？道德上看当然是对的，但从理性角度来看，就没那么“对”了。
我们也都知道，战争，或者说杀人，这是人类社会出现之前，我们的祖先就已经在天天干的事情了——智人消灭了自己的表亲尼安德特人可能是最接近某些宗教中所说“原罪”的行为。
如果单纯从道德角度来反对将任何技术用于军事用途，其实是一件很困难的事情——我同意，并非所有提出这种反对的人都是别有用心，这里面确实有一些真正的道德高尚之士——但真正推动这些东西并使之形成法律或者规则的，说到底还是暴力，因为法律和规则都是靠暴力为后盾而推行的。而推动军事领域禁用某种武器的，十有八九是大国间的互相威慑和平衡，以及技术的发展。
禁止AI武器，跟禁止地雷，禁止集束炸弹，禁止凝固汽油弹的原因是一样的
比如达姆弹，我们都知道，这是因为在当时英国人火药技术方面落后于德国，子弹初速上不去的情况下弄出来的东西。而后来英国人技术上去了，子弹威力上去了，就不搞达姆弹了，然后就开始推动禁用。
而到了现代，化学武器之所以被禁，是因为到了两次世界大战之间的时期，互相用航空器来投掷化学武器袭击对方城市的话，大家都只能同归于尽——这其实有点后来核平衡的意思了。
至于到了现代，核竞赛、核平衡、核裁军——世界上威力最强大，最不人道的武器为世界创造了有史以来最长的一段总体和平时期。
这是多么讽刺的事情——善良和道德从未阻止过战争；真正阻止战争的，偏偏是最大的恶意——“确保互相毁灭”。
顺便说一句，贸易战也是如此——所以笔者并不担心中美贸易战。毕竟这年头，彻底中断中美贸易，和用核武器互相轰是一样的。
反过来，今天的学术界——当然了，艾伦·马斯克这样的金融界人士不算——如果真正想要阻止AI被用于战争，最简单的选择是彻底停止发展AI……
然而，没有人能做到这一点，因为毕竟“战争，战争从未改变”，现代世界早就不是天才的世界了，任何技术领域，只要投入足够多，“死了张屠夫，不吃混毛猪”，各国军方真想发展这种东西，岂是几个有点幼稚的善良科学家能阻止得了的？
既然如此，唯一符合理性的做法，恰恰是努力发展这方面技术，不管人类最后是否能跨越“超人奇点”（实现人类与AI的融合，或者AI超越人类），我们都应该尽早跨越这段人类根本无法理解AI的“蒙昧阶段”，让人类真正能够信任AI，才能让AI被运用到各个领域，不管是造福人类的方面，还是用在战争的领域——反正，“机器人三大定律”只是阿西莫夫为了构思推理小说而想象出来的东西，根本实现不了。
