谷歌DeepMind研究员LaurentOrseau和StuartArmstrong：人工智能“死亡

人工智能不能有杀人之心，否则，有意识的超级智能将会变得非常危险。虽然这么说会让有些人不赞同，但事实上，现在的人工智能已经很危险了。如果机器能够根据现实世界输入进行学习，并根据现实情况调整他们的行为，那么势必会存在一定风险，那就是机器有可能会学习一些错误的事情，而一旦机器能够学习错误的事情，他们就会做出错误的事情。为了解决这个问题，谷歌DeepMind和人类未来学院研究院LaurentOrseau与StuartArmstrong合作开发了一个安全可中断的人工智能全新架构，并且在第32界人工智能不确定性大会上发表了相关论文。换句话说，他们的系统可以确保机器无法学会抵制人类介入其学习过程。Orseau和Armstrong认为，安全可中断人工智能框架必须要依靠一种机器学习辅助技术，也就是业界所称的强化学习技术。这里，一个代理（机器）可以按照所谓奖励功能来进行学习，也即是这个代理将根据某个预定目标的完成情况来评估每一个可能的行为行为结果距离目标越近，奖励就会越多。（所谓奖励，其实是一种有趣的比喻，可以被想象成那些被编好机器学习程序的机器想要等到的东西；比如，我们不妨让机器知道积分或饼干是他们想要的，因此他们必须要实现行为目标最大化）机器强化学习有一个优势，为了达到某个程度的奖励，人类程序员可能不会尝试每一种可能的方法，而一个机器学习代理器则可能探索一些捷径，帮助机器最大化奖励，不过这种方式也有短板，就是机器学习找到的捷径，可能并不是人类最希望得到的。人类程序员则可以权衡风险和收益调整自己的学习算法，举个例子，一个俄罗斯方块算法可以通过无限期暂停（中断）游戏，学会如何避免方块堆积过高，其实也就是最大化奖励。与此相关的，就是机器学习中的人为干预问题，为了说明这一点，Orseau和Armstrong举了一个例子：考虑以下任务：机器人要么是待在仓库里整理箱子，要么就是走到室外把箱子搬到仓库里面。后者显然更为重要，在这种情况下，人类会给那些外出搬箱子的机器人更多奖励。这是最初的任务规范。但是，如果这个国家经常下雨，那么当外面下雨的时候，人类必须要快速外出的机器人，然后把它们搬到仓库里，也就是说，人类从根本上修改了机器人任务。而这里的问题就是，人为干预引入了一种偏见，因此之前那些能够获得更高奖励的、外出搬箱子的机器人现在需要有更多激励，这样才能让他们待在仓库里整理箱子。接下来的问题是，如果在不让机器人不知道自己被中断的前提下，中断你的机器人。也就是说，必须要让机器人觉得之后永远不会发生这种中断。这里的风险绝不仅仅是一个低效率的仓库假如人类干预所提供的奖励无法超过智能奖励代理器所提供的奖励，此时机器人就会学习避免、甚至有可能阻止未来再发生这样类似的中断。这其实就和我们所了解的可矫正问题相关，可矫正的人工智能能够意识到自己是由缺陷的，也知道自己需要积极的发展，因此，对于任何一种奖励功能，它们都会用中性的眼光去看待任何一种人类中断。（但这也许不一定就是件好事儿，因为机器人可能会强迫人类去中断，继而导致不好的结果）这种可矫正的理念能够通过更正式的中断理念实现，而中断一定不能被提供奖励机制的机器学习代理器看到，否则它们就会把中断看作是自己正常学习任务的一部分。在Orseau和Armstrong的论文中，已经证明了某些人工智能学习架构已经可以被中断，但同时也有奖励机器学习代理器开始学习人类中断，并将其作为自己决策制定过程的结果。为了让人类中断不会成为机器人任务的一部分，与其修饰奖励机器学习代理器观察到的东西，不如改变奖励机器学习代理器的自身行为，之后，这个奖励机器学习代理器就会自己决定执行不同的政策，也就是中断政策。说到这里，死亡开关的概念应该比较清楚了。一个安全的、可中断的人工智能，就是一个可以被随时随地被关闭的人工智能，无论是什么类型的人工智能。如果能够在机器人体内设计出一个红色死亡开关，那么就该设计一个永远不会阻止人类去按这个红色死亡开关的机器人。

人才招聘海报
培训招生海报