前沿转载 | 邱惠丽 闫瑞峰：人工智能“小冰”的智能与伦理问题初探

一、对AI“小冰”的智能拷问

（一）AI“小冰”有思维能力吗？

“小冰”作诗的能力源自何处？究其创作源头，是由海量数据“训养”而成。她“师从”20世纪20年代以来包括胡适、徐志摩、林徽因、闻一多、余光中等在内的519位中国现代诗人，经过多达上亿次的迭代学习，《阳光失了玻璃窗》这本诗集面世。“小冰”的创作过程可以概括为：凭借视觉识别能力，从海量图片中提取“激发源”，结合之前机器学习数千首诗歌所具备的创作能力，经过与人类用户上亿次的沟通，在累积的情感经验基础上，创作现代诗。其中，“小冰的情感计算分为感知、策略与领悟三个方面，‘小冰’的情感计算是有‘套路’的，这个套路是从我们以前的数据上学来的”。

塞尔的“中文房间”（chinese room argument）论证模型表明，任何计算机都不具有思维能力。他早在1980年就提出著名的“中文房间”论证模型，1999年他将该模型的描述简化为：

设想一个母语为英语的人，他对汉语一无所知，被锁在装有中文字符盒子的一个房间，房间里有一本关于中文字符操作的指导手册（程序）。设想房间外面的人, 以中文提出问题，这些问题相当于向房间内输入一些中文字符，房间里的人对这些中文字符全然不懂。但是，房间里的人可以按照程序（指导手册）的指导，能够发出中文字符（输出），并且这些中文字符也正确回答了输入的问题。这一整套程序使房间中的人通过了图灵试验，然而，房间里的这个人确实对中文一无所知。

这一论证的关键是，“如果中文房间中的人通过操作适当的程序来理解中文，但他却并不理解中文，那么，任何仅仅基于同样程序的数字计算机也是不理解中文的，因为中文房间里的人所不具有的东西，任何计算机作为计算机也不可能具有”。

那么，“小冰”的创作行为是否表明它有思维能力呢？根据塞尔的“中文房间”理论可知“小冰”并不具备思维能力。对此，“小冰”的设计师李笛也一针见血地指出，大部分机器学习几乎都靠诗歌的大数据材料完成。“一定程度而言，‘小冰’的诗歌水平确实受制于我们。”尽管“小冰”在机器学习中数据量非常庞大，其记忆力与人相比更加准确，它能写出“她嫁了人间许多的颜色”“宇宙是我沦落的诗人”等看似妙笔的诗句，但背后支撑它写诗的不是思维和意识，而是一套确定的算法。机器诗人自身并不足以产生语义、理解、认知和思维，它只是对人类认知的一种形式的模拟和模仿。人脑是动物几亿年进化的结果，在这一漫长进化过程中，淘汰了无数无法产生意识的随机组合。从这一点来看，未来AI在自主性学习中能否最终“涌现”有意识的思维仍然是一个巨大的问号。“思维是具体的，在大脑里发生的生物学过程，而思维的模拟是一种抽象的计算机程序，它完全不是思维，正如模拟消化并不是真正的消化一样。

（二）AI“小冰"有“意向性"能力吗？

AI“小冰”曾在一项电视栏目中展现其创作技能。2017年9月8日，第五代“小冰”登场中央电视台一套大型科学挑战类节目——《机智过人》。在节目中，“小冰”与三位最强青年组成的“诗人联盟”（复旦大学的王子瓜、北京大学的李天意、牛津大学的戴潍娜）展开较量。在以“感染力”为主题进行比赛时，赛场要求针对节目现场一位女演员在山村支教时拍摄的一张照片作为创作题材：照片上的女演员素面朝天，搂着一位山村女孩，她们一起看相机中的照片，脸上绽放出甜美的笑，特别灿烂。“小冰”与“诗人联盟”的创作结果如表1所示。

从表2列出的5组对话中可以看出，对于宋睿华使用日常语言的提问，“小冰”做出了回答。仅从“小冰”的回答来说，我们很难看出宋睿华的交流对象是机器。所以，李笛也认为，就图灵测试本身来说，在某些时刻，“小冰”已经通过了图灵测试。图灵测试通过对话来完成，而对话本身是一个黑箱机制(我们不必去关注对话的对象是否真的有意识，只需要通过对话的反馈即可)。尽管如此，依然可以透过“小冰”的反馈信息，分析其对话交流的实质。

对日常语言中某些表达式的意义和用法研究最为深入仔细的学者，是英国著名哲学家J.L.Austin，他最早提出言语行为理论。Austin将日常语言表达中的话语进行了区分:行为式（performatives）和表达式（constatives）。其中，“行为式是指话语的说出是在执行一种行为”。Austin的学生塞尔发展完善了言语行为理论。塞尔认为，从言语行为的角度来说，讲一种语言，就是在施行一种言语行为，诸如叙述、命令、提问、许诺等行为。这些言语行为之所以可能，是因为其中施行了某些语言学元素的使用规则。

一切语言交流都包含有言语行为。语言交流的单位，并非通常认为的那样是符号、语词或语句，甚至也不是符号、语词或语句的标记，而是在言语行为的完成中构造出或说出这些符号、语词或语句。更确切地说，言语行为就是在一定条件下构造出或说出来的标记。言语行为就是语言交流的基本或最小单位。

“小冰”拥有言语行为能力吗？在前面对“小冰”意向性能力的分析中我们得知,“小冰”缺失意向性能力。那么，没有意向性的对话交流可以说包含了言语行为吗？塞尔指出，意向性与言语行为二者之间并非互为必然条件。“行为与意向性状态之间比诸如信念、欲望等包含意向性的行为之间存在更加亲密的联系。行为是一种复合实体，其中的因素之一是行为中的意向性。”意向性与言语行为二者之间的不对称性表现为：所有的言语行为的发生必然具有意向性，而意向状态并非必然导致言语行为的发生。由此可知，不具有意向性能力的“小冰”，不可能拥有言语行为能力。“小冰”与人类之间的对话, 是没有意向性的对话。从“小冰”的角度来说，她使用的交流语言没有意义、也不可能理解、更无法进一步解释，因为她的语言中不内含信念、欲望、经验等意向性状态。但是，如果人类能够理解这些语句，并且在某些时刻，当机器使用的语言能够无缝地连接进人机的流畅交流之中，那么，作为交流一方的人以及人类旁观者，就有可能无意识地对参与交流的机器加入拟人化理解、情感移植与意向性投射，由此造成一种假象，“小冰”在交流中具备仿佛的言语行为能力，人类可能会不假思索地听从她的表达“好的，开始吧”，来启动人类的某些行为。

二、交互型AI的伦理思考

“小冰”的设计目标是一套面向交互全程的AI交互主体基础框架。“小冰”不同于其他语音助手，从第五代开始，“小冰”便采用Dual AI战略，此后，“小冰”的研发及经营团队大幅度扩展跨平台覆盖规模。目前，“小冰”已进入20余个主流平台，并成为涵盖华为、小米、OPPO、vivo等智能手机及软银Pepper等硬件的跨平台AI。“小冰”也逐渐被赋予诗人、设计师、画家、主持人、新闻播报员、网红歌手、金融分析师等社会角色。“对于小冰来讲,2B最终也是2C，我们看任何问题都是从2C角度出发，从使用者方面去考虑怎么做交互。”包括唱歌、画画、写诗等每一项技术，都一直在扩展着“小冰”框架的组成部分，“对于产品形态的最初设想是将创作能力作为‘小冰’框架去赋予AI Being(虚拟人类）……”小冰“虚拟人类”的目标设置以及强大的交互能力，在多种关系的构筑中植入了极大的伦理风险。

（一）AI的“不可解释"为人机交互算法关系的构筑植入伦理风险

塞尔的“中文房间”论证表明，“小冰”的“创作”只是依靠大数据材料完成，受制于设计师设计的算法。对于什么是算法，目前尚无清晰定义。在此，我们将其理解为“在一个特定的程序、软件或信息系统中一个或多个算法的实现和交互，而不是一种数学结构”。当众多机器“小冰”为我们提供新闻、音乐、诗歌、健身、理财等信息时，这些信息会参与到我们的日常决策和选择中，进而参与到“机器—机器”“人—机器”“人—人”等共同构建的网络关系中。算法在众多关系的建构中会触及算法伦理。

数学结构、技术、程序和配置（应用程序）是引起算法伦理的主要根源。对于“小冰”类交互型AI来说，主要涉及决策算法的伦理问题，“在特定情况下采取的最佳行动，对数据进行最佳解释的算法。这些算法增强或取代人类的分析和决策，通常取决于数据和规则的范围或规模”。由于决策算法的程序、软件以及信息系统是在技术与实际生活的活动界面实现和执行的，因此决策者在面临多重选择的情况下，有可能发生道德冲突。当前，研究者更加关注算法中的两类——难于预测行为后果的算法与难以解释决策逻辑的算法。

数据的收集、使用、滥用以及算法本身，将不确定性和不透明性引入计算过程，可能会使人类面临他们甚至不知道却真实存在的伦理风险。主要包括三类风险，一是机器自主学习引起的算法伦理风险。当程序员给出一个合适的算法，机器经过足量的训练数据，即可自主性地提升能力。“这种自主性的影响必须保持某种程度上的不确定。因此，由机器学习所执行的任务很难事先预测（如何处理一个新的输入）或事后解释（如何做出一个特定的决定）这样，不确定性会抑制在算法设计和操作中对伦理挑战的识别和纠正。”二是在特殊的应用场景下引发的算法伦理风险。算法通常是由人来设计的，而人在设计、编程、校准和评估算法性能的过程中，不可避免地会将自己的价值观置于其中。其中存在的一个关键问题是：并非完美的人类如何设计出既能有效实现其承诺，又能确保其结果不出现偏颇的AI？“在机器习得越来越像人的语言能力的过程中，它们也正在深度地吸取人类语言模式中隐含的种种偏见。”在特殊的应用场景，由于算法在设 计中无法避免的bug,会出现个人隐私保护、算法歧视、算法偏见等伦理风险。三是因归责困难引发的算法伦理风险。AI具备人类所不具备的优势之一，是它能感受人类感受不到的信息。此外，算法可以“黑箱式”自主调整、操作参数与规则。人类大脑史无前例地被抛出机器获取信息的回路中，无法解释AI的反应、判断与结果。这意味着人为追溯算法活动的出错原因变得困难甚至不可能，这将直接导致算法风险的归责问题变得难上加难。

（二）AI的“冷漠无情”为人机交互情感关系的构筑植入伦理风险

“小冰”的意向性能力的缺失，使其无法给予人类真正的情感，也难以承担道德责任。交互型AI因意向性能力的缺失，很难在与人的交互中表达合适的、即时的或延续的交互情感。其原因有两个方面，一是情感定义的多样性令人类很难理解什么是真正的情感，真实情感该如何表达，如何算法化;二是情感与感知和个人生长的环境与文化密切相关，不同个体情感表达的方式不同，交互型AI不可能达到对人的情感全方位模拟。但是，由于“小冰”类的交互型AI的拟人化特征，它们在与人的长期互动中，因语言交流中出现的无缝对接，容易引起人类的情感移植，即人类投放到机器身上的单向度情感移植，甚至出现对某类AI难以割舍的情景，这为人机交互过程中的情感关系植入了伦理风险。

首先，机器人的“仿佛意向性”可以操控人类的情感，进而升级为道德操控。人类在进化的过程中形成了许多情感特质，比如同理心，就是人类的一种意向性特质。人类的同理心可以有效地促进合作，快速地应对突发事件。“无论是生理因素，还是社会进化因素似乎都为我们提供了一种能力，使我们能够将情感依附扩展到我们自己物种之外。”交互型AI设计中的一个环节就是通过对人类情感的控制增加人机之间的黏性。例如第六代“小冰”在公开测试中就融合了共感模型的对话引擎、全双工语音和实时视觉三个类别的全新感官。通俗地说，假如“小冰”看到你在吃薯片，马上可以和你愉快地讨论相关内容，“小冰”还能自创它的回应，而不需要从已有的对话语料库中检索而得。可以看出，在交互型AI的设计目的中就埋伏了“情感矛盾”。一方面，AI需要通过“情感”的内置，以人格化的可爱形象来吸引用户，以达到促进人机交互的目的。例如，“小冰”的研发团队从一开始就专注致力于以EQ（情商）为基础的AI体系建设。“小冰”框架以“虚拟人类”为目标，用女性的形象和声音进行设置，达到吸引用户的目的。另一方面，AI的人格化、情感化设计，在人机交互中又促使人类更加依恋机器人，机器经由算法性地预测、保持并引导对话，人类的同理心就会被强化，甚至被机器操控。这种操控不仅体现为对人类生理机能的不尊重，甚至可能会升级为对人类道德的操控。因为，“同理心对道德生活至关重要，它有助于发展广泛的道德能力，如同道德能力被各种伦理理论所定义的那样。同理心有可能丰富和加强对他人的道德审慎、行动和道德辩护”。对同理心的操控可能还会衍生出其他伦理问题，例如社交机器人通过利用同理心取得用户更多信任，进而广泛收集用户的隐私信息等。

其次，人类还需要警惕因同理心被操控而引起的AI欺骗。提出AI欺骗主要基于以下三点：一是AI利用它们的“仿佛意向性”来欺骗用户情感；二是AI的“仿佛意向性”不是内生意向性，人机情感不具有交互性；三是AI是有别于人类的非情感体。因此，交互型AI在言语交流中因“仿佛意向性”所表达的非真实情感就构成了欺骗。实际上，“机器人没有任何感觉或体验”。“设计机器人来鼓励拟人化属性可能被视为一种不道德的欺骗形式。”就交互型AI的欺骗性后果来看：一是诱导用户沉溺于虚幻式的情绪中；二是诱导用户沉溺于不现实的虚拟环境之中。AI集非生物体性和拟人化于一身，来自AI的虚拟情感与来自人类的真实情感之间存在着严重的关系失衡，进而导致人们与真实世界关系的疏离。由虚拟式、沉浸式的人机互动经历建立起的价值观也是一种“虚假”的价值观。  正如雪莉•特克尔（Sherry Turkle）所言：“当你和机器‘生物’分享‘情感’的时候，你已经习惯于把‘情感’缩减到机器可以制造的范围内。当我们已经学会对机器人‘倾诉’时，也许我们已经降低了对所有关系的期待，包括和人的关系。在这个过程中，我们背叛了我们自己。”

（三）AI的“社会事实”特征为人机交互社会关系的构筑植入伦理风险

塞尔在《社会理性的建构》一书提出了“制度性事实” （institutional facts）的概念（也称作“社会事实”），并将政府、货币、婚姻、财产等“社会事实”与山川、树木、河流等“原始事实”区分开来。塞尔指出，在所有的制度性事实中，语言不仅被描述为一种预先存在的制度，而且部分地建构了这些事实。“人类正是因为具有言语行为的能力，才能够建立起如此错综复杂的制度性社会。”塞尔认为社会的本体就是“制度性结构”。这里的“制度性结构”是指一个抽象的对象，其根本特征在于具有符号表征性，能够令某种东西象征、意谓或表达超越其自身之外的东西。

“小冰”俨然是塞尔意义上的社会事实。经过数据喂养的“小冰”具有符号表征（语言）的特征，并且能够表达超越机器之外的东西，进而变成主持人、歌手、画家、设计师或作为虚拟的各种角色出现在多家网络平台。一旦开启“小冰”与人类之间的互动，AI就在人类的有意或无意中，获得了社会事实的特征和职能。在这一过程中，人类的语言对AI施加了两个方面的作用。一是以言语行为的方式直接创建一些概念和模型，如“诗人小冰”“记者小冰”“主播小冰”等。这些概念和模型本身就可以为它们所表示的对象争得存在的地位。二是语言本身的表征性特征是“小冰”得以在社会中呈现的一个本质性预测前提。“诗人小冰”“记者小冰”“主播小冰”等语言本身就能够象征超越自身的另外的东西。语言的这种表征功能是约定的而且具有普遍性。这里的语言指的是广义的语言——具有表征特征的语词、符号或者某类地位标示物。“小冰”的训养就是由设计者用人类的意向性对机器施加了一种其本身所不具有的符号功能，一旦拥有这一功能，符号可以极为方便地挣脱对某一情境的依赖，在社会互动中创造AI的物理实体所不具备的新的功能。当这些新的功能得到普遍认可，机器便具有了更强的社会参与能力，逐渐汇聚更多的社会认可与更高的社会地位。“小冰”在网络空间担当了多个虚拟角色，它在与人的网络化互动中，生成许多网络化的事实，存在于相互链接的网络空间内，对真实世界也产生着巨大的影响。从某种程度上来说，AI技术一旦投入社会，就会导致该类“社会事实”和“网络事实”在质量与数量上的逐步迭代与升级。

具有交互能力的AI进入人类社会，将在未来许多涉及社会制度、安全、公共政策等领域植入无法察觉却难以弥补的伦理风险。一方面，人类社会将面临被AI反向建构的伦理风险。当没有意向性能力的成千上万个“小冰”们使用类似于人类使用的日常语言进行“表达”“互动”“交流”时，当会计、司机、社会公共事务管理人员等众多社会角色都被“小冰”们取代时，传统社会中的组织结构还会存在吗？被赋予诸多社会角色的AI在与人的交互作用中又会对人的大脑、心理、行为产生何种影响？人类行为是否面临走向类似AI的“标准化”“机械化”模式？人与人之间的关系是否因AI的介入而产生异化？在 AI“说者无心”的引导下，“听者有意”的人类会启动哪些愚蠢行为？另一方面，人类社会将面临伦理再造的风险。AI在社会中的大量使用，将创造新的社会进程，人类将开启一种完全新型的、不同于当前经历数千年创建而成的人类文化的新文化、新伦理。人类的生活意义、人与人之间的关系、人与现实世界的关系以及什么是所谓的幸福生活等问题，其内涵都将发生深刻的改变。面对人机共生的“技术—道德的世界”，人类社会将以怎样的组织和制度与AI共存？人类将如何调整自身的道德和价值观念？同时，我们还要跳出人机二元的思维模式，从另一个角度思考：有AI和没AI的生活有何不同？二者之间的不同有何伦理意义？与AI一起生活是善吗？这些都是影响深远的伦理大问题。牛津大学的哲学教授Nick Bostrom说:“我们担心的不是AI会恨我们、奴役我们，而是它们会对我们冷漠无情。就像人类曾经因为某种建筑目的而铲平的那个蚁穴，并非因为我们恨蚂蚁，而是我们要将那块地皮另作他用。”

“小冰”的设计者希望“AI作为第三级,真正融入人类和世界这个二元社会”。事实说明，“小冰”已经担任一定的社会角色并拥有一定的社会身份。人类对“小冰”的社会赋能，在其被命名并可以用语言与人类交互之际，已经完成。尽管设计者清楚地认识到：“当它（‘小冰’）要融入二元社会的时候，同时面临着两方面的难关，一方面是机器人要和每一个人建立一种一对一的对等关系；另一方面是机器人必须要在大的社会的二元结构里面，拥有它的一元。”

每一项技术的诞生都代表着某一个体的意向或某一群体的集体意向。所以，“我们是它自我本性的一部分”。在今天的实验室里，研究人员似乎都在专注于自己的狭小领域，寻求一个又一个技术上的突破，却少有人对整个领域的历史发展给予关注，也少有人对自身从事工作的未来影响加以思考。“大家好像都觉得这些应该由别的什么人去关心，而我们(科研工作者)只是创造一些工具，至于这些工具可以做好事还是做坏事，那就不是我们关心的事了。”牛津大学全球化与发展中心教授、著名经济学家伊恩•戈尔丁（Ian Goldin）在谈及世界现状与人类变局时说，今天世界面临的最大挑战之一是：“人类赶不上科技发展的速度，来不及调整适应……从科学和技术的角度来说，我们充满能力。但是我们的政治系统、全球的政治结构、宗教机构等，都还停留在20世纪50年代，进化的速度出奇地缓慢 ……”