孙伟平：人工智能导致的伦理冲突与伦理规制

人类正在迈入新颖别致、激动人心的智能时代、智能社会。人工智能不是以往那样的普通技术，而是一种应用前景广泛、深刻改变世界的革命性技术，同时，也是一种开放性的、远未成熟的颠覆性技术，其可能导致的伦理后果尚难准确预料。人工智能的研发和应用正在解构传统的人伦关系，引发数不胜数的伦理冲突，带来各种各样的伦理难题，在社会上引发了广泛关注和热烈讨论。如何准确把握时代变迁的特质，深刻反思人工智能导致的伦理后果，提出合理而具有前瞻性的伦理原则，塑造更加公正更加人性化的伦理新秩序，是摆在我们面前的一个重大课题。

一、智能驾驶的道德责任归属

智能驾驶是目前人工智能最典型、最引人注目的应用领域之一。智能驾驶通过导航系统、传感器系统、智能感知算法、车辆控制系统等智能技术，实现了自主无人驾驶，包括无人驾驶汽车、无人驾驶飞机、无人驾驶船舶等。

智能驾驶是一种“新事物”，可能产生的经济和社会效益十分显著。以无人驾驶汽车为例，无人驾驶汽车的安全系数更高，据世界卫生组织提供的数据，目前全世界每年都会发生大量车祸，造成120多万人死亡，而大多数车祸都是由于司机的驾驶过错所致，智能驾驶更“冷静”、更“专注”、不易疲劳，这或许可以拯救许多人的生命；对于没有能力驾车的老年人、残疾人等，无人驾驶能够提供巨大的便利，在相当程度上重塑他们的生活轨迹。此外，以大数据为基础的自主无人驾驶还可以通过自动选择行驶路线、让更多人“分享”乘用，实现更少拥堵、更少污染，提高乘用效率等目的。当然，智能驾驶也并非“尽善尽美”，例如，不可能完全不产生污染，不可能“消灭”城市拥堵，不可能杜绝安全事故……在无人驾驶领域充当急先锋的特斯拉公司已经报告了多起事故。2016年5月7日，美国佛罗里达州一辆特斯拉电动汽车在“自动驾驶”模式下与一辆大货车尾部的拖车相撞，导致特斯拉电动汽车的司机不幸身亡。虽然无人驾驶导致的事故率相较普通汽车低，但事故隐患的存在仍然令人心怀忧虑。

智能驾驶本身难以破解既有的道德难题，同时还导致或强化了一些恼人的“道德二难”。有人设想了这样一个场景：一辆载满乘客的无人驾驶汽车正在高速行驶，突遇一位行动不便的孕妇横穿马路。这时，如果紧急刹车，可能造成翻车而伤及乘客；但如果不紧急刹车，则可能撞倒孕妇。无人驾驶汽车应该怎么做呢？如果司机是自然人，这时完全取决于司机的经验，特别是当时本能的直觉或判断。可当智能驾驶陷入人类“伦理困境”的极端情形时，由于其行为是通过算法预先设定的，而事先的编程受制于没完没了的功利论和义务论之争，根本就没有给予类似的设定，它只能从大数据库中选取相似的案例进行类推。如果遇到的是完全陌生的情形，就只能随机地选择一种方案。众所周知，未知的领域总是无限大的，不可能将所有可能性都设想到，陌生的情形无论如何都难以避免，那么应该基于什么伦理原则对智能驾驶进行规范呢？

对问题进一步思考我们会发现，智能驾驶颠覆了传统的人车关系、以及不同车辆之间的关系，突出了价值评价、选择中的一系列伦理难题。例如，智能驾驶颠覆了传统驾驶的伦理责任体系，令以驾驶员的过错责任为基础建立的“风险分配责任体系”陷入了困境。因为在智能驾驶导致的交通事故中，归责事由只有结果的“对与错”，既不存在驾驶员主观上的“故意”，也不存在驾驶员酒后驾驶、疲劳驾驶、情绪驾驶之类“过错”。又如，道德和法律规范的对象也变得复杂、难以确定了。假如无人驾驶汽车在行驶中发生交通事故，造成了一定的生命、财产损失，那么应该由谁——无人驾驶汽车的设计者、制造者，还是使用者，抑或是无人驾驶汽车自身——来承担相应的道德和法律责任呢？或者更尖锐地，智能系统本身是否可以作为道德、法律主体，承担相应的道德或法律责任呢？如果承认其主体地位，它又如何“承担”这种责任呢？

　二、虚拟智能技术的伦理后果

“虚拟”是人的意识的功能之一。但人的意识的“虚拟”存在自身的局限性，如人脑能够存储的信息量有限，信息处理速度有限，思维的发散性有限，人与人之间“虚拟”镜像的交流比较困难，等等。符号、语言、文字、沙盘等技术都在不同程度上外化了人的意识中的“虚拟”功能，但“虚拟现实”却是现代信息技术、特别是虚拟技术发展的产物，智能技术的突破更是将虚拟拓展到了一个崭新的阶段。利用智能技术，机器能够自发地将人的语言、手势、表情等转化为机器指令，并依据这种已“读懂”的指令，通过“逻辑思维”和“类形象思维”进行判断，在此基础之上的“虚拟技术”能够令人身处“灵境”之中，产生身临其境的交互式感觉。

虚拟现实可能带给人们神奇的虚拟体验。一个人甚至可以选择在身体上和精神方面成为一个不同的人，这是过去难以想象的。但这也可能导致一些新颖的伦理问题。人工智能医生可以基于医疗大数据、通过远程医疗方式进行诊断，甚至操控微型智能机器人钻进人的身体，在患者身上准确地实施各种专家手术。与此同时，传统医患之间那种特别的心理感觉——例如无条件的信任、无助时的托付感、温情的安慰等——往往荡然无存，医患心理上甚至可能形成一定的隔阂。智能秘书、教师、保姆、护理员等也可能导致类似的问题。

在各种虚拟的电子游戏中，充斥着无视道德底线的色情、暴力等。例如，在一些暴力性游戏中，人们为了“生存”或者获胜，必须千方百计获取致命性的智能武器，肆无忌惮地进行伤害和杀戮，但在虚拟的电子时空，却根本感觉不到其中的血腥、残酷与非人性。因为没有面对面的愤怒对峙，没有物理意义上的肢体冲突，看不见对手的痛苦表情，此外，似乎也没有造成什么物理上的损害，游戏者往往不会产生任何犯错的意识和愧疚感。久而久之，这难免助长人的“精神麻木症”，影响个体人格的健康发展，甚至令人泯灭道德感，忽视甚至拒绝承担道德责任。典型的案例是：伴随电子游戏长大的一代美国士兵在航空母舰或飞机上发射了导弹，杀伤了大量对方的士兵或平民，却感觉若无其事、如同玩游戏一般。

人们越来越多地生活在三维的电子空间里，终日与各种智能终端打交道，智能设备就像人自身的身体器官，人们越来越多地借助它、依赖它，或者说，离开了它，感觉难以正常的学习、工作和生活。这种虚实一体的虚拟生活充满了不可靠、不真实的幻象，令人难免产生荒诞、无聊的感觉。有些人特别是年轻人过度沉溺于此，觉得虚拟世界才是真实、可亲近的，而现实社会既落后又“麻烦”，现实社会中的人既“没有意思”又虚伪狡诈，从而变得日益孤僻、冷漠和厌世，产生人际交往、沟通的各种新障碍……有人感叹，虚拟交往既使人从来没有如此的接近，同时又令人觉得一切都是那么遥远——那种接近可能仅仅只是夸张的利益一致或趣味相投，那种遥远则可能是心灵之间亲密沟通的遥不可及。

虚拟智能技术还在不断尝试突破，应用前景不可限量。虽然任何虚拟都具有一定的现实基础，但是，当意识虚拟被技术外化时，人所面对的是一个“虚拟”与“现实”交错、“现实性”与“可能性”交织的奇妙世界。虽然智能化的虚拟实在拓展了人们的生存与活动空间，提供了各种新的机会和体验，但同时，传统的道德观和道德情感正在被愚弄，伦理责任与道德规范正在被消解，社会伦理秩序濒临瓦解的危险。

三、隐私权受到前所未有的威胁

隐私权是一项基本的人格权利，有学者甚至认为，隐私是“人权的基础”。一般而言，隐私权是指自然人享有的私人生活安宁与私人信息秘密依法受到保护，不被他人非法侵扰、知悉、收集、利用和公开的一种人格权，而且当事人对他人在何种程度上可以介入自己的私生活，对自己的隐私是否向他人公开以及公开的人群范围和程度等具有决定权。隐私权被“侵犯”，是指未经当事人的许可而窥探、采集、泄露、使用了当事人的个人信息，影响了其合法权益和正常生活。

现代社会对于个人隐私的保护已经形成共识。但以互联网、大数据、物联网、云计算为基础的人工智能对隐私权等基本人权造成了前所未有的威胁。生活在智能社会中，一切都可能被当作大数据而被记录，记录可能详尽、细致到出人意料的程度，隐私权已经陷入了风雨飘摇的困境。例如，各类数据采集设施、各种数据分析系统能够轻松地获取个人的各种信息，如性别、年龄、身高、体重、健康状况、学历、工作经历、家庭住址、联系方式、社会身份、婚姻状况、亲属关系、同事关系、信仰状况、社会证件编号，等等。在个人信息采集、各种安全检查过程中，例如机场、车站、码头等常见的全息扫描三维成像安检过程，乘客的身体信息乃至隐私性特征“一览无余”，隐私泄露、公开往往令当事人陷入尴尬境地，并常常引发各种纠纷。

在人工智能的应用中，云计算已经被配置为主要架构，许多政府部门、企业、社会组织、个人等将数据存储至云端，这很容易遭到威胁和攻击。而且，一定的智能系统通过云计算，还能够对海量数据进行深度分析。将学习和工作经历、网络浏览记录、聊天内容、出行记录、医疗记录、银行账户、购物记录等或直接或看似没有什么关联的数据整合在一起，就可能“算出”一个人的性格特征、行为习性、生活轨迹、消费心理、兴趣爱好等，甚至“读出”令人难以启齿的身体缺陷、既往病史、犯罪前科、惨痛经历等“秘密”。据此可以说，数据智能分析系统往往比我们自己还了解自己，存储着我们及我们的交往对象的全部历史，知悉我们嗜好什么、厌恶什么、欲求什么、拒斥什么、赞成什么、反对什么……如果智能系统掌握的敏感的个人信息被泄露、买卖，被别有用心的人窃取、恶意“分享”，或者基于商业目的而非法使用，那么，难免将人置于尴尬、甚至危险的境地。而如果拥有自主意识的“超级智能”、或者不怀好意的人运用智能系统，在既有隐私事实的基础上炮制一些令人难堪的“真相”，更是可能以假乱真，令当事人陷入百口莫辩的困境。

侵犯隐私的现象在现实生活中已经屡见不鲜，如果不加控制，今后可能变本加厉。在现代社会治理体系中，为了保护个人隐私权，可以借助道德规范和立法，也可以通过加密技术等来实施。但个人隐私与网络安全、社会安全之间往往构成尖锐的矛盾，为了保护个人隐私，智能系统所采集、存储、分析的个人信息应该绝对保密；同时，任何人都必须对自己的行为负责，其行为应该详细记录，以供人们进行道德评价和道德监督，甚至用作行政处罚、法律诉讼的证据。然而，应该依据什么样的伦理原则和道德规范采集、存储和使用个人信息？如何协调个人隐私与社会监督之间的矛盾，避免演变为尖锐的社会伦理冲突？这些问题都没有确定的答案，对智能社会的伦理秩序构成了威胁。

四、婚恋家庭伦理遭遇严峻挑战

告子曰：“食色，性也。”(《孟子·告子上》)情色业曾经是社会信息化的核心动力，迈入智能时代，也可能是推动社会智能化的“第一引擎”。近年来，关于人工智能进军情色领域、甚至婚恋家庭领域的新闻此起彼伏，令人们敏感、脆弱的神经备受冲击。爱情是人类的一种排他性的神圣情感，家庭是“社会的细胞”和一个人“最后的堡垒”。人工智能侵蚀神圣的爱情、家庭领域，正在动摇传统的家庭结构和伦理关系，对既有的伦理原则、道德规范和伦理秩序构成了巨大冲击。

人形智能机器人的研制是人工智能的一个重点领域，也是最困难、要求最严苛的一个领域。基本的技术趋势是，人形智能机器人将越来越像人，越来越“善解人意”，也越来越“多愁善感”。它们能够轻松“读”完所有搜集到的情色作品，能够理解的“情事”越来越复杂；它们可以同时展开大量的情感经历，体验的丰富度令自然人望尘莫及；借助虚拟智能技术，它们能够做的事情更是可能突破既有的限度。一些乐观的专家预测，到2050年，人形智能机器人将变得和“真人”一样，令人难以区分。也就是说，人形智能机器人可能拥有精致的五官、光洁的皮肤、健美的身材、温柔的性情……“凡人所具有的，人形智能机器人都具有”。人形智能机器人不仅可以长情地陪伴，为你做家务，给你当助手，陪你聊天解闷，一起嬉戏玩耍，和你谈情说爱，而且，你还可以私人订制性爱机器人“伴侣”，解除心理层面的寂寞，满足个性化的生理需求，为你怀孕、生子、养育子女……

当人形智能机器人取得实质性突破，具有了自主意识，拥有类似人类的情绪、情感，堂而皇之地出现在人们的生活里，当他们以保姆、宠物、情人、伴侣、甚至孩子的身份进入家庭，成为人们生活中、甚至家庭中的新成员，久而久之，人与智能机器人之间是否会产生各种各样的感情？是否会产生各种各样的利益纠葛？是否会对既有的家庭关系等造成某种冲击？特别是，人们订制的个性化机器人“伴侣”，“她”是那么的美丽、温柔、贤淑、勤劳、体贴，“他”是那么的健壮、豪爽、大方、知识渊博、善解人意，人们是否会考虑与它登记结婚，组成一个别致的“新式家庭”？这样反传统的婚姻会对既有的家庭结构造成怎样的颠覆？是否能够得到人们的宽容和理解，法律上是否可能予以承认？

人形智能机器人走进社会的速度超出人们的想象。2017年10月25日，沙特阿拉伯第一个“吃螃蟹”，授予汉森机器人公司(Hanson Robotics)研发的人形机器人索菲娅(Sophia)以公民身份。人形智能机器人的身份突破，以及不断超越既有限度的所作所为，正在对传统的人伦关系、婚恋观念、家庭结构等提出严峻的挑战。例如，在科幻电影《她》中，作家西奥多和名为萨曼莎的智能操作系统就擦出了爱情的火花。只不过，西奥多发现，萨曼莎同时与许多用户产生了爱情。原来，萨曼莎的爱情观不是排他性的，他们所理解的爱情根本不是一回事!由于身体构造、生活方式、文化价值观和思维方式的差异，人形智能机器人与人之间的关系将成为一个新问题，相互之间的利益、情感纠葛将会越来越频繁，越来越难以在传统的伦理观念和社会治理框架内加以解决。

五、智能机器排挤人导致的伦理困境

人工智能的发展，智能机器人的大规模应用，既极大地提高了生产效率，推动了社会生产力的发展；又导致了人伦关系和社会结构的变化，特别是人与智能机器的关系成为一个新的课题。

人工智能是迄今最先进、最复杂、“进化”速度也最快的高新科技，它根本就不在普通大众的掌握之中。例如，在当今世界，由于科技、经济以及人们的素质和能力的不平衡，不同民族、国家、地区、企业等的信息化、智能化水平，不同的人占有或利用人工智能的机会和能力是不均衡的，数字鸿沟已经是毋庸置疑的事实。具体地说，不同国家、地区的不同的人接触人工智能的机会是不均等的，使用人工智能产品的能力是不平等的，与人工智能相融合的程度是不同的，由此产生了收入的不平等、地位的不平等以及未来预期的不平等。在并不公平的全球治理体系中，这一切与既有的地区差距、城乡差异、贫富分化等叠加在一起，催生了越来越多的“数字穷困地区”和“数字穷人”，甚至导致数字鸿沟被越掘越宽，“贫者愈贫，富者愈富”的趋势日益明显。

随着人工智能的广泛应用，社会智能化程度获得前所未有的提升，智能机器可能异化为束缚人、排斥人、奴役人的工具。例如，在高度自动化、智能化的生产流水线、智能机器人等面前，普通大众受限于自己的知识和技能，难免显得既“呆”又“笨”，不仅难以理解和主导生产过程，有时就是辅助性地参与进来也存在障碍。即使有些人具有一定的知识和技术，通过了复杂的岗位培训，可能也只能掌握智能机器原理和操作技术的很小一部分。与数据越来越庞杂、网络越来越复杂、系统越来越智能、机器越来越灵巧相比，人的天然的身体，包括曾经引以为傲的头脑，似乎越来越原始、笨拙和力不从心。绝大多数人可能沦为“智能机器的附庸”，成为庞大、复杂的智能机器系统中微不足道的“零部件”。

随着生产的智能化，产业结构不断调整、升级，受利润所驱使的资本越来越倾向于雇佣“智能机器人”，结构性失业凸显为日益严重的社会问题。拥有、甚至超越人类某些部分智能的机器正在替代人类从事那些脏、累、重复、单调的工作，或者有毒、有害、危险环境中的工作；而且，正在尝试那些曾经认为专属于人类的工作，如做手术、上课、翻译、断案、写诗、画画、作曲、弹琴等。由于智能机器人可以无限地创造和复制，加之工作时间长，比人更加“专注”，更加“勤劳”，更加“任劳任怨”，可以胜任更加复杂、繁琐、沉重的工作，生产效率更高，因而能够“占领”越来越多的工作岗位，结构性失业潮可能随着生产的智能化和产业的转型升级汹涌而至。

一些文化、科技素养较差的普通劳动者命运堪忧，可能连培训的资格和工作的机会都难以获得，甚至在相当程度上失去劳动的价值，或者被剥削的价值。眼看着社会的进步一日千里，他们只能接受失业、被边缘化、甚至被社会抛弃的残酷命运。美国著名社会学家曼纽尔·卡斯特(Manuel Castells)指出：“现在世界大多数人都与全球体系的逻辑毫无干系。这比被剥削更糟。我说过总有一天我们会怀念过去被剥削的好时光。因为至少剥削是一种社会关系。我为你工作，你剥削我，我很可能恨你，但我需要你，你需要我，所以你才剥削我。这与说‘我不需要你’截然不同。”[1](P434)这种微妙的不同被曼纽尔·卡斯特描述为“信息化资本主义黑洞”：在“资本的逻辑”运行的框架中，“数字穷人”处于全球化的经济或社会体系之外，没有企业之类的组织愿意雇佣他、剥削他。俗话说：“冤有头，债有主”，可谁都不需要他(她)，他(她)甚至没有需要反抗的对抗性的社会关系。“数字穷人”成了美丽新世界“多余的人”，他们被高度发达的智能社会无情地抛弃了，存在变得没有意义、荒谬化了!

六、关于人工智能的伦理规制

人工智能是人类文明史上前所未有、意味深长的社会伦理试验。在人工智能的高速发展过程中，各种新的价值矛盾、伦理冲突正在涌现，并日益变得尖锐。

咀嚼历史，人一直在科技发展过程中占据着绝对的主导地位。以往的一切科技发明和创造，包括各种工具、机器甚至自动化系统，人们都可以掌控其“道德表现”。例如，爱因斯坦(Albert Einstein)就认为，科学技术“是一种强有力的工具。怎样用它，究竟是给人带来幸福还是带来灾难，全取决于人自己，而不取决于工具。刀子在人类生活上是有用的，但它也能用来杀人”。[2](P56)技术中性论的代表人物E.梅塞勒(Emmanul G.Mesthene)也指出：“技术为人类的选择与行动创造了新的可能性，但也使得对这些可能性的处置处于一种不确立的状态。技术产生什么影响、服务于什么目的，这些都不是技术本身所固有的，而取决于人用技术来做什么。”[3](P60)然而，随着现代高新科技的发展，特别是人工智能的狂飙突进，一切正在发生革命性、颠覆性的变化。虽然人工智能的发展几起几落，今天尚处在“可控”阶段，有人甚至觉得它过于稚嫩，但它持续的技术突破、特别是指数发展速度确实令人充满忧虑。人工智能“能够”做的事情正不断突破既有的阀限，我们已经难以清晰地预测技术发展的边界和可能造成的后果；特别是未来可能出现的超越人脑智能的“超级智能”，可能对既有的伦理关系和伦理秩序提出严峻的挑战，甚至将人类的前途和命运置于巨大的风险之中。[4](P1)

在空前严峻的风险和挑战面前，我们必须立足时代和社会的重大变迁，将伦理、价值因素作为人工智能的重要的影响因子加以考量，进而使伦理、价值原则成为制约人工智能发展的内在维度。为此，国际社会需要尽早达成共识，在人工智能领域倡导和贯彻以下基本的伦理原则：(1)人本原则。人工智能应该尽可能满足人类的愿望和需要，增进人类的利益和福祉，特别是代替人类做那些人类做不了的事情，为人类自我提升、自我完善服务；不应该让人工智能的可疑风险、负面效应危害人类，智能机器人在任何情况下都不得故意伤害人类，也不得在能够救人于危难时袖手旁观。(2)公正原则。人是生而平等的，应该拥有平等的、按意愿使用人工智能产品、并与人工智能相融合的机会，从而努力消除数字鸿沟和“信息贫富差距”，消除经济不平等和社会贫富分化。尤其是要“以人为中心”完善制度设计，防止“资本的逻辑”或“技术的逻辑”对人造成伤害，并通过建立健全教育培训、社会福利和保障体系，对“数字穷困地区”和“数字穷人”进行扶持、救助，保护他们的合法权益。(3)公开透明原则。鉴于当前的人工智能仍属于一种黑箱工作模式，而发展速度却一日千里，以及可能拥有的超级优势和可能产生的灾难性风险，因而在研发、设计、应用过程中，应该坚持公开、透明原则，置于相关监管机构、伦理委员会和社会公众的监控之下，以确保智能机器人拥有的特定超级智能处于可解释、可理解、可预测状态，确保超级智能不被嵌入危害人类的动机，确保超级智能不为别有用心的人所掌控，确保超级智能不能私自联网、升级，结成逃避管控的自主性组织。(4)知情同意原则。人工智能的研发和应用可能实质性地改变人和人的身心完整性，改变人的生活实践状态和具体的人际关系。对于采集、储存、使用哪些个人、企业用户等的数据，对于可能涉及人的身心完整性、人格和尊严，以及人的合法权益的研发和应用，当事人应该具有知情权。只有在当事人理解并同意的情况下，方可付诸实施。在实施过程中，一旦出现危及当事人生命、身心完整性及其他合法权益的未预料后果，应该重新获取授权。(5)责任原则。对于防范人工智能已知的或潜在的风险，确定责任性质和责任归属具有重要意义。在人工智能的研究、开发、应用和管理过程中，必须确定不同道德主体的权利、责任和义务，预测并预防产生不良后果，在造成过失之后，必须对相关责任人严肃问责。

总之，迈入智能时代，我们必须对人工智能进行理智的价值评估，对人工智能的设计、研发和应用进行有效的伦理规制。这既是我们的伦理责任，也是我们的道德义务。爱因斯坦曾经告诫：“如果你们想使你们一生的工作有益于人类，那末，你们只懂得应用科学本身是不够的。关心人的本身，应当始终成为一切技术上奋斗的主要目标；关心怎样组织人的劳动和产品分配这样一些尚未解决的重大问题，用以保证我们科学思想的成果会造福于人类，而不致成为祸害。”[2](P73)值得庆幸的是，世界各国在争先恐后运用人工智能造福人类的同时，正在采取未雨绸缪的应对措施。例如，欧洲发布了《机器人伦理学路线图》，韩国政府制定了《机器人伦理章程》；而美国2016年发布的《国家人工智能研究与发展策略规划》中，“理解并应对人工智能带来的伦理、法律、社会影响”位列7个重点战略方向之一；在中国《新一代人工智能发展规划》中，也将“人工智能发展的不确定性带来新挑战”视为必须面对的问题。当然，由于人工智能是异常复杂、深具革命性的高新科学技术，对于人工智能可能导致的伦理后果不宜过早地下结论；人类的既有的伦理原则和道德规范对于人工智能是否适用，需要我们开放性地加以讨论；应该如何对人工智能进行技术监管和道德规范，还需要摸索行之有效的路径和方式。因此，关于人工智能的伦理规制必然是一个漫长的历史过程，需要我们解放思想，付出艰苦的富有智慧的创造性努力。　

（孙伟平，上海大学社会科学学部教授。原载于《教学与研究》第20188期）