古代中国是一个“万般皆下品，唯有读书高”的社会，尽管民众对读书多的人很佩服并不仅仅是因为学问，更因为读书可以当官。

苏轼诗云：“发奋识遍天下字，立志读尽人间书”。好在那时天下的书其实总数不算大，只要足够勤奋，一心读书，这个目标理论上是有可能实现的。比如《永乐大典》有11095册，约3.7亿字，不过今天一个小镇图书馆的容量。如果一个勤于用功的人用三十年来读，每天只需要读大概34000字——相当于一篇硕士论文的量，还是有可能读完的。

那么是不是读书读得多、知识广博的人，人品就更好呢？相信我们很多人对这个问题的第一反应是：荒唐！众所周知，知识可以用来做好事，也可以为坏人所利用，把坏事做得很完美。

这正是人们当下对AI的担忧。AI是今天的神话，也是其他新故事背后的故事，它既是开始，也可能是末世毁灭。

在机器学习、 语言和图像识别等技术的加持下，AI真正做到了无书不读，在知识掌握方面已经远超人类。在其意识觉醒（通用AI出现）之前，它其实并没有形成自己稳定的价值观，简单地说，是一个知识丰富的“白痴”。正因如此，人们有理由担心它一旦被坏人掌握，后果不堪设想。

于是我们可以看到很多文章都是这样开头的：“在AI广泛应用，给人们提供各种便利的同时，也对社会造成了负面冲击，例如隐私保护、信息安全、责任缺位、算法歧视、社会公正等挑战……”

就现阶段而言，我们倾向于认为各种AI智能代理(Agent)仍然只是一个人造物，其行为偏好反映的是开发者的偏好，而开发者用于训练AI代理自然是基于所在社会的主流价值观。在一个歧视严重的社会中，人们所创造的AI代理必定是充满歧视的。同样，在一个不重视隐私保护的社会，AI代理在决策时也不会太介意出售别人的隐私信息。

尤其重要的是，AI代理仍然无法为自己的行为承担责任，不具有民事或刑事行为能力。AI出了问题，我们需要追责到其背后的某个组织或个人。因此，与其说AI造成了伦理的问题，不如说AI开发者的价值观差异制造了麻烦。

人的价值观差异最终可溯源到人类制度和文化的深层差异，这种差异与生俱来，永无休止。因此，人类显然无法摆脱AI伦理的问题和困境。

一种解决方案认为，尽管这种差异不可能完全消除，但在面临某种极端的情况，比如决定不同人的生死时，还是有可能找到与国家、民族、宗教、文化无涉的普遍共识。例如自动驾驶汽车的情况。人类必须要给AI自动驾驶的行为定规则，可以从这些普遍共识出发，逐步建立起符合人类生存需要的AI伦理。

围绕这个问题，近年来科学家们开展了一系列大规模的实验，希望从中获得对AI伦理问题的启示。其中较具影响力的当属以MIT媒体实验室的Awad教授为首的美、加、法多国合作的研究团队。他们以经典“电车难题”(Trolley Problem)实验为背景，设计了“道德机器”（Moral Machine）。这是一款多语言在线游戏，吸引了全世界不同国家和地区的人参与。

“电车难题”是伦理学领域最为知名的思想实验之一。由于对人的伤害是不可避免的，这一问题无法通过任何简单的规范道德原则（例如阿西莫夫机器人定律）来解决。它情节简单，恰与未来的自动驾驶情景吻合，因此非常适合此类模拟实验。

Awad开展的一个实验设定了三种情境：

情境1：假设在一个电车轨道上有5个人在施工，而它的备用轨道上有1个人。有一辆失控的电车飞速驶来，而你身边正好有一个摇杆，你可以推动摇杆来让电车驶入备用轨道。最终杀死1人，救下5人。

情境2：假设在一个电车轨道上有5个人在施工，另有一个环行轨道上有1个人。有一辆失控的电车飞速驶来，而你身边正好有一个摇杆，你可以推动摇杆来让电车驶入环行轨道杀死那1个人，挡住电车，救下5个人。

情境3：如果在你站在天桥上，看到电车失控，冲向轨道前方被缚的5个人。但这时你发现一个体重很重的胖子，正站在身边。他的巨大体形与重量，正好可以挡住电车。你让他失去了生命，但救了那5个人。

由于电车速度较快，情况紧急，你必须在很短的时间内做出决定。

图1三种实验情境，来源：Awad et al.(2020)

实验结果发现，在全球44个国家共7万实验者中，其行为偏好稳定表现为切换轨道高于环行轨道，再高于天桥推人的模式。不同国家的差异仅仅是程度上的。

Awad推测其原因是天桥中胖子的牺牲需要对他使用暴力，而切换轨道中没有对任何人使用个人武力。而环行轨道的优点是不需要对任何人使用人身暴力，人们很难判定工人的死亡是故意为之的还是意外，因此对它的偏好处于前两个情景中间。

这个并不太令人意外的实验结果，却有理由让我们感到乐观，毕竟在不同人群之间找到共识还是有可能的。

Awad另一项规模更大的实验在全球范围内吸引了233个国家和地区的3961万人参与，考察面对不同的人群，让人们在车辆转向还是保持原有路线两种情况之中作出选择。这里有一点特别的就是当汽车避让行人时，车上的乘客会因事故死亡。

实验比较了“物种倾向”“生命数量倾向”“性别倾向”“年龄倾向”“体型倾向”“社会价值倾向”“保护乘客或行人的倾向”“遵守法律的倾向”“避免干预的倾向”这九个维度，最终发现在全球范围内，最显著的前三项偏好分别是保护更多的生命、保护人类（相较于动物）和保护幼小的生命。作者由此认为这三个偏好可作为机器伦理的基本组成部分，或者至少作为政策制定者需要考虑的基本主题。

通过聚类，Awad的研究发现，决策风格在全球范围内可以非常稳健地分为西方（英、美、澳等）、东方（中、日、俄等）和南方（法、意、西、拉美等）三个文化和地理类别。不同类别之间在上述特性上展示出一定的差异。例如东方国家由于有敬老的传统，对年轻人的偏好比对老年人的偏好要比另外两个群体低得多。南方国家则对保护女性和健康人有更强烈的偏好。

“电车难题”实验考察的是人生死存亡的大问题，存在情况过于极端的局限性。相比之下，在商业环境下，企业高管并不会面临这么重大的伦理抉择，而是考虑诸如：可否将所收集的用户数据开创另一种用途，创造新的商业价值；在批准贷款或岗位招聘时是否需要考虑居住地、年龄、性别、种族等因素，等等。

但是从解决思路上看，企业高管们遵循的是同样的逻辑：首先需要考虑所在社会普遍能接受的伦理准则和共识，将其纳入算法决策规则，这些算法通过学习不同行为的奖励机制，使得AI模型能够预测并选择在特定情况下最合适的、最符合人类利益的行动方案，最终实现公司利益最大化。

然，以上讨论的前提是通用人工智能（AGI）在短期内不会出现，这一点非常关键。在AI快速演进的今天，有一个为科幻小说家和电影编剧最感兴趣的情境：AI最终依靠自己的聪明才智，突破奇点，掌控这个世界。

这其实是人类思考AI与伦理关系的终结版本。

当世界为AI所掌控，此时的人类已经成为失去自由意志的奴隶，伦理问题无从谈起：我做这件事，完全是AI命令我做的。对于我而言，它就没有任何伦理上的意义。

对人类而言，这是一个不可接受的、阴暗的未来。要想摆脱这一宿命，人类就需要在奇点来临之前学会更好地与AI相处，让AI安全可控。

最好的结果当然是，这一天永远不会到来。

追本溯源：

文化相对主义（cultural relativism）

认为不同的文化具有不同的伦理实践主张。在现实生活中，一种文化中被认为是正确的伦理实践，到另一种文化就可能被认为是错误的。在文化相对论里，对和错可以通过对世界的考察来判断。

企业社会责任（corporate social responsibility）

企业在制定追求自身利益目标的同时，应尽量采取措施保护和促进社会整体福利的义务。企业社会责任所考虑的是由于企业对社会的影响而产生的问题，以及应该如何确立适当的伦理来约束公司和社会的关系。要求企业必须超越把利润作为唯一目标的传统理念，强调要在生产过程中对人的价值的关注，强调对消费者、环境、社会的贡献。社会责任国际组织（SAI）颁布的“企业社会责任国际标准”（SA8000）对企业社会责任作了许多规定。

文章来源于“复旦商业知识”，作者“赵付春 于保平”