神佛龙门阵人工智能读书会第三期记录

神佛龙门阵人工智能第三期读书会于2018年11月20日举行。本次读书会上，老师和同学们围绕人工智能治理与伦理——以自动驾驶为例进行了交流和讨论。

主题： 人工智能治理与伦理—以自动驾驶为例

主题

人工智能治理与伦理—以自动驾驶为例

神佛龙门阵

主题报告

报告人：马铃薯君

我这礼拜主要看的就是自动驾驶，我准备从侵权责任认定，伦理规则，配套的保险规则来探究自动驾驶。为此我参考了两篇论文：

[1]郑志峰.自动驾驶汽车的交通事故侵权责任[J].法学,2018(04):16-29.

[2]陈晓平,翟文静.关于自动驾驶汽车的立法及伦理问题——兼评“德国自动驾驶伦理指南”

第一方面就是侵权责任认定问题。目前业内普遍接受的美国Society of Automotive Engineers (SAE)分级体系。SAE依据自动驾驶系统和驾驶人介入程度的不同，将自动驾驶分为6级。无自动驾驶，驾驶辅助，部分自动驾驶，有条件自动驾驶，高度自动驾驶，完全自动驾驶，如果我们假定事故的发生是基于驾驶员一方的过错造成，那么随着驾驶系统等级的不同，侵权责任的认定也会不同

1.无自动驾驶是的责任按普通交通事故责任划分即可。

2.驾驶辅助车责任基本上全部由驾驶人负责。驾驶辅助系统只是在方向和加减速中的一项操作提供驾驶辅助，例如紧急制动。例外情况是，如果事故的发生是系统的错误辅助导致的，并且驾驶人无法纠正这一错误，此时系统运营商应当承担责任。

3部分自动驾驶，在这一等级里，系统负责操控方向和加减速，但是驾驶员双手不能离开方向盘，脚不能离开制动，其它驾驶操作由人负责。如果事故原因不是由于方向和速度产生的，驾驶人承担责任。如果事故原因是由于方向和速度操作不当产生，驾驶员和系统共同担责，但是驾驶人负责监控驾驶环境和系统失效应对，具有纠正系统失误的义务。例外情况是，如果驾驶人无法纠系统的方向和加减速操作失误，系统运营商应当承担责任。

4.有条件自动驾驶，在这一等级里，多数情况下汽车全自动驾驶，但是他的应用场景仍是受限的，在路况复杂或者出现系统难以判断的情形时，系统会要求驾驶人支援，此时驾驶人应当支援，不能拒绝否则系统会将车辆交由驾驶人接管。如果事故发生在系统发出支援请求，并为驾驶人预留足够反应时间之前，系统运营商承担责任，否则驾驶人承担责任。

5..高度自动驾驶，驾驶人可以响应系统的支援请求，也可以不响应。在这一等级里，汽车已经达到接近全自动驾驶的水平，并且能对所有情况作出判断，因而比较模糊的是汽车是否仍然应当配备合格的驾驶人以便响应支援请求。此时应该区分不同类型的驾驶人。当系统为驾驶人留出充足的反应时间，如果有能力接管不接管，这是要和系统共同承担责任，如果没能力接管的话，则是系统承担责任

6.完全自动驾驶，汽车完全自动驾驶，系统做出所有的判断，没有人的介入。系统运营商应承担全部的责任。以上就是针对不同等级汽车的责任认定。从中我们可以随着看出汽车的自动化等级的提升，人类所应当承担的注意义务不断降低，系统所承担的保证事故不发生的责任越来越大。

第二部分就是伦理问题， 谈到伦理问题，我们就不得不提到德国出台关于自动驾驶的 20 大伦理准则，伦理指南就其首创性而言是意义重大的，为我们构造基本的轮廓，这里面的准则有的是普遍规范即是针对所有的交通工具，有的是专门为自动汽车设计。主要有这几条，这也是我们着重讨论的。

第10条:在自动及网联化驾驶系统中, 原先由人类驾驶员承担的责任, 转移到了制造商、技术系统运营商, 以及基础设施、政策及法律的决策机构之上。

第16条:为了明确责任的承担主体, 应确保能够通过记录和存储数据来分辨自动化驾驶系统和人类驾驶员, 究竟是何者在控制车辆, 以及人类驾驶员是否有能力及时接管自动化系统。

第10条明确了责任主体不一定是人类驾驶员, 也可能是自动驾驶系统的制造商、运营商等, 具体是谁, 视情况而定。这个之前面已经探究过了。第16条给出区分责任主体的两个条件:一是通过车内仪器的记录能够辨认不同的驾驶主体, 二是给出承担责任的标准, 即当人类驾驶员操纵汽车的时候, 责任主体是人类驾驶员;当自动驾驶系统操纵汽车的时候, 责任主体是自动驾驶系统, 确切地说, 是自动驾驶系统的设计者或制造商。

第17条:自动驾驶的软件及技术的设计, 必须在实际应用中消除突然将车辆控制交予人类驾驶员的情况。为了实现高效、可靠、安全的人机切换, 并避免人类驾驶员的负担过重, 系统必须适应人的交流习惯, 而不是反过来要求人去适应机器。

第19条:在紧急情况下, 车辆必须自主 (即没有人工帮助下) 进入安全状态。

第17条和第19条这两个条款要求在人工驾驶和自动驾驶之间进行切换必须是以人为本的, 即让自动系统适应人而不是相反。在紧急情况下, 自动系统不应把驾驶权交给人类驾驶员, 而是自主地进入安全状态 (如停车) ;否则事故责任主体是自动系统 (设计者或制造商) 而不是人类司机, 即使自动系统发出切换的警告或提示。所以说系统发出切换的警告和提示的需要在发生事故前，给人类留有一定的反应的时间，这就要求系统要能提前预判事故发生。不能遇到事故把责任退给人类，因为人类在这么短的时间也来不及反应。

第8条:在两难境地中作出何种决定 (如在不同人的生命之间进行取舍) , 取决于具体情况 (包括不可预知的行为) 。因此, 这些决定无法被明确的标准化, 也不可能被写成在伦理上无异议的程序。系统的设计必须建立在对事故预防之上, 但在面对复杂或直观的事故后果评判时, 系统不能通过标准化的形式, 替代或优先于一位拥有伦理意识、负责任的驾驶员所作出的决定。尽管人类驾驶员可能在紧急情况下做出非法的行为 (如选择撞死一个人, 从而拯救另外一个或几个人的生命) , 但他不一定是有罪的。

第9条:在发生不可避免的事故时, 严格禁止将人群属性作为评判标准 (如年龄、性别、身体及精神状况等) 。禁止对受害者进行区别对待, 其代表性案例之一, 就是笼统地在程序中规定以人数作为衡量人身损害的标准。对于交通事故产生过程中的参与者, 不应以牺牲局外人的利益为代价。

第八条在遇到两难境地的时候，法律更相信和更理解人类基于个人价值观和具体情况的处置，即使他做出非法行为，但他不一定有罪。而反对系统对于这种情况的标准化设定（比如是基于人数作为或者年龄性别，精神状况）。而第九条却设定了一条标准即交通事故的参与者不应该牺牲，不应以牺牲局外人的利益为代价这条标准。其隐含意思就是法律禁止牺牲局外人，不反对牺牲局内人（即交通参与者）这两个条文便有一些矛盾。我们可以如果结合火车困境便可以更好的理解，

在一列火车行驶的前方有五个人站在预定的轨道上, 在这五个人之前有一个岔道, 现假定火车司机可以让火车改行到岔道上;但是, 司机发现岔道上也有一个人。现在的问题是:如果你是火车司机, 你是让火车按照原定轨道行驶而压死那五个人, 还是让火车改换轨道而压死另一个人?这个问题是没有标准答案的是，是随着具体情况我们的选择会有所不同。如果规定轨道上是5个修路工人，岔道上是一个违反交通规则的路人，如果按照第九条规定我们不能牺牲局外人的利益，便要选择牺牲5个工人的生命。这明显不太合理。在这样的情形中，我们通过不断地假设轨道和岔道上的人群，我们发现没有一个标准的答案。第九条也说明法律禁止用用任何标准去区别对待不同的人群，身份，精神状态，地位等等，在紧急事故面前生命是平等。所以危危急时刻应该救谁，是个很值得思考的问题

从第三人责任险中，保险的对象为机动车的使用者而非车辆本身，保险公司的赔偿责任以机动车使用者对受害方负有侵权责任为前提，但是在自动驾驶汽车上，出错往往的是自动驾驶系统，或者驾驶人和系统共同担责，但在共同担责这种情况下，驾驶员承担的只是部分责任，不足以所以受害人依据产品责任制度原理获得赔偿，必须证明产品存在缺陷以及缺陷与损害之间存在因果关系，这十分困难。其次，产品责任诉讼往往非常复杂且成本高昂。再次，考虑到自动驾驶技术带来的巨大社会价值，让制造商和消费者对具体的交通事故承担全部责任是不道德的，引入责任保险这一救济途径符合社会的一般伦理观念。最后，大量的诉讼对制造商而言也是一个沉重的负担，其往往疲于应对，难以集中精力进行技术创新。根据英国提出的法案将机动车强制保险延伸至涵盖产品责任，以便在驾驶人将车辆控制权交给自动驾驶系统时，该驾驶人能够被涵盖在保险范围内，弥补产品责任制度的不足，平衡制造商、消费者与受害人之间的利益，既能及时高效地救济受害人，又可以让制造商免于诉累，引入专注于提升自动驾驶技术的安全性能。

自由讨论

【阿火】

无人驾驶汽车是一种智能汽车，也可以称为轮式移动机器人，主要是依靠车内精密的激光测距仪、视频摄像头、车载雷达、传感器、人工智能系统为一体实现其自动驾驶功能，依托于网络技术，数据分析，让人摆脱驾驶，实现驾驶的运输目的，无人驾驶汽车的汽车属性，同时扩大了网络技术弊处对于人身安全风险。快速行驶车辆本身具有高风险性，智能驾驶让陷入不可控状态，便会将其风险与后果扩大。面对电脑病毒入侵，可以重装，智能驾驶一旦被病毒所入侵，速度轨道等相关数据，引发错误，不亚于一颗定时炸弹。面对这种状况，对于无人驾驶汽车本身的产品设计存在缺陷时，应当如何进行归责，值得我们进一步思考。无人驾驶本身，归属于工具价值，当无人驾驶存在产品缺陷，汽车生产商设计者应当对其产品侵权责任。由于自身局限和技术屏障，购买者无法对其技术进行进一步的深入了解，更无法对无人驾驶造成的侵害后果进行补救。—般而言，构成道路交通事故责任需要满足如下几个条件，一是承担责任的行为人是法律确认的合格自然人或法人，通常指事故车辆驾驶员具有完全的行为能力并取得驾驶执照；二是对于交通事故的发生，行为人存在一定的主观过错，当然这种过错只能是过失状态；三是当事人有违反驾驶规则的行为并因此造成事故损害，自动驾驶的事故发生，难以适用原有交通事故责任认定规则，驾驶权掌握的主体已经发生变化，对于驾驶意义上也发生改变，但智能驾驶的事故责任应当进行划分。德国对于自动驾驶伦理法则的制定，虽一定程度上更加清晰地划分了自动驾驶的责任，以及面对突发情况的反应与规则，将自动驾驶进行等级划分，让自动驾驶的责任更加明细化，其将人工智能的驾驶功能与紧急情况的选择功能区分开，但其忽略了人工智能驾驶发展过程中，对于驾驶员的概念已经发生转变，其驾驶能力已经不能作为驾驶的当然性要求，再这样的前提下就更无法适用规则，且将紧急情况之后的汽车控制权，交于乘车人，改变乘车的权利与义务。面对智能驾驶可能引发的产品问题，基础产品的系统升级，应当是汽车制造商的责任，将汽车的升级体验与汽车的基本安全保障责任进行区分，有利于提升汽车制造商，进一步进行技术开发研究，促进无人驾驶技术的发展，也进一步明确智能驾驶产生后果的进一步归责。自动驾驶伦理法则的制定应当进一步确认自动驾驶的责任认定，转移驾驶权，无疑增大乘车人的责任范围，有失公平原则。

【牧尘】

针对刚刚海洋学长的3大点的发言，公约应当是《维也纳交通公约》，我有以下见解或者说是问题。首先，当自动驾驶汽车遇到困境时，要将驾驶权转移给司机，那么这个困境是如何分级的呢？又或者说这个困境得“困”到什么地步才会转移，那他的转移是否可以被认为是一种甩锅行为，将企业的责任转移给司机，从而不负责任；其次，自动驾驶汽车在行驶过程中难免会对周围的行人或其他汽车不断地收集相关的信息和资料，这就难免会存在数据隐私的侵犯问题，又该如何有效地保护利害关系人的隐私和数据安全呢？

【西红柿君】

首先，在有条件的自动化驾驶阶段，使用人必须随时准备接管汽车，其角色是待定的驾驶者。如果使用人妥当接管仍无法避免交通事故的发生，那么应当由制造商承担产品责任。如果使用人因接管不当导致交通事故发生，那么应当与制造商共同承担责任。其次，在高度自动化驾驶阶段，系统原则上操控汽车的运行，仅在特定情形下除外。使用人的角色更像是纯粹的乘客，无需随时准备接管，甚至有权拒绝接管。对此，若使用人选择不接管，或虽然妥当接管仍无法避免交通事故的发生，那么应当由制造商承担产品责任；反之，若使用人选择接管但采取的措施不当，导致交通事故的发生，那么使用人需要承担适当的责任。最后，在全自动化驾驶阶段，规避事故发生的责任全部转移给系统，系统本身就是驾驶者，故理当由制造商独自承担产品责任，使用人成为纯粹的乘客，无需承担责任。

在自动驾驶的发展过程中，也应引入“黑匣子”技术。考虑自动驾驶汽车并不排斥人工驾驶，因而有必要判别交通事故发生时汽车究竟是处于人工驾驶模式还是自动驾驶模式。“黑匣子”可以记录交通事故发生时汽车是出于自动还是人工驾驶模式，以适用不同的责任规则；可以记录汽车运行时的各项数据，通过分析这些数据，能确定交通事故发生的具体原因，进而更为精准的分配责任；可以记录使用人是否妥当履行接管职责，从而合理界定责任。“黑匣子”技术让制造商更加安全，其也更愿意开发和推动这类技术的运用，但应妥当保护使用人的隐私。

2017 年6月，德国交通部下属的伦理委员会发布了一份《自动和联网驾驶》报告，在其中提出了自动驾驶汽车需要遵守的 20条伦理规则。这些伦理规则的核心内容包括：（1）保护个人优先于其他一切功利主义的考虑；（2）当危险情况不能避免时，保护人类生命优先于其他法律利益，为了避免造成人员伤亡，可以给动物或者财产造成损害，这在编程上是被 允许的；（3）道德困境之下的决策依赖于现实的具体情况，不可能被清楚地标准化，因此也不可能被事先编程；（4）在面对不可避免的事故时，禁止基于人身特征（年龄、性别、生理或者心理状况等）进行歧视，同时不得牺牲不相关方。德国系统提出自动驾驶的20 条伦理规则在全球范围内尚属首次。自动驾驶下的伦理困境与“电车难题”相似，“电车难题”是伦理学领域最为知名的思想实验之一。电车难题引申出两种主流的解读。功利主义者认为，大部分的决策都是基于“为最多的人提供最大的利益”的原则做出的，因此五个人的利益大于一个人的利益。这种思维遭到道德主义者的批判，他们认为应当把独特个人的价值作为道德评判中的最高价值，将人看作目的而非手段来对待。但是，无论是自动驾驶，还是“电车难题”的伦理困境，都很难找到完全符合道德的答案。

参考文献

[1]司晓,曹建峰.论人工智能的民事责任:以自动驾驶汽车和智能机器人为切入点[J].法律科学(西北政法大学学报),2017,35(5):166-173.

[2]殷秋实.智能汽车的侵权法问题与应对[J]. 法律科学,2018.

[3]冯洁语.人工智能技术与责任法的变迁——以自动驾驶技术为考察[J].比较法研究, 2018(2).

[4]郑戈.算法的法律与法律的算法[J].中国法律评论, 2018(2).

[5]丁晓东.算法与歧视 从美国教育平权案看算法伦理与法律解释[J]. 中外法学, 2017(6):1609-1623.

[6]郑志峰.自动驾驶汽车的交通事故侵权责任[J].法学,2018(4).

[7]白惠仁.自动驾驶汽车的伦理、法律与社会问题研究述评[J].科学与社会,2018,8(1).

[8]沈长月,周志忠.无人驾驶汽车侵权责任研究[J].法制与社会,2016(27):61-62

愿你温暖如初 不被世俗诱惑 始终保持一颗俗心