时间：2019年4月24日（下午）
地点：上海大学东区法学院504会议室
主题：泮池法学论坛第二十二期
——将人工智能道德化：关于AI法律责任的本体论基础
主讲人：杨庆峰 上海大学社会科学学院教授
陈吉栋：各位同学，今天咱们邀请的嘉宾是上海大学哲学系的主任杨庆峰教授，他是长期从事技术哲学的研究。我曾经其实就读过您一本书，早前技术现象学，然后当时我觉得启发很大，终于跳出来法学之外去学这个东西。前一段时间在交通大学参加一次会议，听杨老师讲记忆，这个跟我们法学研究人工智能绝对是基础型的东西。我们法律研究人工智能出现之后到底带来哪些社会问题，咱们法律怎么去解决这些问题。比如说主体人格问题、权利问题、责任问题，从来没有跳出规范去探究怎么解决这些问题。而杨老师今天这个讲座肯定就是给咱们另外一个启示，从更高的层次，或者从更深基础的层次去告诉我们，思考人工智能的另外一种方向，或者另外一个侧面，法律人不局限在这个规范的圈圈里面，跳出来去思考这些问题，对咱们肯定是很有启示的，我很期待。今天自由的交流，咱们是沙龙性质的活动。
杨庆峰：非常高兴能够来到法学院，跟各位同学交流。首先感谢一下吉栋博士，另外林老师也是跟我很熟悉的，非常感谢。我今天带来的是不成熟的思考，是关于人工智能道德化问题，包括跟法律的相关关系。开讲之前先声明对法律来说，我是相对来说外行，我不是研究法律方面的，只能说在人工智能道德化这块有自己的一些研究和看法。今天想通过一种道德化的视角为人工智能的法律相关问题的探讨奠定一个基础，今天这个报告是一个基础性的话题。为了把这个话题讲好，我想采取案例方式，首先是理论化分析，另外是案例的理论阐述。我会先把理论部分主要的内容讲了，然后结合案例进行分析，最后留下时间大家讨论一下，希望大家提出一些问题。首先看到这个题目让人工智能道德化，我是要先介绍一下为什么有这样一个问题。
刚才大家已经传看了一本书《将技术道德化》，这本书的作者和我是非常熟悉的，我们2012年开始关注他的东西，2016年翻译出版了这本书。作者是荷兰的技术哲学界的新一代里面最牛的一个人，彼得.维贝克。他1972年出生，去年评为皇家院士，作出的成就非常明显。他主要的思想是把技术道德化，为什么他会提这样一种“将技术道德化”观念？这个观念讲了什么？我接下来会呈现出来。
对AI来说每个人非常熟悉，你的智能手机、家里的扫地机器人，看到街面上的智能摄像头，餐馆里送餐的机器人等等，这些都是AI，都是在我们身边出现的。从技术进展来说，我曾经梳理了2013年-2019年MIT评论每年推出十项突破性的技术，我把和人工智能相关的摘录下来。从2013年深度学习到2019年流畅对话的AI助手你就会发现人工智能有着一个特点：从实验室科学研究向着大众这方面的转化。所以在AI研究当中有一个非常明显的转向，走出实验室为大众服务。流畅对话、智能手表等等这些东西都是和生活密切相关的人工智能的技术。
人工智能的最先出现是1956年的达特茅斯学院，我2013年恰好在这个学院访学。当时对人工智能这块不是太了解，后来慢慢才了解到。现在想起来感觉还是有点缘分的，整个全世界的人工智能探讨都是从这个地方出来的。
关于这个问题先做一个框架性的介绍，主要介绍四个问题：1、探讨AI法律责任问题的背景。2、与AI相关的案例及其法律问题的提出。3、将AI道德化的几种形式。4、AI法律责任的本体论基础。这四个方面可以分别来看。
1、为什么要探讨AI法律责任问题？这个问题是从人工智能发展的大背景下去看。斯坦福大学在2018年发布了一个报告，其中提出来一个非常有趣的现象：从2000年-2017年，工程和技术科学这块研究的成果有了一些缩减，从2000年-2017年人文学科的成果有所增加；工程科学2017年变成缩减，人文科学突出来，意味着发表的量增大，社会科学层面在萎缩。法律学科就是社会科学，这里面表现社会科学在萎缩，法律和AI结合研究的成果不会多到哪里去。我刚参加了AI与国际关系的研讨会，AI与法律结合的研究有学者开始关注结合的动向了。总体来说二者的结合有一个萎缩大的趋向，萎缩的趋向意味着论文发表的很少。鉴于这样的背景探讨和AI法律相关的问题有了一个总体需要。
这份报告有三点值得注意：第一是报告提出来人工智能曾经的三大热门方向，机器学习、神经网络、计算机视觉，这是三个曾经很热的方向。在三个方向当中神经网络科学界颁布了一个奖，颁给在计算机科学当中作出杰出贡献的几个人如约书亚、亨顿，他们都是神经网络学习的大牛了。计算机视觉是计算机里面一个分支。新的技术进展比如后面为大家展示的生成神经网络（GAN）。还有一个AGI，通用人工智能的讲法，通用人工智能现在讨论的不多了，相当于热点话题；第二是XAI的出现，可解释的人工智能的概念出现。相比图像而言，语言与常识将会成为人工智能研究的前沿。人工智能往哪里走？人工智能界有一个判断，人工智能现在需要具备什么能力？理解，理解常识，理解我们的语言。在生活当中我们对理解有一个很直观的把握。比如说我说一句话大家马上能理解，知道我在讲什么，对计算机来说，告诉他一个话语，它不一定理解，只理解形式语言。现在关于自然语言的理解，解读问题就变成人工智能非常重要的一个难题。然后再就是常识，人工智能可以做很多事情，但碰触到常识问题很难处理了。一个是过去的热点，一个是未来的方向。第三个是人工智能和人文科学这块相结合的时候有个薄弱点，这里面有跟AI的理解有关系，我们更多的是看到很多理解把AI做成一种产业或者工程技术的东西，只是作为一个工程技术的角度去看的。在人类整个近代的文化演变过程当中，科学和人文分得很开，形成很大的鸿沟，斯诺曾经写过一本书《两种文化》，这一著作指出两种文化之间出现了断裂。这种断裂很容易解释，如果把人工智能看成是一种工程和技术，这种断裂自然会产生，对它进行人文科学研究的话就没有足够的根据，这样会导致薄弱点变得非常容易理解。具体到法学领域来说，法学学科和AI也存在着断裂，所以后面的结合是必然之举，有很多问题需要探讨。我
目前国际上出现了一些新的变化，像MIT、剑桥等等这些高校都在做这件事情，把AI与人文科学和社会科学结合在一起。MIT表现他们最近成立了计算机学院，正在招生，很大的事情就是做人工智能和社会科学的结合。里面提出两个概念：第一个是核心是针对技术而言，把人工智能机器学习当中的一些核心的技术往前推进。像深度网络学习这样的东西。第二个是桥梁，把人工智能和其他的学科结合在一起。我们都知道麻省理工，MIT有一个地方，经常出一些很好，很先进的产品，这个产品就是他们结合的点，人工智能和艺术结合在一起的东西。
在具体的做法当中有一个点是人工智能伦理研究，这个研究中心目前做了几件事情：第一个办论坛；邀请来自商界、政府、学术界和新闻界的领导来参与；评估AI和机器学习方面进展的预期结果，并围绕AI道德制定政策。第二个方面是提供AI伦理方面的本科选修机会和研究生奖学金、教师种子资助计划，吸引来自其他大学的、政府、行业和新闻业的杰出人士的奖学金计划。第三个是他们和国内的一些企业联合，科大讯飞联合起来做的跟我们今天相关的像法律伦理这块的结合，他们和科大讯飞目前的结合是非常多的。但前段时间听到不是很好的消息，英国和华为就解除了合作，这块会怎么变化是另外一个比较复杂的问题。世界知名的高校和企业联合起来在人工智能法律道德这方面做很多事情。还有一个是搞工程界的，他们谈到了伦理方面的标准、工程方面的标准。
还有一个是斯坦福的课程，2019年斯坦福大学政策研究中心新开设一门法律和计算机科学交叉的课程，名字是算法管理。在规制型国家中的人工智能，都是一些法律界、哲学界的人士，应对人工智能在执行监管过程当中带来的法律、政策方面的问题及哲学方面的挑战，这个地方显示了一点，人工智能的问题是个交叉学科的问题，涉及到哲学、法律，包括政治很多方面的因素。
2、与AI相关的案例及其法律问题的提出。当我们了解了这个背景之后，再往下看就比较容易理解，跟人工智能相关的案例会涉及到哪些法律问题，我们将举出一些例子。如索菲亚与法律主体问题。索菲亚也来过中国，中央电视台做过访谈，也问她你怎么过来的？她说我是坐飞机，但没有座位，被关在箱子里的，这样有点委屈了，她是有公民身份的，装在箱子里。索菲亚这个问题就变得有趣而复杂，首先是个公民，阿拉伯政府给他的公民身份，有法律地位，确保她有一定的权利。索菲亚自己说的将来要做很多事情，要创作、经商，要成为房主，最后要构建自己的家庭。这都是她的权利。这个地方如果从公民身份来说，一个公民的确有这些权利，法律上没什么问题。但从技术角度来说，索菲亚是一个人工智能机器人，机器人怎么可能具有这些权利呢？索菲亚特殊的身份，既是一个公民，又是一个机器人，所以这里面就有一种奇幻的方法放在一起，这个问题就变得复杂起来。
送餐机器人的“劳动权利”，餐厅前后运动的机器人，要把它当做一个工具，减少服务员的工具的话，这个送餐机器人没有任何问题，也不会涉及到其他的法律，劳动权利的问题。这里面机器人有没有权利，假设如果索菲亚在这个酒店做这个事情，问题就出来了，首先一个公民做这个事情，有权利索取劳动报酬，然后这里面，创造劳动出来的利润增长算不算财富，算不算一种价值。送餐机器人所从事送餐活动是不是一个劳动，相关问题就出来了。活动是不是劳动，如果是劳动他创造的是不是财富，他是不是有享有报酬的权利，这都是跟法律相关的问题。思想界争论很大，目前关于机器所从事的工作，比如说汽车装备厂的装配，送餐机器人送餐都不是劳动，只能看作人的一种延伸，比如说替代服务员，但不等于替代服务员的工作。比索菲亚还要低一级的机器人会出来这样一些问题。
另外大家看到的是Uber致死案，这个是法律界同学接触最多的例子。2018年3月20日Uber出现一个事故，自动驾驶在路上走，撞到行人撞死了。碰到的问题是责任由谁来承担，由研发者来承担，还有由运营者来承担，还有使用者。如果自动驾驶汽车是法律主体的话，如何为人工智能定罪量刑。如果它是一个单独的主体，研发者、运营者、使用者都不承担责任的，它可以自主决策，人工智能有自主决策的能力。这个问题就变得很难去处理了，怎么去给它做一个量刑。
再一个案例是法官眼里的AI 智能体，提到了四点，1、政府是否该依赖计算机程序做出某项决策？比如说这里面像人工智能我来判定一个人到底有没有犯罪的趋向，那么现在技术界已经有相应的一些论文出来了。比如说交大有个教授曾经发一篇文章，人工智能可以根据一个人长的样子判断他是不是潜在的罪犯，或者犯罪的概率多大。文章的背后依靠统计了一些罪犯的面部数据，最后构建出一个模型，最后模型精细到比如说眉毛的距离，嘴角的距离或者形状都可以来判定一个人是不是罪犯。如果这种技术很成熟的话就出来一个问题，比如说系统判定某一个人有罪犯的可能性的，这个时候政府是不是要采信计算机或者人工智能所带来的判断。2、担忧和争议来自人工智能所谓的“机械理性”。人工智能有三大能力，感知能力、决策和判断能力，还有行动能力。决策就是机械理性，依靠神经算法，机械的机制来作出的决策，这种决策比人还要理性，因为人在做决策的时候会受到情感的影响，机器不会受到情感的影响。3、网络安全风险及其他不利影响。4、如何向公众解释决策过程中将遇到的困难。这里面有很大的困难，AI决策是个黑箱。人工智能碰到最主要的问题，比如说依靠神经网络的算法，算法分层可以达到十层或者更多，现在技术专家没办法做出解释，完全成了一个黑箱。这时候怎么样给公众解释它做决策的过程。比如说前面判定一个人到底有没有犯罪的倾向，假如做出一个判定，这个人有犯罪倾向，但怎么作出这个决策，技术专家解释不出来，只能说根据历史的算法。这里是和智能体有关的话题。
2013年美国人做了一件事情为了减少工作人员审理纸质文件的负担，并提高案件决策一致性，美国一个部门推出一套计算机系统，这个系统用来处理退伍军人残疾索赔的。有一个WATSON的程序，根据判定他得到多少赔偿，在这里面就有决策的问题，给什么样退伍的军人，决策就会带来一个问题。当机器作出决策，作出来以后，我该在什么程度上去采信它。它作出的决策是不是能够带来绝对的公正？这几个例子当中就呈现几个问题，把当中的问题做了一个概括。虽然五个六个案例涉及到两个问题：一是AI的主体性问题。二是AI的决策行为。主体性问题要追问这个机器人是不是具有意识，是不是一个法律主体。它是不是应该享受相应的权利和法律的责任。如果我们说索菲亚是一个特例，阿拉伯政府为了博人眼球做的事情，给索菲亚机器人赋予公民身份。现在学界、技术界做一件事情，探讨人工智能会不会具有自我意识，这个时候它向人类提出它相应的权利的时候这个问题怎么处理？回到一本书，弗兰克斯坦，你创造了我，你就要教我学习，包括别人对它的理解、尊重等等这些东西。
3、将AI道德化的几种形式。在技术界包括哲学界也探讨一个问题，AI具有自我意识到底是什么意思？这个问题到底是什么样一个问题，如果这个问题成立的话，获得一个认可结果的话，接下来就是法律的事情。第二个是决策行为，这个维度是不考虑主体问题的，不把机器人看作是一个主体，只考虑它作出决策这位行为。比如说决策的根据是什么？比如说机器人做决出是靠一些历史的数据，比如说罪犯的照片，这些数据。这个数据所作出的决策是不是公正的决策？这里面会带出偏见问题，就是AI在做决策根据数据进行学习的时候会带来偏见的问题。谷歌曾经做过一件事情，招聘很多人递简历，有男也有女的，但谷歌把所有招聘系统女性的资料全部删掉，只让男性面试。这是偏见的问题。一个黑人把他的名字输入到谷歌里面去搜，结果发现他这个名字和犯罪，和信誉不良这些东西联在一起的，但是他换了一个白人的名字输进去以后发现和良好的社会信誉，较高的社会地位这些东西相关，这个就很奇怪，这就是偏见，根据历史数据会形成这样一些问题。
这些案例就涉及主体：AI是不是一个主体或者智能体？AI是不是一个决策行为，是不是理性行为。把握这两点就形成分析框架，智能体和行为的关系。智能体
接着我们看一下将AI道德化的几种形式。右上角这本书和左边的照片说明一点，我今天这个报告的想法是来自于Verbeek，受他的启发。在《将技术道德化》里面就谈技术和人的关系，技术会起到一种类似于道德主体的这种作用，会调节人的行为。举个例子，比如说到校内的减速带骑自行车到那里会自然而然慢下来，这个减速带是调节你的行为，让你变得更加的伦理性，你考虑到骑那么快会产生对他人对自己来说不好的结果，有了减速带会采取这样的行为。在他的书当中有很多这样的例子，谈一个核心的问题，技术会调节我们的行为。还有一个例子，像大家去坐火车，买票的时候，会发现放身份证的面是斜的，因为很多人原来设计是平的，很多人放在上面会忘掉，这样斜着会提醒你不要忘记，这种称为软性的调节，助推这个概念。跟刚才所举的自动售票机斜面是一个例子。还有强制性调节，减速带就是强制性调节，到那必须慢下来，否则就要受到伤害。
在这个时候就会牵涉到这样一个话题，技术做了一种道德化的转变。根据他的理论出发，就来探讨什么是将AI道德化？这里存在三个维度：
（1）把AI作为一个道德主体来看，就会调节你的行为。比如说你跟一个很懂礼貌的机器人对话，你自己也会变得礼貌起来。但如果跟一个口标脏话的人工智能去对话，这个时候会发现你也很容易说出脏话。
（2）AI的可解释性与信任问题。比如说你去医院看病，医生说去拍片子，拍片子结果医生来采纳，医生为什么会信任拍的片子，为什么会信任？
（3）AI的偏见问题。源于算法和数据，历史数据和算法的一个偏见。在这里面有一个例子，发生在美国的一件事情，有一个女性她想去应聘某一个学校中学老师，她把她的简历发过去了，初审过了，因为成绩还蛮好的。一直在等待面试的通知，有一天有人给她打电话说我们不录取你。她觉得很奇怪，有人举报，就相当于给他发了一个电子邮件，照片就是女的十年前在酒吧里喝醉以后的醉态的照片。这个照片是发在facebook上面的照片。她说这是我十年前的一张照片，我现在已经不喝酒了，完全戒酒了，为什么还要作出这样的裁决。招聘单位说没办法，我是系统作出的判定，根据历史的数据信息来判定你这个人是什么样的，这样就会导致有偏见的判定结果。这三个问题是这本书所出现的一些维度，延伸出来作为后面分析问题的框架。
人工智能会作出一种主体存在，这个时候更多地用智能体这个词，翻译上有很多讲法，智能体、代理人、主体，本次讲座中主要采取“智能体”的翻译。还有个相关哲学概念，主体（subject）。这两个概念放在一起会产生复杂的问题。需要澄清。智能体大家看到作为虚拟主体的智能体是由一种技术在后面做支撑的，GAN的技术。大家看到这两幅图，这个人脸在不停地变化，左边这张图，这个图展示的人是不存在的。这个人是上了一个节目的，大概是一段会议的主播。你怎么去判断这个人到底存不存在，我们看到一个人的照片，我马上判定肯定有这个人存在，现在AI生成的虚拟主体会发现这个人不存在。右边的人在变化，生成网络不停地变化，从男孩到男子，不停地的算法在不断地生成。这个人到底在不在？这个人到底是谁？智能体具有什么样的能力？认知能力是毫无疑问的，在科学界的研究已经断定了人工智能是具有认知和感知能力的，是具有学习能力的。记忆情感能力，现在学界包括技术界、哲学界也在探讨一个问题，人工智能它有没有情感，我们能不能设计出有情感的机器人？毫无疑问了可以设计出来了，像一些陪伴机器人，它必须有一种情感反映能力，它能够理解人的情感。还有一些家庭的机器人，比如说看护的，还有配偶型的机器人，它必须要有情感，没有情感的话，没有人愿意和它在一起。这里面就会出来一个问题，智能体具有这么多能力，认知、记忆、情感，这样一些情感能力的具备意味着，你说它有没有自我意识，这个问题会发现更底层的，跟哲学有关的问题，我们可以不探讨，但是必须要探讨，当这个机器或者智能体能够表现出来理解你所有的一些反映，你的一些行为的时候，你怎么去面对它？比如说你生气它能够安抚你，你高兴它能够跟你一起高兴，你有什么想法能够帮助你疏导，这个时候你就面对一个人，甚至比人还要更“人”，因为它能够跟你心有灵犀。
智能体的伦理责任、道德心、良心，智能体会不会产生道德心、良心？现在比较保守的判断，我们给智能体输入道德编码进行道德判断，这个道德判断是人外在输入的，我进一步探讨这样的问题，机器会不会生成一种道德心，不会生成一种良心？我们推演一种前提，计算机如果有记忆能力、情感能力、回忆能力，道德心是可以生成的，道德的基础就是情感。
作为道德主体的AI，这里面主要是跟刚才提到的Verbeek相关的，这些技术可以调节人形成道德关系，这里分两类：纯软件、语音助手、图像分析软件、搜索引擎、语音和人脸识别系统等，这是软件层面的问题。还有一个是硬件，嵌入式硬件，把一个编码输入到固体的硬件当中，比如说机器人、自动驾驶汽车、无人机等等，这都是硬件设备。将来比如说这个话筒会变成一个AI，我说着话觉得不舒服了，它会变形，机器人形状可以千变万化的，可以采取任何的形态。除了道德主体之外还有其他的问题，人工智能的行为，目前这几类行为，解决问题、推理决策、学习、交流、感知和行动。这是一个人工智能学者的一本书当中把人工智能的行为揭示下来，这些行为在工程界已经解决了，往这个方向在走，机器可以学习、交流、感知。
这里面有个问题，当它都可以做这些事情的时候，我们怎么去信任它，这个问题就会带出来。把AI人工智能首先成为道德主体、对人的行为能够调节，还有防止它产生的偏见，相关信任的一些话题。
4、AI法律责任的本体论基础。对AI法律责任本体论基础问题做一个探讨，AI道德化理论探讨的作用是什么，为AI法律责任的本体论探讨提供一个根据，再进一步需要挖掘背后哲学本体论的根据。法律界的案例关于自动驾驶汽车，法律主体责任探讨的话，就依赖于理论上的呈现。这里面有几个，从自动驾驶特殊案例入手。自动驾驶汽车是什么？是系统还是主体？所谓系统的话，这个系统是具有智能性的，由研发者、运营者、使用者、行人，最前面是自动驾驶汽车，汽车是一个智能主体，在这里可以形成五种因素所组成的一个系统。这个系统不是主体，跟主体没关系的。这里面相当于不同的元素组成的一个东西，称为技术系统，如果出了错，如果出现了事物，相应的责任就可以从这个系统当中各个元素去找到。比如说谁承担责任，研发者比如说设计的时候出现问题，设计瑕疵，我就要找研发者。运营者比如说道路规范上出现问题，找运营者。使用者开车的这个人出现了问题，就要找他了。行人具有过错就要找行人，在当中责任会不断地分解下去。这是一种探讨。
另外一种探讨，自动驾驶汽车本身就成为一个法律主体，刚才前面说到了，AI具有感知能力、回应能力、情感能力、道德判断能力，这个时候就变成一个主体，相应的责任它自己完全可以承担的。但是一个难题怎么样去量刑就变成了一个头疼的话题。
自动驾驶汽车是强AI还是弱AI？这个问题比较容易回答。所谓的弱AI，机器能否像人一样思考行为。强AI是机器能否真正的思考。在我们目前所看到的自动驾驶汽车当中，它们是属于弱AI，可以像人一样，比如说走在路上有障碍会绕过去，前面有危险会停下来，人也有这样一种特性，它能够像人一样行为。能不能像人思考？可以。可以通过很多感知器来判断，前面是什么样的人，它可以作出这样的判断。它完全是弱AI，它是不是强AI，这个不知道，很难断定。下面这是一本书的章节，在这本书当中就提到几个，一个是强AI，一个是弱AI，划分了。强AI就是机器能够真正的思考，弱AI就是机器像人一样思考。
自动驾驶汽车是可解释性的AI吗？刚才说它是弱AI，是不是可解释的，运行原理能不能被解释，自动驾驶汽车的决策靠什么做出来的，有深度学习、强化学习、生产性对抗网络，带来一个重要问题就是不可解释性，是一个黑箱，黑箱打不开。这个时候自动驾驶汽车作出的决策没办法断定它是怎么决策，它是理性行为，还是有意识的杀死某一个行为的决策。可解释性的问题就会带来一系列的法律问题、透明性、偏见、隐私安全等等问题。
自动驾驶汽车是一个智能体还是主体？在很多情况下我们是把自动驾驶汽车看作是一种智能体，而不是subject，subject是所谓的主体。主体就是能够自主行动、自主设计、自动定向，包括自我反思能力，但目前看起来自动驾驶汽车做不到。未来强AI能不能做到？当然是可以的，就可以像人一样去思考，可以做到这一点。智能体是一种行动者，强调环境相关的作用。
之所以把自动驾驶汽车说成是一个智能体，有一个方面是技术上的根据，另外有哲学方面的根据。首先看哲学的根据，Poole加拿大人工智能非常有名的专家，他就讲到，人工智能或者AI是研究智能化行动的计算性行动者综合和分析的领域。人工智能和AI，英文的表述，人工智能和AI越来越分开了，AI指的是作为产业，技术的人工智能。但artificial intelligence有个特定的含义就是人为的、人造的一种智能。与之相关的比如说machine intelligence，所以artificial intelligence是一种人为的，不是自然的东西。Artificial intelligence有个特定的一块，我们要讲人工智能作为一个产业，一个技术，用缩写可以的，要小心去用这个artificial intelligence，很多时候发现是分不开的。
Russell也是一个人工智能的专家，他提出来人工智能是一种理性智能体，他做了界定，在理想状态下，一个智能行动者在一种情景中采取最可能的行为。专家把人工智能看成是理性的智能体，而这个观念就会获得另外一个根据，就所谓的哲学上的根据。康德他对智能体的讨论也是比较多的，他讨论到理性的主体，就是rational 智能体。关于康德的解释有这么一个词条说到，对于康德来说道德哲学一个非常重要的目标是什么，显然是作为道德主体，充分的理性主体必将服从于他们。在这里面道德主体的概念被提了出来，moral 智能体、rational 智能体这样一些概念。理性主体最主要的属性就是自主性，就是我能够做出自主的判断。比如说作出一个道德行为，是我自己判断的，我出于责任心，出于良心的结果。这个时候回到理性智能体，如果是一个智能体必然会作出一种道德决策，也会有一种自主性存在。
Floridi.L这个人谈道德性的智能体，这个人可以说是在人工智能和哲学界架了桥梁，他也是个哲学家，但是他所有的研究都跟人工智能相关。他谈到在信息伦理当中，存在着为了不必然废除自由意志、精神状态或者责任的道德性人工行动者概念的重要的范围。机器是可以成为一个道德主体的，也不需要为它辩护它有没有意志自由，比如说我是一个道德主体，我作为一个人，我是一个道德主体，很重要的我是具有自由意志的，可以自己做判断。一个机器或者我面前的话筒假设是一个机器人的话，它可以作出一个判断，但是它没有自主行为。但是在Floridi.L这里告诉我们前面的设定是不需要的，不需要让一个机器成为一个理性主体，或者一个道德主体，不需要强制性的给它加上一个自由意志的条件，它有自己的一套逻辑，从自己的自主意识生成一个道德判断。
这样一来就有个问题，我们如何看待自动驾驶汽车的行为？自动驾驶汽车的行为是理性行为吗？肯定是。从技术角度来说，这里面所说的计算性理性、交互性理性，这是技术专家提出来的。实践理性，这是道德化的主体，这是伦理学所做出的一个分析。根据大多数学者的认识，自动驾驶汽车的行为是一个理性行为，是一个自主作出决策的行为。
第五个问题就是自动驾驶汽车的行为是自主决策吗？答案是肯定的，根据康德、和Russell的观点它就是个自主决策行为。人工智能三种活动主要的形态有感知、决策和行动。充分感知环境或者情景的情况。决策是根据收集到的数据作出一种信息的转化和判断。行为方面，如果前面作出一个决策的指令，这个时候就可以作出一种行为。这个是自动驾驶汽车在作出行为过程当中三个过程。相当于把这样一个自动驾驶汽车本身技术层面的机制揭示出来，这种揭示只是在一种粗线条或者一个框架上面揭示出来，好像告诉大家自动驾驶汽车有这三个过程，首先感知，然后做决策，最后做行动，是一个自主的行为。但实际上背后，三种活动每一个都是依赖于深度学习和神经网络。但深度学习和神经网络最大的问题就是不可解释性，因为层次太多，很难对它作出一种解释。所以自动驾驶汽车的行为是一种自主决策，但是不可解释的行为。
由此以来，我们把这几个问题相关的结论放在一起就可以对刚才最初提到的问题，怎么样看待自动驾驶汽车的行为，它是不是一个主体，就有了一个比较明确的回答。感谢各位同学，接下来有什么问题我们可以做一个探讨。
陈吉栋：我作为老师，也是学生，说说我的心得也算是一个小的总结。杨老师为了解决这个问题，将人工智能道德化，他介绍了一下背景，介绍了一下社会，国外的发展情况，斯坦福的、MIT的发展背景之后，用自动驾驶汽车典型的事例给我们演示了一下，怎么分析自动驾驶汽车典型事例，提出了一个智能体和行为的分析模型，一个分析框架，接下来五点都是在这个框架下来分析的。自动驾驶汽车是不是一个主体，杨老师在这个问题上回答了，他用智能体这个东西来分析的，有一个简单的，杨老师分析的结论是在智能体跟行为这个框架下，首先分析了智能体几种观点，比如说康德的观点，最终的结论是什么？
杨庆峰：自动驾驶汽车实际上就是一种智能体，还是不能把它当做subject。
陈吉栋：是一个能动体。然后接着在行为这方面，杨老师的结论是自动驾驶汽车可以做出一个理性行为，可以作出一个自主决策，虽然决策的过程可能是不可解释的。它是一个能动体，它是可以自主决策的，最终就回到法律上来，法律上怎么来分配这个责任，这怎么来适合？
杨庆峰：哲学思考和法律界思考多少有一些差异，你们可能考虑具体事例当中一种操作性的问题。你是把它看作是一个系统，这个时候分配责任就好分配了，而且也能够说服，大家接受这个结果，但如果把它作为一个法律主体，所有责任分配到它身上的时候，在目前这个情况下是做不到的。假设碰到一个案例，作出一个断定，所有责任都要归到技术身上，在我们一般常识当中是很难去接受的。从容易操作性角度来说，作为系统的智能体，或者自动驾驶汽车是这个系统的一部分，这种观点是可以给法律界提供一个根据，但是后面这个观点没办法作出一个根据，作出的行为是一种自主决策行为。
陈吉栋：关于自动驾驶汽车如何划分责任的问题，我们法律上司法学习民法的时候第一章就是主体，有法律人格是主体，怎么是具有法律人格？自然人很简单，出生。只要你出了，就是产出，又生，能独立呼吸就是主体了。从我们法律的历史上，司法史上发现，在罗马法上，咱们大清律例的时候，很多自然人他不是主体，他不是法律上的主体。这在法律人格上，彭老师有一个观点，这个阶段叫人可非人，他是自然人，但他不是主体，不是法律上的人。到了文艺复兴，启蒙运动，任何人自出生就具有法国国籍，那就是拿坡仑的法典，法国民法典，一切自然人都具有主体地位了。再往后的观点是非人可人，不是自然人也可以是法律主体，比如说公司，公司可能是成为主体，我们中国特色的两户，个体工商户，农村土地承包经营户，他也不是自然人，也可以成为主体。所以在法哲学领域出现一种讨论，主体的泛化，主体的扩大趋势。
接下来的讨论山是不是主体、河是不是主体、动物是不是主体？昨天新西兰有一个报道，新西兰竟然把一调和赋予它法律主体地位，它是一个法律主体，有个很长的报道。这就促使我们思考法律到底如何思考一个非自然人的主体它是否具有主体地位？这是个问题，AI给我们提了一个事例，提了一个思考的样本，让咱们来思考，到底怎么来思考这个问题。后来我也想了很多，在上大学报、当代法学上发了两篇文章。非自然人的，自然人不用说了，出生就具有主体，同类首先应该是关心的，人类文明发展的一步。人之外的东西是不是主体，我们要对它进行（要件化）的思考，首先它一定能够自由的活动，这是它成为一个，你说它有意识吗，不考虑它有没有意识，但是它能够自由活动，它能够产生行为后果，这就是杨老师给我们提供一个很好的，把“桥梁”打通了。百思不得其解，为什么人讨论他有意识才能成为主体，像人工智能物，只能体的时候怎么讨论意识，现在杨老师给我们提供的线索，可以从事理性行为，可以从事具体决策，你不是静止的东西，自动驾驶就上街可能产生损害，这个损害跟你是没关系的，我是车的所有人，即便我坐在这个车里面，我没驾驶它，然后我们民法上责任怎么产生的，你得有过失，你有义务，没遵守义务，你违反了义务，你有过失才有责任，你没过失谈什么责任呢？我这个自动驾驶汽车它自动驾驶状态下，我根本就没有任何判断的能力。这个时候说是谁的过错，是系统的行为。在车自己的行为，是它的理性行为，是它的决策导致了这个损害的发生。如果这样的话，那车是不是个主体？这个时候就要进行要件化的讨论，第一个是它有没有行为自由，也就是我们法律上所说的意志，主要是说它自己能不能为行为，它显然有的。它有理性行为、它能作出决策。第二步是法律人思考一个很重要的点，是看你让它负责任有没有意义？你让一个车负责任，我们法律是一个社会科学，社会科学是要解决社会问题，不能越解决越麻烦。你让一个车去负法律责任有没有意义？太有意义了。如果你不让这个车负责任，它会找生产者，找使用人，这两方恰恰是技术得以产生、得以发展、得以使用、得以普及最主要的两个因素。如果你让生产者负责任，或者研发者负责任，那只要一有责任就是他的，这显然不利于研发生产。如果让使用者负责任的话，那么显然不利于这个产品的投入使用普及，也就满足不了刚才杨老师说的越来越生活化，越来越走进大家的生活这个目的。
那为什么这个时候，有了自动驾驶汽车独立的责任主体会有什么结果？不用找生产商了，也不用找使用人了，就找它就行了，有是它的行为导致的这个损害后果，问题找它有什么意义吗？在现在这个社会中自动驾驶汽车怎么找它？它怎么负责任？自动驾驶汽车能给它判徒刑吗？能给它判拘役管制吗？显然不行。对于法律人格思考的第二点，除了主观要件，意识要件之外，还有客观的要件，你要有物理的存在，像法人你有机关，像个体工商户你有财产。我们法律上看看自动驾驶汽车有没有财产，自动驾驶汽车怎么可能有财产呢？是没财产，但我们法律可以让它有财产，可以有财产。公司有没有财产，公司财产是谁的？股东的。你说公司那个虚无缥渺的存在有没有财产？是法律让它有，它就有了。法律怎么让自动驾驶汽车有财产，很简单。其实国外美国有人介绍，还有一本书《机器人是人吗？》这本书，智能产品的使用人，智能产品的生产者要在这个产品生产投入使用的时候缴纳一笔使用金给社会，建立一个foundation。这笔钱就拿来处理自动驾驶汽车损害责任的。设立一个保险专门处理这个问题，这样就剥离了研发者，剥离了使用人。这个有没有可行性，这个有没有意义？有意义，意义就是刚才说的，这个是有可行性的。
给大家举个例子，咱们都认为汽车致害的时候，那个人，驾驶人有过错才负责任，没过错负什么责任呢，驾驶员有过失，交警来分了，你三成，我七成，你五成，我五成。新西兰就不这样，新西兰没有道交责任这块，他们别分了，直接领保险了，保险公司赔就是了。如果要是用体现责任来解决这个问题，你分我分这个会有什么后果，警察先来判断一下，判断出来不服告诉吧，你去请个律师，法院开庭，得取证调查，这个社会整体上花了一万块钱的成本给你判了官司了，然后你最终捞到手里面的可能没有一千。相对于你的获得，整个社会运作的成本太大了，像这种事情新西兰就没有道交这一块的责任。我希望杨老师现场一定得指导指导，思法律的主体地位感觉太难了。
杨庆峰：吉栋老师分析的还是很清楚，关键的问题是把自动驾驶汽车看作是一个工具还是看成一个主体，如果只是在弱的AI角度去看的话，它就是一个工具，所以前面这样一套处理的方式是没问题的。但是人工智能和其他技术不同的地方就在于它不断地会在学习过程当中生成自我意识，在不断地往通用过程中，或者强人工智能在走。所以我们面对的是未来的问题，以我现在的方式去处理它的确是会碰到一个思想上的困惑，但是这个并不代表未来的问题不会按照他的逻辑去演化出来。如果能够设定我是在强的人工智能角度去探讨这个问题，整个问题就变得不一样了，比如说所谓的研发者也是人工智能，所谓的运营者也是人工智能，未来智能社会。因为哲学家可以畅想，未来社会就是人工智能，高级的人工智能设计低级的人工智能，高级的人工智能管理这个城市，当然会有一个新的问题出来，人去干什么？人还有什么意义？
这里面思考的一个结构，这时候可能机器反过来训练人，他会让你的行为变得更加的比如说道德化。这个时候技术给我们带来的一种，在技术哲学当中去找到一个理论，什么是人性，人性就是一个约定、规定，所训练的结果。在关键上面是把它看成是一个工具，还是看成未来强人工智能的主体。
陈吉栋：如果是强人工智能主体必然就有意识了？
杨庆峰：比如说它有自主行为、理性判断行为。所谓的强就是意识层面了，意识这块由于现在整个科学的发展，把所有的意识有的看作是随附现象，真的是行为。所谓的意识是个虚幻的结构，就是行为，行为是实在的。好像看似意识在背后主导的行为，实质都是行为，是你和环境发生作用的关联。人实际上就是智能体，在发生作用当中出现一种特殊的状态，意识。所谓的意识是一种人和环境发生作用过程当中生成的东西。一直在用主体这个词，用这个主体的词是在什么意义上用的？是智能体还是subject意义上？
陈吉栋：我们法律上的主体，我好像也给不出一个。
杨庆峰：因为哲学上面是分得很清楚。
陈吉栋：在哲学上人是主体。
杨庆峰：但是用subject这个词。
陈吉栋：我们法律上的主体，法律人格的讨论大致来源于康德的哲学。要这样来讨论我们用的是subject。
杨庆峰：但现在包括技术的发展，整个哲学也发生转向，更加强调比如说智能体这个意义的出现，传统哲学是基于subject作出来的，康德哲学，都是subject的哲学。但新出来的一些哲学开始反思批判，他们就更加强调智能体这个东西。明天请一个法国的专家过来做报告，他有是讲一个概念，就是importont和智能体联系在一起，智能体和环境发生相互作用的关系。
陈吉栋：比如说法律上说的像除了主体之外还有另外一个词叫人格，法律人格。你是主体，你是法律上的主体，但不一定有法律上的人格，但总之我的感触，我们法律主体范围的扩张可能绝对是建立在哲学讨论基础之上的，我们法律主体的扩张可能也要包括智能体，在法律领域的反映。
杨庆峰：法律界讨论这个问题的时候一定要把智能体引进来，才能解决现在所面临的比如新技术带来的问题。
陈吉栋：这本书里面把智能体翻译成能动体，也有翻译成代理人，可能能动体翻译在语言表达上更顺畅一点。代理是法律上专门的概念。
提问：之前例子里面有减速带或者调节人类的行为，使人类的行为能够更加的道德化。是不是代表着人类从某种程度上，人类的创造性也被这种技术给削弱了，或者影响了，大家生活在这个技术社会变得越来越规规矩矩，少了一些冒险或者是那种冲动。人工智能的发展对未来人类行为进行的调节，我们要怎么去把握将不利影响减到最低，而所谓的道德化，从某种意义上来说应该算比较主观的因素，如果将它作为大众所接受的转变为客观一点的属性。刚刚说的关于人工神经网络，是因为现在网络层次是十层越来越多，然后出现了理解性问题，可是早期人工神经网络就是因为层次太少了，所以就不够那么的先进或者智能化。这两者理解跟它更智能化之间如何去达到平衡呢？
杨庆峰：从最后一个问题回应，早期的像基于联结主义，还有很少层次的神经网络来跟人产生行为的话，会有个问题。比如说问它一个问题，你多大了，它会回应比如说几岁了，问常识性问题或者知识性的问题，中国的首都是哪里，它能回答的很好，回答准确，因为是知识性问题。但问他另外一个问题，比如说你能活多久，比如说下一步会干什么？那么机器就死机了，所以这就出现了它没法理解你的话，就没法回答你的问题。现在的神经网络比如说十层以上的深度网络学习机的话，它碰到问题，相对来说他能够有效的解决你提出的问题，比如说我能够活多久，他会理解这个问题，它能够搜索出相应的问题答案。比如说人的生命是有限的，寿命是多长会告诉这个答案。
比如说在生活当中，熟悉人之间的俚语，但和机器人去说这个话的时候它很难理解，越到常识层面，熟知的知识层面现在的人工智能是没法回应的。以前的回应是纯粹知识性的回应，它可以回应，它根本理解不了知识之外的所有东西。现在强人工智能是可以回应知识以外一些其他的问题。但一碰触到常识理解这个地方的时候它也是无能为力的，现在技术瓶颈在这里了。
提问：人工智能越来越智能化，会不会让人类处于规规矩矩很舒服的技术社会里面，削弱了人类的创造性？
杨庆峰：这个是一个科幻片想象的结果，有个科幻片叫《人工智能》。这个科幻片讲一个wali，是一个早期的机器人，然后有一个非常新的机器人。那个片子就是刚才所想到的一个场景，未来人工智能发展的很好，然后让人的行为变得不用走路了，不需要去思考了，只是去接受就行了。但我想说真实的，人工智能可以训练人，可以诱惑人，可以压制人，压制就是你所说的一种控制，控制人的行为。但是它有一种诱惑人，或者能够把某些人真正的一些潜在的东西激发出来，也有可能。除了压制那个层面，还有一个是激发的层面，未来人工智能对人而言，我觉得是一个双面的，一方面是有一种压制性在里面，另外可以激发出让你更加向上。
提问：是不是代表着人类如果算旧的人，在统治技术发展到一定的时候，人会成为一种新的人。
杨庆峰：哲学上有一个词叫做“后人”，我们都会变成后人。阿里塔就描写后人的追写，它是从身体的层面，比如说未来可以装上机器的身体。
提问：脑子也不是自己的，心脏都换了的话，那个时候我们还是我们吗？自己还是自己吗？
杨庆峰：这就是根本哲学问题，不仅是身体可以换，你的思想也可以换。哲学上有个前提，你要预设，肉体和精神，物质和意识是分离的，如果有这个前提就可以换了。
提问：是不是一个主体有很多的客体组成，分裂出很多客体？
杨庆峰：对的，二元论，出发点出发的话一个意识可以进入到不同的形态当中去，出现了特有的一种形态会出来。
提问：科幻片里面原代码放的概念里面可以分裂出很多个人，如果从现实生活当中一个最根本的现象，人们在跟比如说QQ上面聊天，很有可能比如跟你说话的方式，跟家里人说话的方式是完全不一样的，相当于客体表现吗？
杨庆峰：可以看作是一种客体表现。比如说一个人注册网名，可以注册不同的网名，可以换。每换一个网名就是自我新的展现。
提问：意味着人有很大的潜力，如果是机器人它会带动人去激发更好潜在力的发挥，这里面就像人格分裂里面有很多潜在层次分裂层次，有可能是好的，也有可能是不好的，我们自身也有一个预判，在道德观念里面。如果AI发疯了，是否能够被设立道德性，这个是问问题，是没有答案的？专家在构思这个问题的时候，我是学设计的，不太了解大体的概念是什么。最终会走向某一个什么样的状态是最为担心，把它推到极致是什么样的状况？
杨庆峰：人工智能和人吗？
提问：刚才这位同学所说的，担心技术以后，我们什么样的技术是有利于我们的，我们怎么判断是否有利还是无利。里面有三个活动，第一个感知，是最为基本的，不管是交互设备还是其他都在做这件事情，同时这个感知的过程当中会发生很多问题，就像我借用一下哲学里面的思辨这个概念，思辨本身也是一个问问题的过程。并不强调答案，只强调的是我首先想问问题，然后再基于一定的推理作出一个预判的可能方向，也不是答案，然后让人，这个人到底算主体还是客体。它在这个环境里面会产生什么样的结果以此来去做一个预判？如何用你们这种哲学的包括这种社会的法律的来去推，它到达一个极端会变成什么样子？现在在做一个设计实验，这边一个主题，如果是推论达到一个极致的话，基于这个极致我们会做一个虚拟的空间，在这个虚拟空间我会提供给实验者进行体验，从中观察他们所有的行为来去判断这个是我们可取还是不可取，从实验的角度来去算它。但是怎么判定它有哪些几个极端最不想看到的，有一个抽象化的道具设计进去，这个是一个问题。你说的这个有可能是好趋势，不好的趋势，包括之间的矛盾，伦理的问题。这个伦理最坏的角度，对人和社会整个秩序会带来什么，变成什么样？
杨庆峰：秩序这个词开始，人类自身立法，再把它往深拔，这个立法不是人自身立的，比如说规律一些先在的法则，比如说自然规律，这不是人所立的，但这是最形而上的东西。往下走变成人类自身立法，相关的法律都是人类制定的东西。再往下走，危险就不是人类自身的立法，而变成机器的立法。这种情况下就是哲学当中所担忧的东西，对我产生一些伤害是没关系，那都是小的问题，真正问题是它规定了我的行为。比如说机器告诉人这样做是对的，这样做是最有利的，机器能够根据历史数据然后判定你这样做是最优化的行为。但假设不是一个最优化角度去考虑，比如说机器规定这样做是最公正的，把我认为它的偏见变成了公正。
前段时间写篇文章，最担心的就是机器对人的行为一种训练，它以自身的价值去训练这个行为，让人的行为符合它自身的一种判断。这个恐怕是最危险的。
陈吉栋：人不能自主？
杨庆峰：人也可以自主，变成人以为他的自主是自身意识所变成的结果，但实际上是机器人设计的结果。这就出现了一个问题，机器会不会成为上帝？机器人立了法你不知道，机器人构建了虚拟世界，我们都在虚拟世界生活，但我们不知道自己是虚拟的，这是最大的危险。
提问：在设计的时候有一个概念，我们一直在争论的，到底是模糊掉技术的痕迹，还是凸显出技术的痕迹，在实验过程当中，如果是模糊掉就有可能造成一个后果，我们身在其中，但我们不知道在其中。那如果说是明显的痕迹可能有一个好处是让他们时刻保持自己清醒的意识，在主体存在情况下观察自己的课题，这样一个关系。
杨庆峰：你刚才说要保持痕迹，技术的痕迹，我宁可把技术的痕迹，比如说路标，这个痕迹是隐去的。但是个路标，假设需要的时候路标就会浮现出来。这里面想到一个场景“一次元空间”以这个地方为目标，这个地方是一个技术的边界，如果生活在虚拟世界当中的一些人突破这个边界他就知道自己碰触到技术的边界，如果不碰触，比如说家长一开始训练他不要到那个地方去，那个地方是危险的，不要去，这种观点就变成他行为一个非常重要的指南性的东西，一生都不会去那里，那就没问题。倘若有人引导，就走到那个边界上去。还有类似于哲学家的思考，这个世界的边界是什么，这个时候会不会出现一种情况，路标，你需要的时候它浮现出来了，你不需要的时候，或者根据不去想的时候就不浮现，意味着技术的痕迹全部抹除掉，不需要了。
还有一个心理分析，在心理分析当中就会发现，当人进入催眠状态的时候也是完全进入到一个虚拟的世界当中去，在虚拟世界当中的时候是没办法进入到现实，但是这个催师是可以通过特定的方式让你回到现实。回到现实的做法，比如说一个声音，或者一个东西，这个就是类似于技术作为路标这样一个东西了。
提问：在虚拟现实里面有一个影响人的主要因素是在于可视化视觉，但即使坐在这戴着眼镜，比如说玩过山车会对人体机能产生很大的行动障碍。但大家知道是戴着眼镜也有一点半沉浸，半在外的感觉，这种让他去区分？
杨庆峰：虚拟新式技术现在主要能做到视觉神经，接下来的目标可能做那种触觉神经，根据我的看法人有五感，视觉、听觉、触觉、听觉、味觉。将来技术往这个方面走，不仅做到视觉层级，还要做到触觉层级，五感沉浸，这是极致方向。思考到这里的时候，突然一想我们现在就是五感沉浸。我们认为自己在一个现实世界当中，看到周围的人都是活生生的，我摸到这个东西都是硬生生的存在，我就是在一个真正的沉浸的世界当中，但这个世界是虚拟的还是现实的。
提问：退回到您这个主题，就相当于我们断定一个方向是模糊了技术的痕迹，技术是为人服务的，就回到刚才自动驾驶，这个车也是为我们人服务的，我们在去买它，买回来我们也付了钱，像陈老师说，我们要解决法律责任问题，还有给他付费，保险赔偿。派发任务是我们派发的，还有过程当中里面涉及到交给政府的会有纳税，还有任何一个你在马路上任何行使都是会付费的，这个钱是由持有者付的，还是车本身去付的，责任是承担了。
杨庆峰：这个地方两个考虑，如果需不需要付费这些东西，如果仅仅是工具，就限制在这个层面，让它作为智能系统的一个部分了，这个时候问题全部解决了。但是这是一个弱AI。如果再往前走一步是强AI，未来所谓的汽车它的功能，自动驾驶汽车对它做了功能性限定，它就是个汽车，只不过是自动的。
提问：我们在设计方案的时候会构思到这个地方，在想也是刚才说的责任人的问题，我们会涉及一个虚拟付费，里面会形成一个虚拟地，一旦发生任何一个什么事情，谁付费，谁负责，在系统里有个虚构，有些假设，里面会涉及到一些人反馈，会产生争论，虚拟的提案。前面进行设定的时候就要有很多的基准了，比如说今天讲的到底是谁的责任，法律上可以买保险，有好多种途径，现在这种是没办法定，如果想使系统得到后台数据，采到的数据准确，这些基准标准都要有，不然我们会出太多的方案，但也是不现实的。
杨庆峰：比如说现在的出租车司机，未来自动驾驶汽车这个钱付给谁？
提问：机器人能不能为你打工？
杨庆峰：这个问题就回到前面。
提问：如果机器人为你打工，机器人犯了事情是不是你来承担？
杨庆峰：从一个主体或者智能体出发，它可以做自主决策，可以做自主行为责任的确归到它身上去。要不要付报酬，这就包括经济学界、思想界最核心的问题，只有人从事的活动工作才是劳动，只有人的劳动才能够创造价值，这个前提不可动摇的。所以这个问题，送餐机器人在这不停地送餐，让它做24小时不存在任何的法律问题。但前提这是个观念，观念很牢固的，但如果观念发生变化了呢？假设我们设想一下，出现在强人工智能的世界当中，所谓的规则不是从人出发制定的，这个问题就完全变了，观念决定了后面所有问题的出现。
提问：这也是设计当中遇到的一个困难点。
陈吉栋：再次感谢杨老师精彩的讲座。谢谢！
