前沿动态
司法文明协同创新中心的建设目标是按照“国家急需、世界一流、制度先进、贡献重大”的要求,依据科学研究、学科建设、资政育人“三位一体”的方针,打造中国乃至世界司法研究的重镇、中国司法学科建设的平台、卓越司法人才培养的基地、司法文明和法治中国建设的核心智库。
陈增宝 张凌寒 :算法纠纷裁判中的场景化思维和审查方法 以杭州互联网法院相关案件为重点的实证分析
【法宝引证码】CLI.A.4127344
    【学科类别】网络法
    【出处】《数字法治》
    【写作时间】2024年
    【中文摘要】算法广泛应用的同时也带来一定风险,以司法规制算法、遏制算法风险的需求日益迫切。本文在梳理全国法院近十年的算法纠纷基本情况基础上,重点对杭州互联网法院15件典型算法纠纷的裁判难点要点进行实证分析,系统性地归纳了生成合成类、个性化推送类、排序精选类、检索过滤类、调度决策类等不同场景中算法纠纷的裁判规则,并对算法纠纷场景化审查的规律性特点和思维方法进行了总结提炼。在场景化审查中既要坚持系统思维,综合考虑政治、经济、社会和法律因素,又要秉持利益衡平、算法透明和分级分类的具体审查原则,注重区分涉算法因素纠纷和涉算法裁判规则重构纠纷两种类型,重点审查算法输出结果等三部分内容并落实三种程序。
    【中文关键字】算法纠纷;司法裁判;场景化审查;系统思维
    【全文】


      算法纠纷裁判中的场景化思维和审查方法——以杭州互联网法院相关案件为重点的实证分析
      随着数据跃升为与土地、劳动力、资本、技术并驾齐驱的关键生产要素,算法也逐渐从科技之“法”转化为社会之“法”。算法技术与应用不仅对经济发展具有重要影响,其设计、部署和运行也涉及国家利益、社会公共利益和公民个人权益。如何确保算法应用带来的成果由人民共享、促进以算法为核心要素的数字经济更好更快发展,是当今算法社会的重要议题,也是时代所出的考卷,需要人民法院从理论和实践两个维度深入思考并探索回答。本文在对全国法院尤其是杭州互联网法院相关算法纠纷案件进行实证分析研究的基础上,对算法纠纷场景化审查的规律性特点和一般思维方法进行了提炼总结,以期为理论和实践提供有益参考。
      一、当前算法纠纷案件的基本情况
      为全面梳理算法纠纷情况,课题组依托中国司法大数据研究院“法研灯塔”实证分析平台,对2013年至2023年全国法院审结的算法相关案件[1]进行了统计分析。统计显示,十年间,全国各级人民法院审结算法相关案件共136件,数量较少。造成这个现象,既有客观原因,又有主观原因。从客观原因看,此类案件属于新类型案件,案由不明导致发现不易,且界定标准往往难以把握。从主观原因看,由于对算法认识不充分,涉及算法歧视、算法霸权等问题可能难以鉴别,导致司法对上述算法纠纷倾向按照其他法律问题进行了裁判。
      经过对上述136件案件的分析,可以看出算法纠纷主要有如下特点:
      一是案由分布较为广泛,算法纠纷确定难。算法本身是一种技术,广泛应用于生产生活中,因算法导致侵权、违约等情况普遍存在,这就导致算法纠纷可以出现在各类案件当中,对应的案由难以确定,往往需要通过案件事实本身来反推该案由是否系算法纠纷对应的案由。前述136件案件中,民事案件118件。其中,排名前五位的算法纠纷案由分别为:侵害作品信息网络传播权纠纷(24件,17.65%),合同纠纷(15件,11.03%),侵害商标权纠纷(12件,8.82%),买卖合同纠纷(10件,7.35%)以及专利权权属纠纷(6件,4.41%)。
      二是涉及主体多元,法律关系复杂。不确定性的案由意味着算法可能涉及多种类型的原告、被告、第三人、专家辅助人以及不特定的公众等。如肖像权类案件中的自然人,网络服务合同类案件中的平台企业、其他消费者,知识产权案件中的权利人、平台企业、其他使用该算法的用户等,平台自治类案件中的自治相对人、平台经济生态中的其他用户、专家证人等。所涉案由越广泛,对应的案件主体就越广泛,相应的法律关系就越复杂,这也加大了算法纠纷的审理难度。
      三是涉及法益多样,损害后果具有不确定性。当前司法实践中,涉算法纠纷原告一般都是个体,鲜有群体性案件。但实际上,算法纠纷涉及的法益众多,如人格权、财产权、知识产权甚至生命权、自由权。算法是一个看起来比较“高深”的技术,群体对算法侵害自身权利的意识还没有觉醒,导致算法纠纷鲜有群体性诉讼。但算法可能侵害的权利不仅仅针对个体。以调度决策类算法纠纷为例,对外卖员的算法调度绝不仅涉及一个或者几个外卖员,而是不特定的群体。因算法检索导致侵害个体名誉权、肖像权的情况也可能不仅针对原告个人。众多被侵权人未选择诉讼解决甚至大意忽略,使得算法侵权看似危害较小。因此,算法所涉利益非常广泛,可能产生的后果也比较严重。
      二、算法纠纷的裁判困境:不同场景下算法纠纷审理中的主要争议——以杭州互联网法院15件典型算法纠纷为样本的分析
      算法的应用场景显然十分广泛。《互联网信息服务算法推荐管理规定》(以下简称《算法推荐管理规定》)第2条第2款规定:“前款所称应用算法推荐技术,是指利用生成合成类、个性化推送类、排序精选类、检索过滤类、调度决策类等算法技术向用户提供信息。”本文依据这五类算法区分了五种应用场景,并对相应案件的裁判难点进行了梳理分析。
      (一)生成合成类算法应用场景下算法纠纷的审理难点
      一是算法生成物的知识产权认定难点。一方面,影响“独创性”的认定。例如,在杭州互联网法院审理的游戏算法“捏脸”案[2]中,原告通过平台的“游戏捏脸系统”制作产生游戏人物形象,被告在所售产品中使用了该形象,原告认为被告侵害其信息网络传播权。由于案涉游戏形象并非原告基于传统工具创作,而是依赖系统算法,通过人机互动的形式制作完成,其中带有强烈的算法色彩,应如何考虑算法影响,对案涉游戏形象的“独创性”作出何种认定,是本案的难点所在。类似的案件还有该院审理的模仿“窗花剪剪”特效道具案[3]。本案原告某短视频平台上线了“窗花剪剪”特效道具,可实现与当事人的人机互动,制作短视频。后被告在其短视频平台上线了与“窗花剪剪”特效高度一致的道具。原告认为“窗花剪剪”特效构成视听作品,被告侵害其信息网络传播权。被告则以该特效的独创性部分主要源自用户等为由认为其不构成视听作品。另一方面,影响著作权权属的认定。例如,在杭州互联网法院审理的全国首例涉虚拟数字人侵权案[4]中,原告打造了虚拟数字人Ada并发布视频,后被告擅自使用相关视频,原告认为被告行为构成著作权侵权。案涉视频由Ada参与拍摄或作为角色出演,涉及虚拟数字人是否享有著作权或邻接权问题,对现有权利体系提出了挑战。
      二是算法“换脸”的归责难点。例如,在杭州互联网法院审理的AI算法“换脸”侵害肖像权纠纷案[5]中,被告公司运营的AI “换脸”App擅自使用原告的古风造型作为视频模板,供用户上传人脸替换,原告认为被告侵害其肖像权。又如,在该院审理的AI算法“换脸”公益诉讼案[6]中,被告通过AI “换脸”软件非法处理不特定多数人的人脸信息,深度合成伪造“换脸”视频、图片,危害公共信息安全。可见,如何评判算法“换脸”是否侵害他人的人格权、社会公共利益,是此类案件的审理难点。
      (二)检索过滤类算法应用场景下算法纠纷的审理难点
      一是平台使用检索过滤类算法涉嫌算法歧视的责任认定。例如,在杭州互联网法院审理的消费者因检索服务状告电商平台违约案[7]中,原告赵某在使用被告某公司运营的网络购物平台检索“国美冰箱”时,多次发现检索结果未将“国美”牌冰箱列于检索结果前列。原告认为被告对特定商家或特定品牌产品设置了算法歧视,致使其无法检索到想要的产品,属于瑕疵履行,构成违约。本案的审理难点就在于认定电商平台所使用的检索算法是否公平,从而确定平台行为是否产生了算法歧视后果及其责任。
      二是将他人商标作为检索关键词牟取不正当利益的认定。例如,在杭州铁路运输法院审理的利用检索关键词破坏算法排序案[8]中,原告某食品公司享有某商标的独占使用权,作为同业竞争者的被告公司擅自将该商标设置为其运营的某餐饮网站的关键词和广告语,使得用户以该商标名称为关键词进行检索时,被告运营的网站反而优先展现在搜索结果页的首页首位。原告认为被告恶意设置关键词的行为构成商标法意义上的商标性使用,已侵害其商标权,同时该行为不当增加了被告的曝光率,使原告丧失了部分潜在市场交易机会,属于不正当竞争。审理过程中,原告撤回有关不正当竞争的诉讼主张。本案难点在于如何对被告将他人商标名设置为本公司的竞价关键词,从而不当利用平台检索过滤算法,提高自身曝光率的行为进行定性。
      (三)排序精选类算法应用场景下算法纠纷的审理难点
      在该场景下,审理难点主要涉及电商平台展示商品排序的合理性认定。例如,在杭州互联网法院审理的电商平台商品排序案[9]中,原告在某电商平台搜索同一名称药品,搜索结果以“综合排序”显示,所展示药品价格并非为降序或者升序排布,导致原告购买药品价格偏高。原告认为,被告平台滥用排序算法侵害其合法权益,要求被告不得将综合排序设置为默认排序并将价格排序单列。诸如此类案件,电商平台使用排序精选算法为消费者节约了挑选商品的时间,但在这一过程中,平台是否会侵害消费者的权利,往往成为各方争议的焦点,需要法院综合认定。
      (四)个性化推送类算法应用场景下算法纠纷的审理难点
      一是平台不当使用个性化推送类算法构成侵权的认定。例如,在杭州互联网法院审理的《柒个我》长短视频之争案[10]中,原告公司认为被告在明知用户无版权上传《柒个我》影视剧片段的情况下,仍通过设置智能聚合、涉案作品话题等方式,在其运营的短视频平台中提供推荐大量侵权短视频,侵害了原告的信息网络传播权。又如,在该院审理的侵害《战魂》著作权案[11]中,原告公司诉称被告对其平台内存在的大量侵权短视频进行算法推送,在原告发出390次制止侵权的通知后仍未被有效制止,故认为被告侵害其信息网络传播权。此类案件重点审查的争议焦点是平台在使用算法推荐技术情况下明知或应知的判定、注意义务的承担及必要措施的履行问题。
      二是利用技术手段干扰平台算法推荐的不正当竞争认定。例如,在杭州互联网法院审理的直播场控软件虚增流量案[12]中,被告公司开发运营的直播场控软件可有针对性地在直播时添加关注数,进行批量点赞、送礼物、评论、关注、加粉丝团等操作,从而制造出虚假的热度和人气,影响直播间排序推荐、消费者对直播间售卖产品的选择判断等。又如,在杭州铁路运输法院审理的引流刷量干扰平台推荐案[13]中,被告公司运营一款聚合式智能刷量软件,具备自动打开抖音并自动实施批量点赞和评论、随机转发等功能,达到将指定视频刷上热门、截流同行粉丝、为指定账号引流的目的,不当干扰平台算法推荐结果。故两案原告公司均认为被告行为构成不正当竞争。审理中,如何依据不同的算法应用场景评价干扰算法行为的不正当竞争性,是两案审理的关键。
      (五)调度决策类算法应用场景下算法纠纷的审理难点
      一是调度决策类算法侵权的审查要点。例如,在杭州互联网法院审理的平台智能处罚案[14]中,原告注册使用被告平台账户进行推广盈利,后经被告大数据排查,认定该账户存在“流量异常”,遂冻结账户内佣金17万余元。故原告诉至法院,要求被告解除对上述佣金的冻结。又如,在该院审理的平台算法误判责任否定案[15]中,原告系某平台商家,因相关订单在短时间内快速完成下单、发货、收货,被平台预防性风控系统误认为虚拟订单,认定存在虚假发货、诱导收货等潜在风险,故交易资金900余元被自动冻结,直至冻结期限届满后解冻。原告认为被告平台运用算法技术造成误判,构成违约。
      二是算法个性化定价侵害消费者权益的认定标准。例如,在杭州互联网法院审理的平台算法个性化定价责任否定案[16]中,原告王某通过某旅行平台,就同一酒店同房型多次查询预订价格时,发现会员价远高于非会员价,后仍下单入住。王某诉称平台承诺会员享有价格优惠,但被告却利用算法将房间价格提高后对其进行“大数据杀熟”,构成消费欺诈,应承担惩罚性赔偿责任。本案的审理难点就在于如何认识算法个性化定价,并确定平台利用算法个性化定价实施消费欺诈的构成要件。
      三、算法纠纷的具体裁判:基于场景化的裁判要点
      通过前述算法纠纷的裁判难点可以看出,不同场景的算法纠纷特点不同,往往难以通过对现行法律的简单“对号入座”径行裁判,这就要求办案法官基于场景化思维依法对案件进行具体裁判。
      (一)生成合成类算法纠纷的裁判要点
      1.生成合成类算法纠纷的判断
      生成合成类算法指利用以深度学习、虚拟现实为代表的算法制作文本、图像、音频、视频、虚拟场景等信息的技术。主要应用场景包括:AI人工智能(自动生成文章、视频、音乐等内容)、元宇宙建构、VR技术(虚拟人、虚拟场景等)、对大量原始数据深度分析过滤提炼整合,以及脱敏处理后形成预测型、指数型、统计型衍生数据等场景。在此类场景中应用生成合成类算法产生的纠纷可称为生成合成类算法纠纷。
      2.算法生成物的独创性及著作权权属认定要点
      一是结合算法赋予用户的表达空间判断算法生成物是否具有独创性。例如,游戏算法“捏脸”案对用户使用算法制作的形象是否具有独创性进行了审查,认为“通常情况下,客观限制因素越多,则表达的个性化选择空间越少,独创性程度越低”。[17]涉案算法已经框定了游戏人物的发饰、服饰、身形等要素,并未向用户提供充分的个性化表达空间,故“捏脸”形象并不具备独创性,法院驳回原告诉请。前述模仿“窗花剪剪”特效道具案实质上也是基于算法设计的内容参数、资源和画面要素是否足够丰富,是否赋予用户充分的表达空间的分析,肯定了基础展示画面的独创性,提出了人机交互画面的独创性来源于基础画面。此类案件需要结合算法的具体应用情况,重点审查算法对独创性的影响。如果算法已经设计了足够的创作要素,用户参与并不实质性影响算法预定的创作轨迹和预设的最终成果,则一般不认为相关内容具有独创性。
      二是虚拟数字人的运行体现的是开发设计者的干预和选择,不具有作者身份。从著作权权属认定来看,前述全国首例涉虚拟数字人侵权案指出,虚拟数字人并非自然人,不享有作者身份,即便其创作的内容具有独创性,也不享有著作权。真人驱动型虚拟数字人更是如此,其表演创作实质上是真人表演的数字投射,当然不享有表演者权。因此,该案否认了虚拟数字人享有著作权和邻接权。同时提出,使用虚拟数字人形象的视频分别构成视听作品和录像制品,相关权利由原告享有。[18]对于此类算法主导生成内容的案件,还要结合当下算法技术的发展程度、具体应用场景中算法扮演的角色,根据现有知识产权法律制度,审慎认定算法生成物的知识产权归属。
      3.生成合成他人肖像的侵权认定
      实践中主要涉及提供深度合成“换脸”服务应获得权利人同意或授权,否则可能侵害他人权利。前述AI算法“换脸”侵害肖像权纠纷案的核心就在于被算法“换脸”后的肖像还是不是原告的肖像?法院认为,基于可识别性标准判断,通过“换脸”后的形象,普通人仍能识别原告身份,故原告对被替换的视频仍享有肖像权。被告未经原告同意,擅自替换原告“人脸”,破坏了肖像与主体的同一性,从而构成肖像权侵权。同时本文认为,AI “换脸”后的形象令第三人真假难辨,更易给被侵权人的名誉等造成损害,更具有被保护的价值。[19]AI算法“换脸”公益诉讼案则更进一步,从维护公共利益的视角否定了AI “换脸”行为。该案基于被告滥用深度合成技术,大量非法使用他人人脸信息进行视频、图片伪造,给不特定多数人的合法权益造成危害,破坏数字信任,从而认定其侵害了社会公共利益。
      (二)检索过滤类算法纠纷的裁判要点
      1.检索过滤类算法纠纷的判断
      检索过滤类算法是指通过建立内容索引树等方式,对内容进行搜索、筛取、过滤,形成用户偏好的结果,如关键词过滤、自动识别敏感字词、屏蔽信息等。其中,检索类算法场景主要有关键词检索场景和检索结果的中立性判断场景;过滤类算法场景主要有风险过滤类场景与内容屏蔽类场景。在上述场景中应用检索过滤类算法产生的纠纷可称为检索过滤类算法纠纷。本文将就关键词检索场景下的相关案件进行分析。
      2.平台使用检索过滤类算法涉嫌算法歧视的责任认定
      “算法歧视是算法控制者利用算法技术实施的、以算法决策为实现形式的歧视行为。”[20]算法歧视的认定在学界和实务界尚有争论,前述消费者因检索服务状告电商平台违约案对此作出了有益探索。对此,在审查电商平台检索算法是否公平时应充分考虑电商平台的功能定位、人工智能的发展阶段等因素,不能苛求其检索的精准匹配度与搜索引擎一致,对其提供的检索服务应适度容错。法院着重从以下方面对案涉检索过滤类算法的公平性进行了审查。其一,审查案涉协议是否违反法律的强行性规定、是否合法有效,并根据不同网络平台提供网络服务的行业惯例不同,提出不宜苛求电商平台的检索服务标准与专业提供检索服务的搜索引擎相一致。其二,考虑原告的举证能否证明检索结果的不公平性。通过检索其他品牌,法院认为,“国美冰箱”检索结果确与其他品牌存在差异。其三,考虑检索结果的差异化是否有正当理由。电商平台在提供检索服务过程中,会考虑品牌信息、知名度、信誉、销量等多种因素,从而形成检索结果的排序。但是,案涉检索类算法难以分辨“国美冰箱”具体指的是“国美”牌冰箱还是国美电器的冰箱,故可能产生差异,并不能据此认定被告提供了不当的检索服务。此外,法院还提到,要注重“保护消费者选择权与尊重电商平台自主经营权的平衡”。[21]因而不能据此认定被告提供的检索服务违约。
      3.将他人商标作为检索关键词牟取不正当利益的认定
      设置推广关键词是一种网络营销模式,商家在设置相应关键词后可以在检索结果中被优先展示,从而提高商业宣传效果。这是检索过滤类算法应用的一个典型场景。利用检索关键词破坏算法排序案系该场景下的法律纠纷。对此,若竞价关键词设置行为构成商标性使用,则应受商标法规制。该案中,法院对被告利用平台检索过滤算法的行为进行了评价。首先对被告设置竞价关键词的行为进行了“后台设置”和“前台展示”的区分。其中,“后台设置”是将商家购买推广的关键词设置在后台,仅能达到检索时排名优先的效果;“前台展示”则不仅能被优先展示,而且还能在检索结果页面清晰展示他人商标供用户参考,从而攫取他人商业利益,这也是本案被告的行为模式。显然,本案被告行为是带有商标性质的使用行为,容易造成混淆,构成商标侵权。[22]至于是否构成不正当竞争,需要结合当事人之间是否具有竞争关系,被告是否攫取了他人本应享有的数据流量、交易机会等综合判断。
      (三)排序精选类算法纠纷的裁判要点
      1.排序精选类算法纠纷的判断
      排序精选类算法是指以各类客观因素或主观因素为依据,设置、调整网络信息内容呈现排列顺序的算法。该类算法可分为排序类算法和精选类算法。其中,排序类算法场景包括电商平台排序场景与内容信息排序场景,后者即社交、新闻、音乐、短视频平台的排序;精选类算法应用场景主要是热搜与榜单。在上述场景中应用排序精选类算法产生的纠纷可称为排序精选类算法纠纷。本文将就电商平台排序场景下的一类案件进行分析。
      2.电商平台展示商品排序的合理性认定
      在自主经营权范围内,电商平台可自主选择其商品展示的排序方式。前述电商平台商品排序案从合同约定、合同目的和企业经营自主权三个层面对平台排序算法的合理性进行了审查。法院认为,平台基于合同约定向用户提供排序服务并无不当,其默认依据检索词、商品信誉、销量、好评率等因素对商品进行综合排序展示,能适合尽可能多的人群,更有利于实现合同目的。只有在电商平台提供的排序服务超出其经营自主权范畴、违反法律规定或双方约定或侵害他人利益的情况下,司法才可予以干预。
      (四)个性化推送类算法纠纷的裁判要点
      1.个性化推送类算法纠纷的判断
      个性化推送类算法是指各类信息网络平台采用个性化算法推荐技术推送信息,即通过人工智能分析和过滤机制对海量数据进行深度智能分析,完成信息内容与用户的精准匹配。其主要应用场景包括:个性化内容推送场景、个性化广告推送场景等。在此类场景中应用个性化推送类算法产生的纠纷可称为个性化推送类算法纠纷。
      2.平台不当使用个性化推送类算法构成侵权的认定
      法院认为,算法推荐的使用提高了平台的注意义务,但对其帮助侵权等的认定,必须结合算法技术的发展现状、具体应用场景、应用效果等综合评判。算法推荐服务客观上会扩大侵权短视频的传播范围,给权利人造成更大损失。前述《柒个我》长短视频之争案和侵害《战魂》著作权案均认定侵权短视频已经对权利作品形成了实质性替代,被告应当知道平台存在大量侵权短视频,被告在制止和预防侵权方面未采取必要措施,但考虑到当前的平台技术条件、双方权利义务的分配、有利于信息传播的导向等,不宜要求平台采取事前过滤拦截措施。《战魂》著作权案进一步提出,被告提供的算法推送服务,客观上助推了侵权短视频大量传播,并因此获取竞争优势,其应比仅提供信息存储空间服务的经营者对用户的侵权行为承担更高的注意义务,如怠于履行注意义务致使侵权短视频大量传播,可认定帮助侵权。同时提出,要结合用户侵权方式、信息管理能力等判断必要措施的实际效果,并结合平台的技术水平和行业特点判断采取必要措施的可行性和合理性。《柒个我》长短视频之争案也提出,应当结合视频分享传播模式、算法推荐技术、平台控制能力等特征认定平台的侵权责任边界。[23]
      3.利用技术手段干扰平台算法推荐的不正当竞争认定
      法院认为,应当根据虚构数据所干扰的算法推荐应用场景,判断该行为适用虚假宣传或是“互联网专条”。例如,直播场控软件虚增流量案提出,以直播场控软件帮助直播间虚构人气和流量,破坏了平台直播间评价推荐体系,尤其是在直播带货场景下,会明显误导消费者,使其对直播间热度、所售产品、用户评价等产生错误认知,从而为直播间带来不当利益、损害消费者权益、破坏市场秩序和平台生态,系虚假宣传的不正当竞争行为。引流刷量干扰平台推荐案中被告的虚假刷量行为覆盖面更广、危害更大,其面向的是体量庞大的短视频,可对平台内任一短视频进行刷量,给部分短视频制造虚假繁荣现象,直接干扰了平台的数据建模、算法推荐的有效运行,破坏了平台对短视频的管理、运行和推广。其不同于虚假宣传模式的刷量行为,故以“互联网专条”兜底条款予以规制。
      (五)调度决策类算法纠纷的裁判要点
      1.调度决策类算法纠纷的判断
      该类算法包括调度算法和决策算法。调度算法是指根据系统的资源分配策略所规定的资源分配算法;决策算法是指在不确定条件下进行系统综合评判所作最优决策的算法。其主要应用场景包括:外卖与网约车平台应用场景、公共部门利用算法决策的场景、企业调度类算法中的劳动者权益保护场景等。在此类场景中应用调度决策类算法产生的纠纷可称为调度决策类算法纠纷。为便于表述,本文将平台因自动化决策产生的纠纷纳入调度决策类算法纠纷。
      2.调度决策类算法侵权的审查要点
      一定情况下,需对算法逻辑演算过程进行司法审查,在此过程中应注意平衡平台利益、用户权益及公共利益。例如,平台智能处罚案的关键事实在于原告是否实施了算法判定的虚假推广行为,从而获取佣金。为查明该事实,被告委托司法鉴定并提交了鉴定报告,法院要求鉴定人出庭接受询问,被告负责本案大数据分析审查的工作人员出庭陈述意见,法官对大数据的逻辑演算过程进行了司法审查,从而肯定了平台算法运行的合理性,据此认定原告账户确实存在“用户点击推广链接但未实际到达相关页面”比例过高等违规情况,最终判定被告通过算法实施的处罚行为并未损害原告合法权益,故驳回原告诉请。平台算法误判责任否定案中,法院查明案涉交易真实存在,被告平台的自动冻结系误判。为进一步查明该误判行为是否系平台算法设计应用存在缺陷所致,法院要求被告说明案涉处置措施的理由,并开释预防性风控系统的算法逻辑、风控逻辑及用户权利保障措施。据此,法院指出,被告设置预防性风控系统的自动化决策机制的目的是履行监管要求和保护公共利益,本次误判系技术水平所限导致,并无算法歧视、算法滥用等侵害他人合法财产权益的情况,亦未给原告造成损失。此外,平台也设置了必要的权利救济措施,已经尽到了与案涉算法风险相匹配的注意义务。故不构成违约。可见,在算法引致的纠纷中,出现关键事实真伪不明的情况时,法院需要对算法演算逻辑进行审查,并依据算法技术的发展现状和法律规定,就查明的事实进行综合评价。[24]
      3.算法个性化定价侵害消费者权益的认定标准
      这主要涉及滥用算法个性化定价损害消费者权益的构成要件问题。算法个性化定价表现为“千人千价”,其基本特征在于经营者利用消费者的特征信息,向不同消费者展示不同的价格。正当合理使用算法个性化定价对经济发展和消费者福利均有一定裨益,[25]只有滥用算法个性化定价才会产生侵害消费者权益等问题。平台算法个性化定价责任否定案认为,判断电商平台是否滥用算法个性化定价欺诈消费者的要件应包括四个方面:一是实施了算法个性化定价行为;二是通过欺骗性营销、虚假陈述等方式,有意不告知消费者定价策略;三是使消费者形成对推送商品价格不过分高于统一定价的信任,进而作出错误意思表示;四是经营者具有攫取超高额消费剩余的主观故意。该案中,法院查明案涉订单酒店房间价格系由平台内商家自主设定的统一价格,被告平台也以统一且一致的价格对外展示,并未对王某进行个性化价格展示。因此,王某的主张难以成立。另外,王某的会员预订价远高于非会员价格,系被告错误标识所致,被告不具有以虚假宣传方式,对王某实施欺诈的行为和故意。且王某并非基于错误认识办理了高价入住。因此,法院判决驳回王某的诉讼请求。[26]
      四、算法纠纷裁判中的规律性思维:场景化审查的一般思路和方法
      通过上述五类算法场景中算法纠纷引起的裁判难点及其裁判要点可以看出,法官在审理算法纠纷的过程中均是根据不同的算法应用场景中算法纠纷的规律性特点和内在属性、算法技术的发展程度及其对纠纷的产生所起的不同作用等因素,归纳案件争议焦点,确定是否审查算法运行逻辑以及如何审查、审查到何种程度等,从而查明法律事实,确定法律适用,准确作出裁判。这也是场景化审查思维和方法的具体应用,即在系统思维的统领下,秉持利益衡平思想,坚持算法透明原则,落实算法解释权利,推动算法纠纷分级分类裁判,在不同应用场景中,具体把握裁判的关键要点,根据算法对法律关系的影响程度,确定是要审查算法技术,以及如何审查、审查到何种程度等,从而作出裁判。
      (一)场景化审查中的系统思维:政治、经济、社会和法律考量
      法官在审理算法纠纷中不能仅通过对法律问题的审查准确判断法律责任。只有坚持系统思维,既考虑法律法规,又考虑政策导向和产业现状,才能准确作出裁判,发挥司法规制算法技术风险、引导算法向上向善的功能。
      1.政策导向因素
      算法是一种新型的劳动工具,[27]对于新质生产力的形成有重要促进作用,是推动数字经济高质量发展的重要创新动能。在审理算法纠纷案件的过程中,要注重考虑促进算法发展这一政策导向,适当放宽对算法生成物相关权利的认定、对算法致损的容忍程度等,服务保障数字经济健康发展。
      2.产业发展因素
      算法技术尚处在不断发展演化的过程中,引发各类新型纠纷在所难免,如果忽略这一原因对算法服务提供者科以过重的法律责任,则可能阻碍算法产业的发展。如全国首例涉虚拟数字人侵权案,便是基于当前人工智能技术发展尚处于弱人工智能阶段,从而否定了人工智能作为“作者”的可能性。再如平台算法误判责任否定案,也是考虑到当前算法技术条件,提出对算法造成的偶发性错误应予容忍。因此,要确立司法驱动算法健康发展的理念,秉持包容开放的态度,审理算法纠纷,避免因个案裁判不当而阻碍算法产业的发展。
      3.法律法规因素
      当前,相关法律制度的制定完善与算法治理需求之间还存在时间差、空白区,算法对传统法律关系的挑战越来越大,传统法律法规在应对新型算法纠纷时已经捉襟见肘。这就要求法官结合个案,运用好目的解释、体系解释等法律解释方法,找准现行法律法规与新型算法纠纷之间的契合点,准确适用法律,强化裁判文书说理,通过个案确立裁判规则,实现“以裁判树规则、以规则促治理”。
      (二)场景化审查遵循的原则
      1.坚持利益衡平
      算法广泛应用于各个领域,承载着多重利益,在算法纠纷处理中,容易引发算法服务提供者、用户、社会以及国家等多元利益主体间的多重权益冲突。因此,必须把握利益衡平的价值理念,在算法纠纷案件处理中不断优化裁判规则,作出平衡多方利益的有益尝试。比如,要考量算法服务提供者的成本,不能对所有平台的技术水平设置统一标准。消费者因检索服务状告电商平台违约案结合平台的性质定位,认定电商平台提供的检索服务无需同搜索引擎一样准确,否则将不合理提高平台成本。又如,要考量平台运用算法所作决策是否系合理的平台自治行为,若为交易安全、公共利益使用算法,且尽到了合理注意义务,一般应认定为合理使用。如平台智能处罚案,基于平台智能处罚未损害当事人权利,且系其合理的自治行为,从而肯定了平台运用算法对用户进行治理的行为。
      2.坚持算法透明
      算法透明是算法规制体系的主要原则之一。相关主张认为,应向算法设计或部署应用者施加告知、备案等义务,要求其公开参数、披露源代码等,[28]我国立法也肯定了算法透明原则。[29]但是,要注意保持算法透明和保护商业秘密之间的平衡。算法作为算法设计或部署应用者投入大量人力物力研发的技术,给企业带来了巨大的商业利益,任何理性的经济人都不会无条件将其向社会公众披露。实践中,“算法主体常以商业秘密保护为由拒绝披露算法信息,且为获得商业秘密保护而强化算法信息的保密力度。”[30]但在诉讼阶段,双方当事人对抗激烈,彼此丧失信任,法官在查明事实并作出法律评价的过程中,需要打开“算法黑箱”,了解其运行逻辑。此时,面对商业秘密的保护,法官可以根据算法应用的公共价值、公开算法对算法设计或部署应用者带来的负担、算法损害当事人法益的严重程度、保障当事人算法权利的行使等因素综合衡量突破算法的商业秘密保护的限度,决定算法公开的内容和范围。因此,在诉讼这一不同于事前和事中的特殊算法治理阶段,法官通过个案落实算法透明原则在面对商业秘密保护抗辩时,尚有较大的突破空间。
      3.坚持分级分类
      分级分类是场景化思维的具体表现,不同种类的算法纠纷所要审查的重点有所不同,只有明确算法纠纷的种类,才能准确归纳争议焦点、确定审查重点、明确对算法运行逻辑的审查程度等。
      (三)场景化审查的具体路径和方法
      1.判断算法纠纷类型
      根据算法技术在纠纷产生过程中所起作用的不同,算法纠纷可以分为涉算法因素纠纷和涉算法裁判规则重构纠纷两类[31]。其中,涉算法因素纠纷主要是算法技术对法律纠纷的产生起媒介作用的纠纷类型。从法律适用层面看,不论算法的设计应用采取了何种逻辑,均不影响对纠纷的定性,只需要根据传统法律关系进行司法审查,不需要审查算法的运行逻辑。如游戏算法“捏脸”案、模仿“窗花剪剪”特效道具案、AI算法“换脸”侵害肖像权纠纷案、AI算法“换脸”公益诉讼案、利用检索关键词破坏算法排序案、直播场控软件虚增流量案、引流刷量干扰平台推荐案等,此类案件虽然均涉及算法技术,但仍然是围绕独创性认定、人格权侵权、不正当竞争利益的获得等常规的法律要件进行审查,是否审查算法运行逻辑尚不影响案件的裁判。
      涉算法裁判规则重构纠纷主要是算法技术对法律纠纷的产生起主导作用的纠纷类型。从法律适用层面看,此类纠纷中算法技术直接影响了当事人权利、义务、责任等的认定,需要法官对法律法规作出解释,树立裁判规则。从事实认定的角度看,该类纠纷可以细分为两种:一种是涉算法关键事实清楚明了的,可不审查算法运行逻辑;另一种是涉算法关键事实不清的,需要审查算法运行逻辑。前者如全国首例涉虚拟数字人侵权案、消费者因检索服务状告电商平台违约案、电商平台商品排序案、《柒个我》长短视频之争案、侵害《战魂》著作权案、平台算法个性化定价责任否定案等。此类案件中,算法技术对平台注意义务的认定、损害后果的发生、因果关系的认定、著作权归属的判定等都产生了实质性影响。之所以未审查算法运行逻辑,是因为或鉴于弱人工智能时代尚未赋予人工智能法律主体地位、或未发生损害后果、或算法技术与损害后果之间存在明显的因果关系、或平台显然未实施算法歧视行为,与算法相关的关键事实清楚明了。在平台智能处罚案和平台算法误判责任否定案件中,两案均存在算法自动化决策是否错误、是否侵害当事人财产权这一关键事实不明确的问题,故法院需要借助一定程序审查算法的运行逻辑,以此判断算法在设计运行过程中是否有违反科技伦理、法律法规、滥用算法等情况,从而判断平台使用的算法技术是否合理、算法自动化决策是否错误,并综合算法运行的目的、算法技术发展现状、是否发生了损害结果等内容,确定法律责任。算法霸权、算法歧视等新型损害引发的纠纷即属于涉算法裁判规则重构纠纷(见表1、表2)。
      表1 算法纠纷类别
      序号                算法分类                  审查程度
      1            涉算法因素纠纷              不审查算法运行逻辑
      2
      涉算法裁判规则重构纠纷
      关键事实清楚        可不审查算法运行逻辑
      3      关键事实不明        应审查算法运行逻辑
      表2 典型算法纠纷分类
      序号        应用场景              案例名称              类型          是否审查算法运行逻辑
      1
      生成合成类算法
      游戏算法 “捏脸” 案     涉算法因素纠纷         否
      2    模仿“窗花剪剪”特效道具案    涉算法因素纠纷         否
      3    全国首例涉虚拟数字人侵权案    涉算法裁判规则重构纠纷         否
      4    AI算法“换脸”侵害肖像权纠纷案    涉算法因素纠纷         否
      5    AI 算法 “换脸” 公益诉讼案    涉算法因素纠纷         否
      6
      检索过滤类算法
      消费者因检索服务状告电商平台违约案  涉算法裁判规则重构纠纷         否
      7  利用检索关键词破坏算法排序案  涉算法因素纠纷         否
      8     排序精选类算法     电商平台商品排序案  涉算法裁判规则重构纠纷         否
      9
      个性化推送类算法
      《柒个我》 长短视频之争案  涉算法裁判规则重构纠纷         否
      10  侵害 《战魂》 著作权案  涉算法裁判规则重构纠纷         否
      11  直播场控软件虚增流量案  涉算法因素纠纷         否
      12  引流刷量干扰平台推荐案  涉算法因素纠纷         否
      13
      调度决策类算法
      平台智能处罚案  涉算法裁判规则重构纠纷         是
      14  平台算法误判责任否定案  涉算法裁判规则重构纠纷         是
      15  平台算法个性化定价责任否定案  涉算法裁判规则重构纠纷         否
      2.落实算法解释权
      “算法解释权旨在通过赋予数据主体获得算法自动决策的解释的权利,明确数据控制者的解释义务,通过提高算法透明性达致重塑算法决策可责性,进而缓和算法决策隐私和歧视风险的目的,具有现实的正当性基础。”[32]算法解释权是实现审查算法运行逻辑,合理解决算法纠纷的基础权利。因为在算法纠纷中,作为用户的当事人举证证明算法致损的能力较弱。如果此阶段不推动以算法解释权落实算法透明原则,那么当事人取证或者要求法院向算法服务提供者调取证据便不具有权利基础,算法服务提供者完全可以以纠纷与算法无关、当事人无权获悉其商业秘密、算法难以被解释等理由拒绝披露算法技术信息,致使关键事实无法查明。因此,法官要根据算法纠纷类别,决定是否要求算法服务提供者对算法运行逻辑进行解释说明。其内容涵盖从一般性的释明算法致损过程到体系性说明算法从设计到部署应用到自主决策的全过程的全部必要信息。
      3.判断算法纠纷内容
      一是审查算法输出结果是否损害法益。一类是算法造成的损害是显而易见的,如直播场控软件虚增流量案和引流刷量干扰平台推荐案,当事人利用算法破坏平台正常运营的事
      实相对清晰,不需要审查算法运行逻辑。另一类则要判定算法的输出结果是否造成了损害,如平台智能处罚案,此类案件需要审查算法运行逻辑。
      二是审查算法设计的目标、设计和应用过程中是否存在有悖于法律法规、伦理道德等情况,算法本身是否存在安全隐患等技术缺陷。具体审查内容包括:对算法文档的审查,算法文档“涵盖如下内容:算法开发者信息、算法预期目的、投入市场形式等一般信息;系统所用的训练数据集、训练方法与技巧、数据集范围与主要特征、数据集如何获取选择、数据集的标准与清洗;用于衡量算法准确性、稳健性和安全性的指标,验证、测试和合规状况,等等”,[33]以及对算法技术原理、决策依据的数据、决策过程等的审查。具体评判内容包括:判断算法设计中是否嵌入了技术伦理、设置了恰当的安全模块、是否履行了法律规定的强制性义务、是否参照了行业标准等。审查算法决策主要考虑以下方面:是否产生了有损法益的不利影响、对当事人产生的不利影响是否大于对他人产生的不利影响、算法决策过程所选用的参数及其权重是否为算法主体进行商业行为所必须且合理、该可能导致出现歧视等风险的算法是否可替代等。至于审查何种要素,需要法官根据个案情况进行裁量。如平台算法误判责任否定案中,法院根据案件需要,要求被告说明案涉处置措施的理由,并开释预防性风控系统的算法逻辑、风控逻辑及用户权利保障措施,既保护了被告的商业秘密,又圆满化解了纠纷。
      三是审查算法设计或部署应用者的主观内容。“技术原理是中立的,但是技术的应用是包含主观意图的,应将平台算法设计部署的主观过错作为问责依据。”[34]当然,是否审查过错等主观意图要看算法主体所承担的法律责任是否包含该要件。如《柒个我》长短视频之争案和侵害《战魂》著作权案均认为平台应当知道侵权视频的大范围传播,且其算法推荐技术起到了推波助澜的作用,但平台仍未采取适当措施制止侵权,具有过错。
      需要强调的是,审查算法运行逻辑需要掌握“最小必要原则”,即法官应以查明案件事实为限,要求算法服务提供者对算法运行逻辑进行解释说明。
      4.算法纠纷的审查程序
      一是参考算法影响评估结果。[35]司法实践中,可以借助行政机关的算法安全评估等结果,判断算法的运行逻辑、运行结果等是否正当合理。
      二是合理设置举证规则。算法主体所掌握的算法知识远超一般人,算法解释权的落实又有赖于算法主体的配合,故而有必要增加算法主体的举证责任,以期更好地还原案件事实、作出法律评价。法官在审理涉算法裁判规则重构纠纷时,可以将举证证明相关损害并非因算法导致的证明责任适当分配给算法设计或部署应用者,要求其详细披露算法相关信息。如果算法设计或部署应用者拒不提供或者难以提供或者提供的证据难以达到证明目的,致使是否算法致损这一关键事实无法查明,可以结合已查明的事实推定算法致损存在。
      三是充分保护当事人的程序性权利。一是法官应当合理行使释明权。鉴于普通人在算法知识方面的薄弱,法官需要通过释明的方式指引当事人在诉讼阶段合理行使权利,以弥补双方当事人的能力差距。二是给予当事人充分的答辩和质证期限,充分保障当事人对算法申请鉴定、申请专家辅助人、技术调查官出庭、要求算法设计或部署应用人员出庭接受询问等权利。三是合理使用不公开开庭审理程序、为当事人设定保密义务,将算法公开的受众范围限制在必要且最小的范围。
      五、结语
      智能社会[36]中,算法已逐步发展为接管、替代人类作出部分决策的“准权力”。算法接管决策权力引致的风险一次次警示着人的主体性正在遭受来自机器的挑战。我们不禁要问,算法权力的界限在哪里?司法作为维护社会公平正义的最后一道防线,应当义不容辞地扛起捍卫数字人权[37]的使命,以裁判的方式树立算法治理规则,厘定算法权力边界。本文提出了算法纠纷裁判中的场景化思维和方法,以期对审理算法纠纷案件有所裨益,为实现数字正义贡献智慧。


    【作者简介】
    陈增宝,杭州互联网法院院长、第三届全国审判业务专家。张凌寒,中国政法大学数据法治研究院教授、联合国高级别人工智能咨询机构专家。
    【注释】
      [1]本文界定“算法相关案件”的识别口径为:裁判文书全文出现“平台算法”“算法技术”“深度合成”“生成合成”“排序精选”“检索过滤”“个性化推送”“调度决策”任一关键词的案件。
      [2]参见杭州互联网法院(2019)浙0192民初4122号民事判决书。
      [3]参见杭州互联网法院(2021)浙0192民初3494号民事判决书。
      [4]参见杭州互联网法院(2022)浙0192民初9983号民事判决书。该案入选“新时代推动法治进程2023年度十大案件”候选案例,详见央视新闻频道《法治在线》栏目报道(2024年1月2日)。
      [5]参见杭州互联网法院(2022)浙0192民初6186号民事判决书。
      [6]参见《未经同意定制AI “换脸”视频,还卖教程?这起公益诉讼案件判了!》,载微信公众号“杭州互联网法院”,2023年8月23日。
      [7]参见杭州互联网法院(2020)浙0192民初2295号民事判决书。
      [8]参见杭州铁路运输法院(2021)浙8601民初367号民事判决书。
      [9]参见杭州互联网法院(2021)浙0192民初6648号民事判决书。
      [10]参见杭州互联网法院(2021)浙0192民初10492号民事判决书。
      [11]参见杭州互联网法院(2021)浙0192民初5770号民事判决书。
      [12]参见杭州互联网法院(2021)浙0192民初1255号民事判决书。
      [13]参见杭州铁路运输法院(2022)浙8601民初731号民事判决书。
      [14]参见杭州互联网法院(2020)浙0192民初3081号民事判决书。
      [15]参见杭州互联网法院(2022)浙0192民初7971号民事判决书。
      [16]参见杭州互联网法院(2022)浙0192民初3419号民事判决书。
      [17]参见《“捏脸”游戏能捏出受著作权法保护的作品吗?》,载微信公众号“TA娱乐法”,2021年11月25日。
      [18]类似案例还有“菲林律所诉百度公司著作权案”,参见《菲林律所诉百度公司著作权案宣判,首次回应涉计算机软件智能生成内容著作权问题》,载微信公众号“北京互联网法院”,2019年4月26日。
      [19]类似案件还有“魏某诉武汉某网络公司‘AI换脸’侵权案”,参见宋潇:《“AI换脸”引发的纠纷:未经本人同意出于娱乐性质的“换脸”是否侵权?》,载封面新闻网,https// baijiahao.baidu.com/ s id= 1746571376511638206&wfr=spider&for= pc, 2023年12月15日访问。
      [20]宁园:《算法歧视的认定标准》,载《武汉大学学报(哲学社会科学版)》2022年第6期。
      [21]参见柯敏杰、曾宪未:《电商平台检索算法是否公平的审查——杭州互联网法院判决赵某诉浙江某网络公司网络服务合同案》,载《人民法院报》2022年1月13日,第7版。
      [22]类似案件还有“宁波某企业管理咨询公司诉上海某人才信息咨询公司不正当竞争纠纷案”,参见浙江省宁波市海曙区人民法院(2019)浙0203民初14507号民事判决书。
      [23]类似的案件还有“延禧攻略案”,参见北京市海淀区人民法院(2018)京0108民初49421号民事判决书。
      [24]类似的案件还有“意大利户户送有限责任公司算法歧视案”,参见罗智敏:《算法歧视的司法审查——意大利户户送有限责任公司算法歧视案评析》,载《交大法学》2021年第2期。
      [25]从经济学角度看,其积极效果包括:扩大产出,满足更多消费者需求;促进竞争;创造动态激励。参见喻玲、兰江华:《算法个性化定价的反垄断法规制:基于消费者细分的视角》,载《社会科学》2021年第1期。
      [26]本案还进一步提出,从一般层面看,在具体审查电商平台是否构成滥用算法个性化定价侵害消费者权利时,应从以下四个方面进行审查:①获取和利用消费者个人信息是否正当、合理、必要;②是否尽到保障消费者对算法个性化定价的知情权;③是否在算法代码中滥用有违科技道德伦理的个性化歧视因子作为定价因素;④是否建立消费者应对算法个性化定价的退出机制、救济机制等保障机制。参见官家辉:《坚持规则之治,服务保障数字经济高质量发展》,载微信公众号“电子商务法研究”,2023年12月23日。
      [27]参见谢加书、王宇星:《准确把握新质生产力的科学内涵和基本特征》,载《南方日报》2023年10月9日,第A12版。
      [28]参见郑戈:《算法的法律与法律的算法》,载《中国法律评论》2018年第2期;汪庆华:《人工智能的法律规制路径:一个框架性讨论》,载《现代法学》2019年第2期;汪庆华:《算法透明的多重维度和算法问责》,载《比较法研究》2020年第6期。
      [29]《个人信息保护法》第7条规定了处理个人信息应当遵循公开、透明原则,第17条规定了个人信息处理者的告知义务;《算法推荐管理规定》第4条规定了提供算法推荐服务的公开透明原则,第24条规定了算法推荐服务提供者的算法备案义务。
      [30]李安:《算法透明与商业秘密的冲突及协调》,载《电子知识产权》2021年第4期。
      [31]在算法的社会责任研讨会上,张凌寒教授提出,司法审理需甄别算法元素纠纷与涉算法的裁判规则重构纠纷。若算法仅为工具,算法的设计使用存在明显歧视,可按传统侵权纠纷审理。若为提高生产效率或优化决策结果而设置中立算法,不存在明显过错,其侵权责任需明确裁判规则。另外,对于新型损害无明确法律规定的,可确立司法裁判规则。参见《上海长宁法院“算法的社会责任”研讨会综述》,载微信公众号“上海长宁法院”,2023年2月28日。
      [32]张恩典:《大数据时代的算法解释权:背景、逻辑与构造》,载《法学论坛》2019年第4期。此外,《个人信息保护法》第24条第3款、第48条,《算法推荐管理规定》第12条、第17条第3款等均对当事人的算法解释权进行了规定。
      [33]See EU,“roposal for a Regulation Laying Down Harmonised Rules on Artificial Intelligence”,https// eur-lex.europa.eu/legalcontent/ EN/ TXT/ ?qid= 1623335154975&uri= CELEX%3A52021PC0206,accessed December 29,2021。转引自许可:《驯服算法:算法治理的历史展开与当代体系》,载《华东政法大学学报》2022年第1期。
      [34]张凌寒:《网络平台监管的算法问责制构建》,载《东方法学》2021年第3期。
      [35]我国诸多学者均对算法影响评估制度的建构提出了建设性建议。如张欣:《算法影响评估制度的构建机理与中国方案》,载《法商研究》2021年第2期;张恩典:《算法影响评估制度的反思与建构》,载《电子政务》2021年第11期;李安:《算法影响评价:算法规制的制度创新》,载《情报杂志》2021年第3期。
      [36]参见张文显:《构建智能社会的法律秩序》,载《东方法学》2020年第5期。
      [37]参见马长山:《智慧社会背景下的“第四代人权”及其保障》,载《中国法学》2019年第5期。
    【参考文献】

稿件来源:北大法律信息网法学在线

原发布时间:2024/4/12 9:15:16  

上一条:许永安 :我国历次刑法修正案总述评 下一条:丁晓东 :公开个人信息法律保护的中国方案

关闭