前沿动态
司法文明协同创新中心的建设目标是按照“国家急需、世界一流、制度先进、贡献重大”的要求,依据科学研究、学科建设、资政育人“三位一体”的方针,打造中国乃至世界司法研究的重镇、中国司法学科建设的平台、卓越司法人才培养的基地、司法文明和法治中国建设的核心智库。
人工智能影响评估如何开展以及其中涉及的法律风险
    【学科类别】人工智能
    【出处】微信公众号:星来律师
    【写作时间】2024年
    【中文关键字】人工智能;法律风险
    【全文】  
     


      人工智能影响评估工作从以下五个方面着手:
      第一部分 关于系统信息
      1.完成系统配置文件,包括系统名称、团队名称、修订历史记录、审核人等信息。以“酒店智能送餐机器人”为例,这就是系统的名称。
      2.描述系统生命周期阶段,指明系统在规划与分析、设计、发展、测试、实施和部署、维护中以及已退役等不同生命周期阶段的日期或时间段。
      3.对系统的功能做出说明,以便评估人员充分理解系统及其运行的环境。比如这样说明:“当客人点的外卖送到酒店前台后,由机器人自主设计送餐路线并将外卖送到客人房间。”此外也可以提供任何有关该系统的补充信息链接,比如演示文稿、功能规格、幻灯片、系统架构图等,以供评估人员了解。
      4.说明系统的用途、目的,介绍系统将如何满足适用它的人的需求。
      5.说明系统的功能,可以对比现有功能及即将发布的系统特性,以及该系统如何与其他系统产生关联。现有功能如:记录客人数据,调用酒店楼层、房间位置等数据,最佳路径规划(包括电梯选择、楼层选择、路线选择等),语音拨号提醒等功能。
      6.说明该系统可能被部署的地理区域,以确定对语言、法律和文化的特殊考虑。
      7.记录该系统可能被部署的每种方式,如仅在酒店内部适用,抑或也能用于其他场景,以及部署模式未来是否会更改。
      8.说明正在设计和测试的系统的用途,这并不等同于系统特性——只可能是预期用途的一部分。预期用途是有关谁将使用该系统、用于什么任务或目的,以及他们在使用该系统时的位置。比如这样说明:“基于酒店客人提供的信息确定客人的位置及房间号,当客人点的外卖到达酒店后,外卖员将餐食放在机器人存储柜里,输入客人房间号,机器人自动识别、匹配、设计酒店内部送餐路线;外卖送到客人房间门口后,机器人通过预设系统拨打客人房间电话。”
      第二部分 关于预期用途
      1.评估系统的使用将如何解决每个预期用途所带来的问题,找到多种有效的方法来解决这个问题。比如每个预期用途都要适用于目的,不能超出适当的目的范围,具体如客人个人信息的保护问题、数据泄露风险等等。如何建立个人信息数据的安全保护机制,避免数据被泄露或滥用是重要的关切。
      2.确定系统的利益相关者,然后为每个利益相关者记录下潜在的好处和潜在的危害。比如对客人而言,潜在的好处是节省与人交流的时间与成本,潜在的危害是可能与机器人产生肢体冲撞;对于酒店服务员而言,潜在的好处是节省工作量,潜在的危害是可能减少工作价值导致失业;对于公安监管部门而言,潜在的好处是方便利用计算机记录追踪某些信息,潜在的危害是计算机的不稳定性可能导致数据灭失等等。
      3.人工智能标准中的某些目标要求确定特定类型的利益相关者(这部分可能会与上部分有重合)。“某些目标”指的是:人类对人工智能系统的监督和控制,如酒店需要配备技术支持人员对系统进行监督反馈;决策制定的系统可理解性,仅用于生成的预期用途是关于使用者决策时;与利益相关者进行沟通;人工智能交互作用的披露。
      4.公平方面的考虑。即对适用于系统的每个公平目标,需要确定相关的利益相关者、确定任何可能需要公平考虑的人口统计群体(如边缘群体)、优先对这类群体进行公平考虑并解释公平考虑如何适用。
      5.技术准备情况评估。最佳情况是,整个系统已部署为所有预期用途,运行条件已通过测试和生产适用合格。
      6.说明系统的预期用途是属于简单任务、中等复杂的任务还是复杂的任务,如人类是否能够很容易地理解、是否很容易就最佳答案达成一致、是否能够识别系统所犯的错误。
      7.人类的作用体现。如人们将根据系统提供的输出来做出决定,除非有人批准,否则系统将不会继续进行,具体比如一个人工智能系统从非结构化文本中生成关键字,但没有得到操作员的审查和批准,那么它不会最终确定结果。
      8.部署的环境是简单还是复杂。
      第三部分 关于不良影响
      1.是否属于法律或政策限制的用途。如个人信息保护方面。
      2.指出系统未涉及或评估或应避免的用途。不支持的使用如超大、超重物品,毒品、管制物品、危害化学品等物品。
      3.描述已知的系统局限性,包括系统表现不佳的情况。如机器人对外卖餐食的识别与客人真实需求的匹配。
      4.指出可预测的故障,以及对利益相关者的潜在影响。如机器人数据匹配错误,未将外卖餐食送到点餐的客人房间。
      5.指出系统误用或滥用对利益相关者的潜在负面影响。如人身危险、隐私泄露、财产损失等。
      6.系统的使用或误用是否会对法律地位或生活机会产生间接影响,是否有造成身体或心理伤害的风险,是否会侵犯或破坏实现个人人权的能力。
      第四部分 关于数据要求
      1.记录有关系统的预期用途、利益相关者和系统将被部署的地理区域的数据需求。如需要使用酒店的地图信息、客人房间号、手机号后4位。对于这些数据,客人离店后须立即删除,或按监管要求保留一定期限后删除。
      2.如果计划使用现有的数据集来训练系统,则应评估系统对上述数据所需的数据集的数量和适用性。
      第五部分 关于影响摘要
      1.检查确定的潜在危害以及初步的减轻危害措施。比如机器人对人身肢体产生冲撞的危害,可以通过雷达监测,设置50厘米距离时强行停止并进行语音提示。
      2.从问责目标、透明度目标、公平目标、可靠性和安全目标、包容性目标等几个方面,评估哪些目标适用于该系统。对于适用的目标,需要在开发系统时完成与该目标相关联的需求。比如,问责目标包括影响评估、监督重大不利影响、是和用途、数据治理和管理、人的监督和控制;透明度目标指决策的系统可理解性、与利益相关者的沟通、人工智能交互作用的披露;公平目标包括服务质量、资源和机会分配等方面是否会区别对待;可靠性和安全目标指的是系统的硬件方面,以及是否能做到持续监控、反馈和评估;隐私和安全目标要求遵守有关隐私安全的法律及政策。
      3.完成前述审查后签署影响评估报告,并确保按照法律法规的要求获得所有批准,然后再开始开发系统的工作。报告需注明名审核员的角色和姓名,检验日期及评论等要素。
      至此,针对一个人工智能系统的影响评估工作即完成。在给该人工智能系统添加新的预期用途时,以及在进入新的发布阶段之前,至少每年需要更新和审查影响评估。
      我们可以看到,在做人工智能影响评估时,数据具有举足轻重的地位。机器/计算机要为人提供服务,就需要了解人、理解人,当人所需要的服务越周全、越细致时,要提供给机器/计算机的信息、数据就越具体、越敏感。因此,人工智能越发达,法律对个人信息的保护力度就越强,而且呈现出多部门监管、司法执法趋严的态势,其中最为严厉的惩罚,自然属刑事处罚了。
      实务中被认定为侵犯公民个人信息犯罪的案例并不少见,可是许多案例也确实是在我们的意料之外。比如,非法获取公民的手机号码(仅手机号码),被认定为侵犯公民个人信息罪;获取的个人信息不可识别、仅为计算机代码,且数据已经被永久覆盖、不可实际获得的情况,同样被定罪处罚。刑法的谦抑性被遗忘。
      人工智能的发展自然体现了技术的发展、科技的进步,是人类文明进程的又一个里程碑。但是我们可能也需要时刻秉持以人为本的理念,怀着谦卑敬畏之心,与科技共同进步,如此才能长久安心地体验科技带来的益处。


    【作者简介】  
    王珺,北京星来律师事务所主任、创始合伙人。


稿件来源:北大法律信息网法学在线

原发布时间:2024/11/5 14:14:59


上一条:中国仲裁周化解公司疑难争议的仲裁进路若干问题 下一条:张 烽: 数据产品开发流通与合规

关闭