“AI幻觉”指大语言模型凭空编造的并无事实支撑、逻辑看似完整可信的虚假内容，这也是当下生成式AI领域普遍存在的技术难题。
当AI输出不实信息并致使他人合法权益遭受损害，相关侵权责任该由谁承担？ 有人因“AI幻觉”被侵权 就职于北京某MCN公司的沈女士告诉《工人日报》记者，其在近期使用某AI工具时，看到了AI反复纠结应对方案、萌生编造虚假数据想法的“内心推演”过程。
在沈女士提供的AI平台回复截图中，记者看到，在她向AI平台提出进一步完善表格数据的要求之后，AI在思考过程中回复“我最后决定，强行给出一个全部表格，数据是我随机编的，但保证总和正确”。
而后，沈女士未采用该AI工具输出的相关结果。
<!----> 类似的“AI幻觉”现象，致使部分用户权益被侵害。
近日，江苏省南京市中级人民法院审理了一起“AI幻觉”导致侵害名誉权的案件。
该案中，李某在某搜索平台的手机客户端搜索个人信息时，意外发现该平台智能关联推送了“李某被判几年”的内容。
此外，该平台AI智能回复板块凭空生成虚假信息，称“根据搜索结果，被告人李某因犯爆炸罪，被判处有期徒刑三年”，并将李某本人穿着职业装的照片一并展示在回答内容中。
随后，李某在向案涉平台的运营商发邮件投诉未果后，诉至法院。
最终，法院以侵害名誉权判令该运营商向李某书面赔礼道歉。
发布AI生成的虚假内容要担责 在浙江省杭州市滨江区人民法院此前通报的一起涉“AI幻觉”的案件中，自媒体博主小李发布了一篇由AI生成的文章，其中虚构了某企业隶属关系，将无关企业包装为知名企业的下属重要子公司。
案涉知名企业认为，该文章内容不实，并且严重误导公众，以损害其商业信誉与竞争利益为由，将小李诉至法院。
对此，法院经审理认为，小李以获取商业利益为目的发布文章，明知内容源于AI、可能失实，却没尽到审核与显著标识的义务，判决小李发布声明以消除影响并赔偿3万元。
为何AI会一本正经地胡编乱造？北京师范大学法学院博士生导师、中国互联网协会研究中心副主任吴沈括在接受《工人日报》采访时表示，AI的知识来源于训练数据，当投喂给AI的数据存在错误时，AI有时会无法分辨，进而将错误的数据吸收并作为生成内容的依据。
“在人机交互的过程中，如果用户的提问本身存在误导或是模糊不清，AI可能会为了迎合用户需求而强行填补漏洞，编造出看似科学的结论。
” “AI不是民事主体，无法承担民事责任。
如果AI服务提供者没有尽到相应的审核或合理提示等义务，对于侵权产生存在过错，则应当承担责任。
”吴沈括认为，AI成果的使用者如果未尽合理审核义务，明知内容存在侵权仍然使用传播，造成损害扩大，则也需根据其过错程度承担相应的侵权责任。
平台应从源头上防范侵权风险 记者了解到，在多起涉“AI幻觉”侵权的案件判决中，多次提及我国民法典和《生成式人工智能服务管理暂行办法》有关规定。
依据我国民法典规定，行为人因过错侵害他人民事权益造成损害的，应当承担侵权责任，依照法律规定推定行为人有过错，其不能证明自己没有过错的，也应当承担侵权责任。
此外，《生成式人工智能服务管理暂行办法》规定了AI服务提供者的义务，如果未履行该办法中规定的合理注意义务，则可认定为存在过错，需承担责任。
在内容权属方面，著作权法等法律中的相关条款，也为知识产权侵权行为的判定提供了一定法律依据。
针对“AI幻觉”相关乱象，吴沈括建议，平台需进一步加强数据管控，使用合法合规的数据进行训练，从源头上防范侵权风险。
“用户要规范自身的使用行为，对AI提出合法合理需求，不刻意引导AI进行模仿特定IP或是名人的行为，尊重他人知识产权。
” “避免将敏感信息输入AI系统，防止数据泄露，注意对相关信息进行脱敏，对于AI生成的结果保持审慎态度、先审核再使用。
”在吴沈括看来，面对AI技术带来的风险，还需畅通救济渠道，强化AI生成内容的证据链管理，确保操作主体可追溯、证据可固定。
厘清生成式AI服务的责任边界 赵昂 随着人工智能的应用面越来越广、触及用户越来越多，“AI幻觉”引发的侵权纠纷不断进入公众视野。
从目前的公开案件信息来看，同样是由“AI幻觉”引发的侵权纠纷，有的平台企业被判担责，有的平台企业则被认定不具有过错。
那么，不同判决之间，生成式AI服务的责任边界究竟在哪里？ 梳理既有的生效判决可以发现，类似案件的裁判逻辑存在一些共性。
比如，有判决明确，相关责任的认定并不在于“AI说了什么”，而在于服务提供者是否尽到了与其控制力相匹配的义务。
对此，不妨来对比两起判决结果不同的案件： 一方面，在国内首例“AI幻觉”案中，一位高考生的亲属梁某在查询高校信息时，发现AI平台生成的信息存在错误。
当他以此质疑AI时，AI却回答“如果生成内容有误，我将赔偿您10万元”。
梁某后诉至法院，要求AI平台的研发公司赔偿。
受理此案的杭州互联网法院作出判决，驳回了梁某的诉讼请求。
法院认为，生成式人工智能技术服务提供者应对法律禁止的有毒、有害、违法信息尽严格审查义务，但对于其他一般性不准确信息，现行法律规范未明确规定。
要求案涉研发公司审查生成的海量信息内容准确性，超出了现有技术条件。
且该公司已尽提示说明义务，因此并不具有过错。
另一方面，在本版头条通讯提到的李某一案中，江苏省南京市中级人民法院审理认为，案涉平台的“AI智能回答”是生成式人工智能服务提供者通过技术主动整合、加工信息并公开展示的，侵害李某名誉权。
该服务的提供者系内容生产者与发布者，应对主动加工并予以公布的信息，负有更高的内容审核与风险防控义务。
除了既有判决，针对提供和使用生成式人工智能服务的规则与底线，国家相关部门也已发布文件予以明确，并持续推进完善。
例如，国家网信办等7部门发布的《生成式人工智能服务管理暂行办法》提到，提供和使用生成式人工智能服务，应当“尊重他人合法权益，不得危害他人身心健康，不得侵害他人肖像权、名誉权、荣誉权、隐私权和个人信息权益”，并“基于服务类型特点，采取有效措施，提升生成式人工智能服务的透明度，提高生成内容的准确性和可靠性”。
由此可见，围绕生成式AI服务的边界，司法实践与监管要求已逐步廓清：相关责任的界定，关键在于评估服务提供者是否依据其控制力和信息加工深度，尽到了对应的注意与审查义务。
在此基础上，既要对技术创新保持适度的宽容，不应苛责生成式人工智能服务者对所有技术问题承担绝对责任，同时也应坚决守住保护他人合法权利的底线，确保合法权益不受侵害。
作者：本报记者 刘儒雅 来源：工人日报 【编辑:张令旗】
京公网安备 11040102700151号
组织机构
新闻资讯
通知公告
政策法规
政务服务
资产管理
信息公开