Global Technology Editor
在法律领域,错误引用绝非小事。[1][4] 它可能浪费法官时间,扭曲论证,并让律师及律所面临制裁。[1][4][6] 随着生成式系统深入研究和起草流程,实际问题不再是它们是否有用。 而是一个基于核实的行业是否能将机器生成的文本当作普通研究对待。
近期美国法院因文件中伪造引用及AI生成不准确信息,对律师和律所予以制裁。[1][4][6] 宾夕法尼亚一联邦法官称此惩罚是对因追求速度便利而心存侥幸者的警示。[1][4][6] 一个更广泛的趋势是,法律专业人士被告知“信任但核实”的旧习惯已不足以应对可以“编造权威”的系统。[9]
背后的技术原因令人不适却清晰。 大型语言模型不是像数据库一样检索真相,而是预测最可能的下一个词,这使得流利的虚构成为其固有失败模式。[2][10] 研究发现,即使领先的法律AI系统也能产生错误或误导信息,通用大型语言模型在法律研究中幻觉率达58%至82%。[2][10] 具体数字因模型和任务而异,但结构性问题一致:置信度不等同于正确性。
这一区别重要,因为法律市场一直将速度视为效率。 如果助理能在几秒钟内总结判例、起草动议或提取先例,对工作繁重且面对费用压力的律师和律所有明显激励。[2][4][6] 但一旦加入核查每个引用的成本,经济效应便会改变。 从这个角度看,人工智能并非减少劳动,而是将劳动从撰写转移到核查,这部分工作更隐蔽,但在法庭上更为关键。
职业规范已经在调整。[9][4] 法律出版社和研究平台强调更严格标准:未经核实,不可轻信。[9][1] 这不仅是口号。 它代表了一种新模式:将AI输出视为不可信草稿,律师仍对提交法院的每条权威负个人责任。[8][11] 行业并未摒弃AI,而是在流程末端加设人工核查点,确保责任可追溯。
商业影响已超出律师事务所。 使用AI的客户支持、合规和咨询业务也面临类似问题:单条错误回答可能引发退款、投诉、监管风险及难以恢复的信任流失。[3][5][7] 在面向消费者的环境中,幻觉不仅是技术故障。 它是一场声誉危机。 因此高管应少考虑模型的说服力,更应关注是否能证明每个答案的来源。
未知的是法律体系将多大程度上规范这一举证责任。 法院是否会要求明确认证人工智能辅助工作已人工核查?[8][11] 律所是否会为每个AI辅助的提交设立正式复核层?[8][11] 供应商是否会被要求保证在概率语言领域的可靠性?[2][9][10] 目前证据显示更强的核查不可避免,但制度形式仍在商榷。
语言本身也有更深层问题。 概率模型设计并非为知道自己不知道而设计。[2][10] 它的设计是继续生成语言。[2][10] 这也是为何幻觉无法靠更好提示或准确宣传消除。 检索系统、护栏和人工复核可降低风险,但无法根除。[2][9][10] 在关键领域,责任由模型转向部署它的组织。
真正的故事不是AI会“说谎”,而是现代机构发现软件大规模生成合理错误的代价极高。 法院首先响应,因为法院持有所有后果的账本。[1][4][6][11] 无论准备与否,其他领域也将跟进。 持久的教训是,现在AI采纳更依赖责任制而非流畅性,未来市场将奖赏降低核查成本而非单纯提高生成速度的系统。
参考来源
参考来源
正文中的小编号标签对应下方参考来源。
- [PDF] Responsible AI use for courts - Thomson Reuters
- Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools
- The risks of AI Hallucinations in customer service - Ant Marketing
- GenAI hallucinations are still pervasive in legal filings, but better lawyering is the cure - Thomson Reuters Institute
- AI Hallucinations in Business: Detect and Prevent Errors
- Fed. Judge Sanctions Two Attorneys Over AI Hallucinations, Declines Disciplinary Referral | Law.com
- The Risk of AI Hallucinations: How to Protect Your Brand
- “Use (and Abuse) of Artificial Intelligence in the Practice of Law.”
- From 'trust but verify' to 'do not trust until verified'
- [2405.20362] Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools
- in the united states district court
推荐文章
推荐文章
-
生成式 AI 与基础模型
一家初创公司声称解决了大型语言模型的瓶颈,真正的考验在于整个技术栈是否也会随之改变。
一家初创公司声称他们突破了大型语言模型中的数学瓶颈,这一主张引出了AI领域的更大问题:下一阶段的进展将来源于更大规模的系统,还是采用改变模型运作方式的新方法。
-
生成式 AI 与基础模型
人工智能的下一个瓶颈可能是数学问题,而非电力限制
Subquadratic从隐秘阶段走出,声称已突破大型语言模型推理中的数学瓶颈,这反映了AI进展依赖于更优模型、更低成本计算还是新架构的更广泛讨论。
-
生成式 AI 与基础模型
为何人们知道内容是 AI 创作后评分往往下降?
本文探讨了 AI 内容评估中的一个日益明显的研究趋势:在盲测中,AI 产出或 AI 辅助的内容通常能与人类作品竞争,但当作者身份被披露后,内容的感知质量和信任往往会受损。