Global Technology Editor

在法律领域,错误引用绝非小事。[1][4] 它可能浪费法官时间,扭曲论证,并让律师及律所面临制裁。[1][4][6] 随着生成式系统深入研究和起草流程,实际问题不再是它们是否有用。 而是一个基于核实的行业是否能将机器生成的文本当作普通研究对待。

近期美国法院因文件中伪造引用及AI生成不准确信息,对律师和律所予以制裁。[1][4][6] 宾夕法尼亚一联邦法官称此惩罚是对因追求速度便利而心存侥幸者的警示。[1][4][6] 一个更广泛的趋势是,法律专业人士被告知“信任但核实”的旧习惯已不足以应对可以“编造权威”的系统。[9]

背后的技术原因令人不适却清晰。 大型语言模型不是像数据库一样检索真相,而是预测最可能的下一个词,这使得流利的虚构成为其固有失败模式。[2][10] 研究发现,即使领先的法律AI系统也能产生错误或误导信息,通用大型语言模型在法律研究中幻觉率达58%至82%。[2][10] 具体数字因模型和任务而异,但结构性问题一致:置信度不等同于正确性。

这一区别重要,因为法律市场一直将速度视为效率。 如果助理能在几秒钟内总结判例、起草动议或提取先例,对工作繁重且面对费用压力的律师和律所有明显激励。[2][4][6] 但一旦加入核查每个引用的成本,经济效应便会改变。 从这个角度看,人工智能并非减少劳动,而是将劳动从撰写转移到核查,这部分工作更隐蔽,但在法庭上更为关键。

职业规范已经在调整。[9][4] 法律出版社和研究平台强调更严格标准:未经核实,不可轻信。[9][1] 这不仅是口号。 它代表了一种新模式:将AI输出视为不可信草稿,律师仍对提交法院的每条权威负个人责任。[8][11] 行业并未摒弃AI,而是在流程末端加设人工核查点,确保责任可追溯。

商业影响已超出律师事务所。 使用AI的客户支持、合规和咨询业务也面临类似问题:单条错误回答可能引发退款、投诉、监管风险及难以恢复的信任流失。[3][5][7] 在面向消费者的环境中,幻觉不仅是技术故障。 它是一场声誉危机。 因此高管应少考虑模型的说服力,更应关注是否能证明每个答案的来源。

未知的是法律体系将多大程度上规范这一举证责任。 法院是否会要求明确认证人工智能辅助工作已人工核查?[8][11] 律所是否会为每个AI辅助的提交设立正式复核层?[8][11] 供应商是否会被要求保证在概率语言领域的可靠性?[2][9][10] 目前证据显示更强的核查不可避免,但制度形式仍在商榷。

语言本身也有更深层问题。 概率模型设计并非为知道自己不知道而设计。[2][10] 它的设计是继续生成语言。[2][10] 这也是为何幻觉无法靠更好提示或准确宣传消除。 检索系统、护栏和人工复核可降低风险,但无法根除。[2][9][10] 在关键领域,责任由模型转向部署它的组织。

真正的故事不是AI会“说谎”,而是现代机构发现软件大规模生成合理错误的代价极高。 法院首先响应,因为法院持有所有后果的账本。[1][4][6][11] 无论准备与否,其他领域也将跟进。 持久的教训是,现在AI采纳更依赖责任制而非流畅性,未来市场将奖赏降低核查成本而非单纯提高生成速度的系统。