Global Technology Editor
在法律界中,錯誤引用絕非小錯。[1][4] 它可能浪費法官時間、扭曲辯論,甚至將律師與律所置於制裁風險之中。[1][4][6] 隨著生成式系統逐漸深入研究與起草流程,實際問題不再是它們是否有用。 而是建立於驗證基礎的專業,是否能承受將機器生成文字當作普通研究的風險。
近期的法院裁定顯示答案越來越明確是否定的。[1][4][6][11] 美國法院已對提交包含捏造引用與其他AI生成錯誤的律師與律所施加制裁,賓州一名聯邦法官表示,此處罰意在警告那些因便利與速度而心懷僥倖者。[1][4][6] 更廣泛的趨勢也浮現:法律專業人士被告知,當系統本身可能杜撰權威時,過去的「信任但驗證」已不敷使用。[9]
其技術原因雖令人不安卻明瞭。 大型語言模型不以資料庫檢索真實為目標;它們透過預測下一個可能字元生成語言,使流暢的捏造成為一種常態失誤,而不是偶發錯誤。[2][10] 一份關於法律AI工具的研究綜述發現,領先系統仍會產生錯誤或誤導性內容;另一份對通用大型語言模型的分析則指出,在法律研究中,其幻覺率介於58%至82%之間。[2][10] 數據因模型與任務而異,但結構性問題不變:信心不等於正確。
這點意義重大,因為法律市場一直以速度換效率。 助理若能於秒內總結判例、起草動議或找出法理依據,對於被工作壓力與費用限制束縛的律師及律所來說,誘惑顯而易見。[2][4][6] 然而,一旦將檢查每一處引用的成本納入考量,經濟效益便逆轉。 因此,AI並非真正減少工作量,而是將工作從撰寫轉移到驗證,後者在法庭上更為關鍵,且較少被察覺。
職業規範亦在調整。[9][4] 法律出版商與研究平台開始強調更嚴格的標準:未驗證前不宜輕信。[9][1] 這不僅是口號。 這代表將AI輸出視為不可信草稿,不視為研究,且律師須對提交法院的每項資料擔負個人責任的新操作模式。[8][11] 法律界並未放棄AI;而是在學習於流程末端設人工作為責任分界。
責任轉移的影響遠超法律界。 利用AI提供顧客服務、合規或諮詢的企業,在不同場域面臨相同問題:一個錯誤回答可能引發退款、投訴、監管風險或嚴重信任流失。[3][5][7] 在面向消費者的環境中,幻覺不只是技術缺陷, 它是一種聲譽事件。 因此,企業主管應少考慮模型的說服力,多關注是否能證明每個答案的來源。
仍有疑問待解:法律體系將在多大程度上統一新舉證責任? 法院是否會要求AI輔助工作經人工核查的明確認證?[8][11] 律師事務所是否將建立正式審查層以覆核每份AI輔助的呈件?[8][11] 廠商是否會被要求在其以機率非確定性為本的領域中擔保可靠性?[2][9][10] 現有證據顯示更嚴謹的驗證無可避免,但其制度形式仍在協商中。
對語言本身也有更深層的問題。 概率模型並非設計成能知曉何時無知,[2][10] 它只是設計成繼續產出文字。[2][10] 所以幻覺不可能僅靠更好提示或準確性行銷說辭消除。 檢索系統、防護措施與人工審核能降低風險但無法根除。[2][9][10] 在高風險領域,責任從模型轉向使用該模型的組織。
重點不在AI會說謊, 而是現代機構正發現軟體大規模產生可能的假訊息所帶來的高昂代價,法院因為保有後果紀錄機制而率先作出回應。[1][4][6][11] 其他產業將無論準備與否跟進。 AI導入的持久教訓是,流暢度不及問責性重要,市場下一階段將獎勵降低驗證成本而不僅提升生成速度的系統。
參考來源
參考來源
正文中的小編號標籤對應下方參考來源。
- [PDF] Responsible AI use for courts - Thomson Reuters
- Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools
- The risks of AI Hallucinations in customer service - Ant Marketing
- GenAI hallucinations are still pervasive in legal filings, but better lawyering is the cure - Thomson Reuters Institute
- AI Hallucinations in Business: Detect and Prevent Errors
- Fed. Judge Sanctions Two Attorneys Over AI Hallucinations, Declines Disciplinary Referral | Law.com
- The Risk of AI Hallucinations: How to Protect Your Brand
- “Use (and Abuse) of Artificial Intelligence in the Practice of Law.”
- From 'trust but verify' to 'do not trust until verified'
- [2405.20362] Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools
- in the united states district court
推薦文章
推薦文章
-
生成式 AI 與基礎模型
新創稱突破大型語言模型瓶頸,真正考驗在於整體架構是否也改變
一間新創公司宣稱已突破大型語言模型中的數學瓶頸,這與AI領域一個更宏觀的問題相關:下一波進展是否依靠不斷擴大系統規模,或是依賴改變模型運作方式的新方法。
-
生成式 AI 與基礎模型
AI 下一個瓶頸可能是數學上的,而非電氣上的
Subquadratic 一家新創企業從神秘狀態中亮相,宣稱解決了大型語言模型推理中的數學瓶頸,此一主張呼應了AI領域關於進展主要來源的討論:是更優秀的模型、價格更低的計算力,還是革新的架構。
-
生成式 AI 與基礎模型
為何 AI 內容常在未知出處時評價高,一旦揭露作者身份評價就下降
本文串連了 AI 評估中越來越明顯的研究趨勢:盲測結果常顯示 AI 或 AI 輔助創作與人類作品競爭力不分軒輊,然而當作者身份公布後,感知到的品質與信任度便會降低。