錯誤運用檢索增強生成(RAG)情景會引致嚴重後果:
⚖️ 情景一(盡量回答)錯誤運用:
在跨國金融合規審查中,法務人員查詢「新頒佈的歐盟數據法案對 A 產品有何限制?」。若內部資料庫尚未更新此法案,系統在「盡量回答」的指令下,會濫用 LLM 自帶的舊訓練數據,甚至捏造條文與罰款金額。銀行若據此決定業務方向,將直接面臨數百萬歐元的監管罰款與停業危機。
🔒 情景二(嚴格限制)錯誤運用:
在企業 IT 技術支援中,工程師查詢「伺服器硬碟紅燈閃爍,該如何重啟?」。資料庫中明明有「伺服器故障燈號排查」及「系統重啟步驟」兩份獨立文檔。但因設定過於嚴格,系統無法跨文檔進行語意聯想與整合,判定沒有「完全匹配紅燈閃爍重啟」的單一條目而拒絕回答。這導致前線維護停擺,電商網站斷線數小時,造成巨大營業損失。