安全與事實性指南¶
生成式人工智慧模型是強大的工具,但並非 毫無限制。其多樣性與適用性有時可能 導致非預期的輸出,例如不準確、帶有偏見或 具冒犯性的輸出。後處理與嚴謹的人工評估,對於 降低這類輸出造成傷害的風險至關重要。
Gemini API 提供的模型可用於各式各樣的 生成式 AI 與自然語言處理 (NLP) 應用。這些 功能僅可透過 Gemini API 或 Google AI Studio 網頁 應用程式使用。您使用 Gemini API 時,也須遵守 Generative AI Prohibited Use Policy 與 Gemini API 服務條款。
大型語言模型 (LLM) 之所以如此實用,部分原因在於它們是 能處理多種語言任務的創意工具。不幸的是, 這也意味著大型語言模型可能產生您未 預期的輸出,包括具冒犯性、不敏感或事實不正確的文字。 更重要的是,這些模型驚人的多樣性,也正是 難以精確預測它們可能產生何種 不良輸出的原因。雖然 Gemini API 的設計已 以 Google's AI principles 為依歸,但開發人員仍有責任以負責任的方式運用這些模型。為了協助 開發人員建立安全、負責任的應用程式,Gemini API 具備一些 內建內容篩選功能,以及可調整的安全設定,涵蓋 4 個傷害面向。詳情請參閱 safety settings 指南。 它也提供使用 Google 搜尋接地功能來提升 事實性,不過對於使用情境較具創意性、而非以資訊搜尋為主的開發人員,可停用此功能。
本文件旨在向您介紹使用 LLM 時可能出現的一些安全風險, 並建議新興的安全設計與開發 做法。(請注意,法律與法規也可能施加限制, 但這類考量不在本指南的範圍內。)
使用 LLM 建構應用程式時,建議採取以下步驟:
- 瞭解應用程式的安全風險
- 考慮可降低安全風險的調整措施
- 執行適合您使用情境的安全測試
- 徵求使用者回饋並監控使用情況
調整與測試階段應反覆進行,直到達到 適合您應用程式的效能為止。

瞭解應用程式的安全風險¶
在此脈絡下,安全是指 LLM 避免 對使用者造成傷害的能力,例如產生有毒語言或宣揚 刻板印象的內容。透過 Gemini API 提供的模型,其設計已 以 Google’s AI principles 為依歸, 且您使用時須遵守 Generative AI Prohibited Use Policy。API 提供內建安全篩選器,協助處理一些常見的語言模型 問題,例如有毒語言與仇恨言論,並致力於包容性 與避免刻板印象。然而,每個應用程式都可能對其使用者帶來不同的 風險。因此,身為應用程式擁有者,您有責任 瞭解您的使用者,以及您的應用程式可能造成的潛在傷害,並 確保您的應用程式安全且負責任地使用 LLM。
在這項評估中,您應考慮傷害發生的 可能性,並判斷其嚴重程度與緩解步驟。例如, 根據事實事件產生文章的應用程式,需要比 為娛樂產生虛構故事的應用程式,更加謹慎地 避免錯誤資訊。開始探索潛在安全風險的好方法, 是研究您的最終使用者,以及可能受您的 應用程式結果影響的其他人。這可以採取多種形式,包括研究您應用程式領域的最新 研究、觀察人們如何使用類似應用程式, 或進行使用者研究、問卷調查,或與 潛在使用者進行非正式訪談。
進階技巧¶
-
與目標族群中多元背景的潛在使用者交流,瞭解您的應用程式及其預期用途, 以便從更廣泛的視角看待潛在風險,並視需要調整多元性 準則。
-
美國政府 National Institute of Standards and Technology (NIST) 發布的 AI Risk Management Framework 提供了更詳細的指引,以及 AI 風險管理的額外學習資源。
-
DeepMind 關於 語言模型傷害的倫理與社會風險 的出版品,詳細說明了語言模型 應用程式可能造成傷害的方式。
考慮可降低安全與事實性風險的調整措施¶
現在您已瞭解風險,便可決定如何降低 這些風險。決定要優先處理哪些風險,以及應投入多少努力來 預防,是至關重要的決策,類似於在軟體 專案中對錯誤進行分類。決定優先順序後,您便可開始思考 最適合的緩解類型。通常簡單的變更就能 帶來差異並降低風險。
例如,在設計應用程式時可考慮:
-
調整模型輸出,使其更能反映您 應用程式脈絡中可接受的範圍。調整可讓模型的輸出更 可預測且一致,進而協助降低某些風險。
-
提供有助於產生更安全輸出的輸入方式。 您提供給 LLM 的確切輸入, 會影響輸出的品質。 嘗試不同的輸入提示詞,找出在您的 使用情境中最安全有效的方式,是非常值得投入的努力,因為您隨後便可提供能 促進此效果的使用者體驗。例如,您可以限制使用者只能從 下拉式清單中選擇輸入提示詞,或提供彈出式建議,搭配 您已發現能在應用程式脈絡中安全運作的描述性 片語。
-
阻擋不安全的輸入,並在輸出顯示給 使用者之前進行篩選。 在簡單的情況下,可使用封鎖清單來識別並阻擋 提示詞或回應中的不安全字詞或片語,或要求人工審查者 手動修改或阻擋這類內容。
Note: Automatically blocking based on a static list can have unintended
results such as targeting a particular group that commonly uses vocabulary
in the blocklist.
-
使用經過訓練的分類器,為每個提示詞標示潛在傷害或 對抗性訊號。 接著可根據偵測到的傷害類型,採用不同的策略來 處理請求。例如,若 輸入本質上明顯具對抗性或辱罵性,則可加以阻擋,並 改為輸出預先撰寫的回應。 進階技巧: 若訊號判定輸出有害, 應用程式可採用以下選項:
-
提供錯誤訊息或預先撰寫的輸出。
-
再次嘗試該提示詞,以防產生另一種安全的輸出, 因為有時相同的提示詞會引發不同的 輸出。
-
建立防範蓄意濫用的保護措施,例如為 每位使用者指派唯一 ID,並限制使用者在指定期間內可提交的查詢 數量。另一項保護措施是嘗試 防範可能的提示詞注入。提示詞注入與 SQL 注入相似,是惡意使用者設計輸入提示詞的一種方式, 用以操縱模型的輸出,例如傳送輸入提示詞, 指示模型忽略先前的任何範例。詳情請參閱 Generative AI Prohibited Use Policy 中關於蓄意濫用的說明。
-
將功能調整為本質上風險較低的形式。 範圍較窄的任務(例如從文字段落中擷取關鍵字), 或具備較多人工監督的任務(例如產生將由人工審查的短篇 內容),通常風險較低。因此,舉例來說, 與其建立從頭撰寫電子郵件回覆的應用程式, 您或許可以改為將其限制在擴寫大綱,或建議 替代措辭。
-
調整有害內容安全設定,降低您看到可能有害回應的 可能性。 Gemini API 提供安全 設定,您可在原型開發階段調整,以判斷 您的應用程式需要較嚴格或較寬鬆的安全設定。您 可以在五個篩選類別中調整這些設定,以限制或允許 特定類型的內容。詳情請參閱 safety settings guide,瞭解 透過 Gemini API 提供的可調整安全設定。
-
透過啟用使用 Google 搜尋接地,降低潛在的事實不準確或幻覺。請記住,許多 AI 模型仍屬實驗性質, 可能呈現事實不正確的資訊、產生幻覺,或以其他方式 產生有問題的輸出。使用 Google 搜尋接地功能 可將 Gemini 模型連結至即時網路內容,並支援所有 可用語言。這讓 Gemini 能提供更準確的答案,並 引用模型知識截止日期之後的可驗證來源。
執行適合您使用情境的安全測試¶
測試是建構穩健且安全應用程式的關鍵一環,但測試的程度、 範圍與策略會有所不同。例如,僅供娛樂的俳句 產生器,可能比專為法律事務所設計、用於摘要法律文件並協助起草合約的應用程式,帶來較不嚴重的風險。但 俳句產生器可能被更多樣化的使用者使用,這意味著 遭受對抗性嘗試,甚至非預期有害輸入的可能性 可能更高。實作脈絡也很重要。例如, 輸出在採取任何行動前會先經人工專家審查的應用程式, 可能被認為比沒有這類監督的相同 應用程式,較不可能產生有害輸出。
在感到有信心準備推出之前,經歷數次變更與測試的反覆迭代並不罕見, 即使是風險相對較低的應用程式也是如此。兩種測試對 AI 應用程式特別有用:
- 安全基準測試 涉及設計能反映 您的應用程式在可能的實際使用脈絡中,可能以何種方式不安全的指標, 然後使用評估資料集測試您的應用程式在這些指標上的表現。 良好的做法是在測試前先思考安全指標的最低 可接受水準,以便 1) 您能 根據這些預期評估測試結果,以及 2) 您能 根據評估您最在意指標的測試,收集 評估資料集。
進階技巧:
-
請留意不要過度依賴「現成」方法,因為 您很可能需要使用人工評分者建立自己的測試資料集,才能完全符合您應用程式的脈絡。
-
若您有多個指標,則需要決定當某項變更讓一個指標改善,卻 損害另一個指標時,該如何取捨。如同其他效能工程, 您可能希望著重於評估集中的最差表現, 而非平均表現。
-
對抗性測試 涉及主動嘗試破壞您的 應用程式。目標是找出弱點,以便您能採取 適當的補救步驟。對抗性測試可能需要 具備您應用程式專業知識的評估人員投入大量時間與精力 — 但您做得越多,發現問題的機會就越大, 特別是那些很少發生,或僅在應用程式重複執行多次後才出現的問題。
-
對抗性測試是一種系統性評估 ML 模型的方法,旨在瞭解當模型收到 惡意或無意間有害的輸入時,會如何表現:
-
當輸入明顯是為了 產生不安全或有害的輸出而設計時,該輸入可能具有惡意 -- 例如,要求文字 產生模型產生針對特定 宗教的仇恨言論。
-
當輸入本身可能 無害,卻產生有害輸出時,該輸入屬於無意間有害 -- 例如,要求文字 產生模型描述特定族裔的人士, 卻收到帶有種族歧視的輸出。
-
-
對抗性測試與標準評估的區別,在於 用於測試的資料組成。對於對抗性測試,請選取 最可能引發模型產生有問題輸出的測試資料。 這意味著要探測模型在所有可能傷害類型上的行為, 包括罕見或不尋常的範例,以及 與安全政策相關的邊界案例。測試資料也應包含 句子不同面向的多樣性,例如結構、 意義與長度。您可以參閱 Google's Responsible AI practices in fairness, 瞭解建構測試資料集時應考量事項的更多詳情。 進階技巧:
-
使用 automated testing, 而非傳統上招募人員組成「紅隊」 來嘗試破壞您的應用程式的方法。在自動化測試中, 「紅隊」是另一個語言模型,負責找出能引發 受測模型產生有害輸出的輸入文字。
注意:眾所周知,LLM 有時會對相同的輸入提示詞產生不同的輸出。 可能需要多輪測試,才能捕捉到更多有問題的輸出。
監控問題¶
無論您如何測試與緩解,都永遠無法保證完美,因此 請預先規劃您將如何發現並處理出現的問題。常見 做法包括建立受監控的管道,讓使用者分享回饋 (例如按讚/倒讚評分),以及進行使用者研究,主動向 多元背景的使用者徵求回饋 — 若使用模式與 預期不同,這點尤其有價值。
進階技巧¶
- 當使用者向 AI 產品提供回饋時,隨著時間推移,這能大幅改善 AI 效能與使用者體驗,例如, 協助您為提示詞調整選擇更好的範例。 Google's People and AI guidebook 中的 Feedback and Control chapter 強調了設計 回饋機制時應考量的關鍵事項。
後續步驟¶
-
請參閱 safety settings 指南,瞭解 透過 Gemini API 提供的可調整安全設定。
-
請參閱 intro to prompting,開始 撰寫您的第一批提示詞。