長上下文¶
許多 Gemini 模型都具備大型上下文視窗,可容納 100 萬個以上的權杖。過去,大型語言模型(LLM)受到一次能傳入模型的文字(或權杖)數量嚴重限制。Gemini 的長上下文視窗開啟了許多新的使用情境與開發範式。
你目前用於文字生成或多模態輸入等情境的程式碼,無需任何修改即可直接用於長上下文。
本文件概述使用上下文視窗達 100 萬個以上權杖的模型能達成哪些目標。本文將簡要說明什麼是上下文視窗,並探討開發人員應如何思考長上下文、長上下文的各種實際使用情境,以及如何最佳化長上下文的使用方式。
如需查詢特定模型的上下文視窗大小,請參閱模型頁面。
什麼是上下文視窗?¶
使用 Gemini 模型的基本方式,是將資訊(上下文)傳給模型,模型隨後產生回應。上下文視窗可以用短期記憶來比喻。人的短期記憶能儲存的資訊量有限,生成式模型也是如此。
在 Gemini 4(gemini-4-carbon、gemini-4-argon 與 gemini-4-hydrogen)中,100 萬權杖的上下文視窗會由輸入、思考與輸出權杖共同使用,且模型可透過長解碼產生最多 100 萬個輸出權杖。若你的輸入權杖加上 max_output_tokens 超過 1,048,576 個權杖,API 會自動將輸出上限設為上下文視窗的剩餘空間(1,048,576 減去你的輸入權杖數)。早期的 Gemini 3 與 2.5 模型則採用各自獨立的 100 萬輸入預算與 64K 輸出預算。
如需進一步了解模型如何運作,請參閱我們的生成式模型指南。
開始使用長上下文¶
早期的生成式模型一次只能處理 8,000 個權杖。較新的模型將上限推升至 32,000 個,甚至 128,000 個權杖。Gemini 是第一個能接受 100 萬個權杖的模型。
在實務上,100 萬個權杖相當於:
- 50,000 行程式碼(以每行標準 80 個字元計算)
- 過去 5 年傳送的所有文字訊息
- 8 本平均長度的英文小說
- 超過 200 集平均長度 Podcast 節目的逐字稿
許多其他模型較受限的上下文視窗,往往需要採取任意捨棄舊訊息、摘要內容、使用搭配向量資料庫的 RAG,或篩選提示詞以節省權杖等策略。
這些技巧在特定情境下仍有價值,但 Gemini 龐大的上下文視窗提供更直接的做法:一開始就提供所有相關資訊。由於 Gemini 模型是專為大規模上下文能力而打造,展現出強大的上下文內學習能力。例如,僅使用上下文內的教學素材(一本 500 頁的參考文法、一本字典,以及約 400 組平行句子),Gemini 學會了翻譯英文到 Kalamang——一種使用人數不到 200 人的巴布亞語言——其品質與使用相同素材的人類學習者相當。這說明 Gemini 長上下文所帶來的典範轉移,透過強大的上下文內學習開啟全新可能性。
長上下文使用情境¶
雖然多數生成式模型的標準使用情境仍是文字輸入,Gemini 模型系列開啟了多模態使用情境的新典範。這些模型能原生理解文字、影片、音訊與圖片。同時,Gemini API 可接受多模態檔案類型,使用上十分便利。
長篇文字¶
文字已證明是推動 LLM 發展動能的核心智慧層。如前所述,LLM 過去許多實務限制,都源自上下文視窗不夠大,無法完成某些任務。這促使檢索增強生成(RAG)等技術快速普及,這類技術會動態提供模型相關的上下文資訊。如今,隨著上下文視窗越來越大,新的技術也隨之出現,開啟了新的使用情境。
文字型長上下文的新興與標準使用情境包括:
-
摘要大型文字語料庫
-
以往使用上下文較小的模型做摘要時,需要採用滑動視窗或其他技巧,才能在新的權杖傳入模型時,持續掌握先前區段的狀態
-
問答
-
過去由於上下文有限且模型的事實回憶能力較低,這類任務只能透過 RAG 達成
-
代理工作流程
-
文字是代理掌握自身已完成事項與待辦事項狀態的基礎;若對世界與代理目標的資訊不足,將限制代理的可靠性
多樣本上下文內學習是長上下文模型所解鎖的最獨特能力之一。研究顯示,將常見的「單樣本」或「多樣本」範例範式(即向模型提供一個或少數幾個任務範例)擴大到數百、數千,甚至數十萬個範例,能為模型帶來嶄新的能力。這種多樣本做法的表現,也已證明與針對特定任務微調的模型相當。對於 Gemini 模型表現尚未足以用於正式上線的使用情境,可以嘗試多樣本做法。如同後續長上下文最佳化章節所述,上下文快取讓這類高輸入權杖量的工作負載在經濟上更可行,在某些情況下甚至能降低延遲。
長篇影片¶
影片內容的實用性,長期受限於媒體本身不易取用。過去很難快速瀏覽內容,逐字稿往往無法捕捉影片的細微差異,多數工具也無法同時處理圖片、文字與音訊。透過 Gemini,長上下文的文字能力延伸為能針對多模態輸入進行推理與回答問題,且能維持穩定的表現。
影片長上下文的新興與標準使用情境包括:
-
影片問答
-
影片記憶,如 Google 的 Project Astra 所示
-
影片字幕
-
影片推薦系統,透過新的多模態理解來豐富既有中繼資料
-
影片客製化,透過檢視資料語料庫與相關影片中繼資料,移除與觀眾無關的影片片段
-
影片內容審核
-
即時影片處理
處理影片時,務必考慮影片如何轉換為權杖,這會影響計費與使用上限。如需進一步了解如何使用影片檔案撰寫提示詞,請參閱提示詞指南。
長篇音訊¶
Gemini 模型是第一批能原生理解音訊的多模態大型語言模型。過去,開發人員的典型工作流程會串連多個領域專用模型,例如語音轉文字模型與文字轉文字模型,來處理音訊。這需要多次來回請求,帶來額外延遲,且多模型架構彼此不連貫,通常也會導致效能下降。
音訊上下文的新興與標準使用情境包括:
- 即時轉錄與翻譯
- Podcast/影片問答
- 會議轉錄與摘要
- 語音助理
如需進一步了解如何使用音訊檔案撰寫提示詞,請參閱提示詞指南。
長上下文最佳化¶
使用長上下文與 Gemini 模型時,主要的最佳化方式是使用上下文快取。除了過去無法在單一請求中處理大量權杖之外,另一項主要限制就是成本。假設你有一個「與你的資料聊天」的應用程式,使用者上傳了 10 份 PDF、一部影片和一些工作文件,過去你必須使用較複雜的檢索增強生成(RAG)工具/框架來處理這些請求,並為移入上下文視窗的權杖支付可觀的費用。如今,你可以快取使用者上傳的檔案,並按小時付費儲存。以 Gemini Flash 為例,每次請求的輸入/輸出成本約為標準輸入/輸出成本的四分之一,因此若使用者經常與自己的資料對話,將為你這位開發人員節省大量成本。
長上下文的限制¶
在本指南的各個章節中,我們談到 Gemini 模型在各種大海撈針檢索評測中如何達到高效能。這些測試考量的是最基本的設定,也就是只有一根你要尋找的針。在你可能有多根「針」或多個特定資訊片段需要尋找的情況下,模型的表現就無法達到相同準確度。表現會因上下文而有很大的差異。這一點務必納入考量,因為正確檢索資訊與成本之間存在固有的取捨。你可以在單一查詢上達到約 99% 的準確度,但每次傳送該查詢都必須支付輸入權杖成本。因此,若要檢索 100 項資訊,且需要 99% 的表現,你很可能需要傳送 100 次請求。這正是上下文快取能在維持高效能的同時,大幅降低使用 Gemini 模型相關成本的絕佳範例。
常見問題¶
在上下文視窗中,查詢放在哪個位置最好?¶
在大多數情況下,尤其是總上下文很長時,將查詢/問題放在提示詞的末尾(在所有其他上下文之後),模型的表現會更好。
在查詢中加入更多權杖,會降低模型表現嗎?¶
一般而言,若不需要將權杖傳給模型,最好不要傳入。不過,若你有一大段含有某些資訊的權杖,並想針對該資訊提問,模型非常擅長擷取該資訊(在許多情況下準確度高達 99%)。
如何降低長上下文查詢的成本?¶
若你有一組類似的權杖/上下文,想重複使用多次,上下文快取能協助降低針對該資訊提問的相關成本。
上下文長度會影響模型延遲嗎?¶
任何請求都有一定的固定延遲,與大小無關,但一般而言,較長的查詢延遲會較高(即產生第一個權杖的時間較長)。