Gemini API 最佳化與推論¶
Gemini API 提供多種最佳化機制,協助你依工作負載的需求,在速度、成本與可靠性之間取得平衡。無論是打造即時對話機器人,或是執行繁重的離線資料處理管線,選對模式都能大幅降低成本或提升效能。
| 功能 | Standard | Flex | Priority | Batch | Caching |
|---|---|---|---|---|---|
| 定價 | 全額價格 | 50% 折扣 | 較標準價格高 75% 至 100% | 50% 折扣 | 90% 折扣 + 按比例計算的權杖儲存費用 |
| 延遲 | 數秒至數分鐘 | 數分鐘(目標 1–15 分鐘) | 數秒 | 最長 24 小時 | 更快的首權杖時間 |
| 可靠性 | 高/中高 | 盡力而為(可卸載) | 高(不可卸載) | 高(以輸送量為主) | 不適用 |
| 介面 | 同步 | 同步 | 同步 | 非同步 | 已儲存狀態 |
| 最佳使用情境 | 一般應用程式工作流程 | 不緊急的循序鏈 | 正式環境、面向使用者的應用程式 | 大量資料集、離線評估 | 針對同一檔案的重複查詢 |
推論服務層級(同步)¶
在標準生成呼叫中傳入 service_tier 參數,即可在可靠性最佳化與成本最佳化的同步流量之間切換。
標準推論(預設)¶
標準層級是循序內容生成的預設選項,提供正常的回應時間,沒有額外溢價,也不會進入繁重的佇列。
- 可靠性:標準關鍵程度
- 價格:標準定價。
- 最適合:大多數日常互動式應用程式。
Priority 推論(延遲最佳化)¶
Priority 處理會將你的要求導向高關鍵程度的運算佇列。這類流量嚴格不可卸載(絕不會被其他層級搶占),可靠性最高。若你超過動態 Priority 上限,系統會將要求平順降級為 Standard 處理,而不會直接回傳錯誤。
- 可靠性:最高關鍵程度
- 價格:較 Standard 費率高 75% 至 100%。
- 最適合:客戶聊天機器人、即時詐欺偵測,以及業務關鍵的 copilot。
Flex 推論(成本最佳化)¶
Flex 推論 利用機會型、離峰的運算容量,提供較標準費率低 50% 的優惠。要求以同步方式處理,因此你不需要改寫程式碼來管理批次物件。由於這是「可卸載」流量,當系統出現標準流量尖峰時,要求可能會被搶占。
- 可靠性:不保證、可卸載的關鍵程度
- 價格:Standard 定價的 50%(依權杖計費)。
- 最適合:多步驟代理工作流程(其中第 N+1 次呼叫取決於第 N 次呼叫的輸出)、背景 CRM 更新,以及離線評估。
Batch API(大量、非同步)¶
Batch API 專為以標準成本 50% 非同步處理大量要求而設計。你可以將要求以行內字典提交,或使用 JSONL 輸入檔案(上限 2GB)。它透過背景輸送量佇列處理要求,目標周轉時間為 24 小時。
- 可靠性:可卸載,但具備 24 小時自動重試與佇列系統
- 價格:Standard 定價的 50%。
- 最適合:預處理大量資料集、執行定期迴歸測試套件,以及大量圖片或嵌入向量生成。
上下文快取(節省輸入成本)¶
上下文快取 適用於較短的要求反覆參照大量初始上下文的情境。
-
Implicit caching:在 Gemini 2.5 與更新的模型上自動啟用。若你的要求命中既有快取(依據共同的提示詞前綴),系統會將節省的成本回饋給你。
-
Explicit Caching:你可以手動建立具有特定存活時間(TTL)的快取物件。建立後,後續要求即可參照已快取的權杖,避免反覆傳送相同的語料酬載。Gemini 4 模型(
gemini-4-carbon、gemini-4-argon與gemini-4-hydrogen)不支援明確快取。 -
價格:依快取權杖數量與儲存時間(TTL)計費。
-
最適合:具有大量系統指令的聊天機器人、對長篇影片檔案的重複分析,或針對大型文件集的查詢。
透過代理處理降低影片輸入成本¶
對於長篇影片內容(超過 5–10 分鐘)或目標明確的查詢,代理處理可將輸入權杖成本降低多達 88%,同時提升回應品質。依預設,所有模型(包括 Gemini 4)都使用靜態處理,以 1 FPS 擷取影格。透過代理式影片理解,模型會先檢查影片逐字稿,僅在需要的位置以較高的影格率與解析度動態載入視覺片段。對於短片段(5 分鐘以下)或廣泛的全片摘要,請保留預設的靜態處理模式,以獲得更快的首權杖時間(TTFT)與更低的權杖額外負擔。代理模式在時間軸導覽期間會產生內部推理(total_thought_tokens)與工具往返(total_tool_use_tokens)。
若要搭配 Gemini 4 Carbon、Gemini 4 Argon、Gemini 4 Hydrogen、3.8 Flash、3.6 Flash 或 3.5 Flash Lite 使用代理處理,請在影片輸入上設定 processing: "agentic"(Interactions API)或 media_processing: "AGENTIC"(GenerateContent API)。若模型不支援代理處理,將會回傳錯誤。
如需更多資訊,請參閱代理式影片理解。