跳轉到

Gemini API 最佳化與推論

Gemini API 提供多種最佳化機制,協助你依工作負載的需求,在速度、成本與可靠性之間取得平衡。無論是打造即時對話機器人,或是執行繁重的離線資料處理管線,選對模式都能大幅降低成本或提升效能。

功能 Standard Flex Priority Batch Caching
定價 全額價格 50% 折扣 較標準價格高 75% 至 100% 50% 折扣 90% 折扣 + 按比例計算的權杖儲存費用
延遲 數秒至數分鐘 數分鐘(目標 1–15 分鐘) 數秒 最長 24 小時 更快的首權杖時間
可靠性 高/中高 盡力而為(可卸載) 高(不可卸載) 高(以輸送量為主) 不適用
介面 同步 同步 同步 非同步 已儲存狀態
最佳使用情境 一般應用程式工作流程 不緊急的循序鏈 正式環境、面向使用者的應用程式 大量資料集、離線評估 針對同一檔案的重複查詢

推論服務層級(同步)

在標準生成呼叫中傳入 service_tier 參數,即可在可靠性最佳化與成本最佳化的同步流量之間切換。

標準推論(預設)

標準層級是循序內容生成的預設選項,提供正常的回應時間,沒有額外溢價,也不會進入繁重的佇列。

  • 可靠性:標準關鍵程度
  • 價格:標準定價。
  • 最適合:大多數日常互動式應用程式。

Priority 推論(延遲最佳化)

Priority 處理會將你的要求導向高關鍵程度的運算佇列。這類流量嚴格不可卸載(絕不會被其他層級搶占),可靠性最高。若你超過動態 Priority 上限,系統會將要求平順降級為 Standard 處理,而不會直接回傳錯誤。

  • 可靠性:最高關鍵程度
  • 價格:較 Standard 費率高 75% 至 100%。
  • 最適合:客戶聊天機器人、即時詐欺偵測,以及業務關鍵的 copilot。

Flex 推論(成本最佳化)

Flex 推論 利用機會型、離峰的運算容量,提供較標準費率低 50% 的優惠。要求以同步方式處理,因此你不需要改寫程式碼來管理批次物件。由於這是「可卸載」流量,當系統出現標準流量尖峰時,要求可能會被搶占。

  • 可靠性:不保證、可卸載的關鍵程度
  • 價格:Standard 定價的 50%(依權杖計費)。
  • 最適合:多步驟代理工作流程(其中第 N+1 次呼叫取決於第 N 次呼叫的輸出)、背景 CRM 更新,以及離線評估。

Batch API(大量、非同步)

Batch API 專為以標準成本 50% 非同步處理大量要求而設計。你可以將要求以行內字典提交,或使用 JSONL 輸入檔案(上限 2GB)。它透過背景輸送量佇列處理要求,目標周轉時間為 24 小時。

  • 可靠性:可卸載,但具備 24 小時自動重試與佇列系統
  • 價格:Standard 定價的 50%。
  • 最適合:預處理大量資料集、執行定期迴歸測試套件,以及大量圖片或嵌入向量生成。

上下文快取(節省輸入成本)

上下文快取 適用於較短的要求反覆參照大量初始上下文的情境。

  • Implicit caching:在 Gemini 2.5 與更新的模型上自動啟用。若你的要求命中既有快取(依據共同的提示詞前綴),系統會將節省的成本回饋給你。

  • Explicit Caching:你可以手動建立具有特定存活時間(TTL)的快取物件。建立後,後續要求即可參照已快取的權杖,避免反覆傳送相同的語料酬載。Gemini 4 模型(gemini-4-carbon、gemini-4-argon 與 gemini-4-hydrogen)不支援明確快取。

  • 價格:依快取權杖數量與儲存時間(TTL)計費。

  • 最適合:具有大量系統指令的聊天機器人、對長篇影片檔案的重複分析,或針對大型文件集的查詢。

透過代理處理降低影片輸入成本

對於長篇影片內容(超過 5–10 分鐘)或目標明確的查詢,代理處理可將輸入權杖成本降低多達 88%,同時提升回應品質。依預設,所有模型(包括 Gemini 4)都使用靜態處理,以 1 FPS 擷取影格。透過代理式影片理解,模型會先檢查影片逐字稿,僅在需要的位置以較高的影格率與解析度動態載入視覺片段。對於短片段(5 分鐘以下)或廣泛的全片摘要,請保留預設的靜態處理模式,以獲得更快的首權杖時間(TTFT)與更低的權杖額外負擔。代理模式在時間軸導覽期間會產生內部推理(total_thought_tokens)與工具往返(total_tool_use_tokens)。

若要搭配 Gemini 4 Carbon、Gemini 4 Argon、Gemini 4 Hydrogen、3.8 Flash、3.6 Flash 或 3.5 Flash Lite 使用代理處理,請在影片輸入上設定 processing: "agentic"(Interactions API)或 media_processing: "AGENTIC"(GenerateContent API)。若模型不支援代理處理,將會回傳錯誤。

如需更多資訊,請參閱代理式影片理解。