Priority 推論¶
這項功能目前為預覽版。
Gemini Priority API 是高階推論層級,專為業務關鍵工作負載設計,能以較高的價格提供更低的延遲與最高的可靠性。Priority 層級的流量優先級高於標準 API 與 Flex 層級的流量。
Interactions API 的各個端點都可使用 Priority 推論。
如何使用 Priority¶
若要使用 Priority 層級,請將請求中的 service_tier 欄位設為
priority。若省略這個欄位,預設層級為標準層級。
from google import genai
client = genai.Client()
interaction = client.interactions.create(
model="gemini-4-hydrogen",
input="Triage this critical customer support ticket immediately.",
service_tier='priority'
)
print(interaction.output_text)
import { GoogleGenAI } from '@google/genai';
const ai = new GoogleGenAI({});
async function main() {
const interaction = await ai.interactions.create({
model: "gemini-4-hydrogen",
input: "Triage this critical customer support ticket immediately.",
service_tier: "priority"
});
console.log(interaction.output_text);
}
await main();
import com.google.genai.Client;
import com.google.genai.gaos.models.interactions.CreateModelInteraction;
import com.google.genai.gaos.models.interactions.Interaction;
import com.google.genai.gaos.models.interactions.InteractionsInput;
import com.google.genai.gaos.models.interactions.Model;
import com.google.genai.gaos.models.interactions.ServiceTier;
import com.google.genai.gaos.models.operations.CreateInteractionRequestBody;
Client client = new Client();
CreateModelInteraction params =
CreateModelInteraction.builder()
.model(Model.of("gemini-4-hydrogen"))
.input(InteractionsInput.of("Perform a priority inference task."))
.serviceTier(ServiceTier.PRIORITY)
.build();
Interaction interaction =
client.interactions.create(CreateInteractionRequestBody.of(params)).interaction().get();
System.out.println(interaction.outputText().orElse(""));
package main
import (
"context"
"fmt"
"log"
"google.golang.org/genai"
"google.golang.org/genai/interactions/models/interactions"
"google.golang.org/genai/interactions/models/operations"
)
func main() {
ctx := context.Background()
client, err := genai.NewClient(ctx, nil)
if err != nil {
log.Fatal(err)
}
res, err := client.Interactions.Create(ctx, operations.CreateInteractionRequest{
Body: operations.NewCreateInteractionRequestBody(interactions.CreateModelInteraction{
Model: interactions.Model("gemini-4-hydrogen"),
Input: interactions.NewInteractionsInput("Perform a priority inference task."),
ServiceTier: interactions.ServiceTierPriority.ToPointer(),
}),
})
if err != nil {
log.Fatal(err)
}
if res.Interaction.OutputText != nil {
fmt.Println(*res.Interaction.OutputText)
}
}
curl -X POST "https://generativelanguage.googleapis.com/v1beta/interactions" \
-H "Content-Type: application/json" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-H "Api-Revision: 2026-05-20" \
-d '{
"model": "gemini-4-hydrogen",
"input": "Triage this critical customer support ticket immediately.",
"service_tier": "priority"
}'
Priority 推論的運作方式¶
Priority 推論會將請求導向高關鍵性的運算佇列,為面向使用者的應用程式提供可預測且快速的效能。其主要機制是:當流量超過動態上限時,伺服器端會平順地將其降級為標準處理,確保應用程式穩定運作,而不是讓請求失敗。
| 功能 | Priority | 標準 | Flex | Batch |
|---|---|---|---|---|
| 價格 | 比標準層級高 75-100% | 全額價格 | 5 折 | 5 折 |
| 延遲 | 數秒 | 數秒至數分鐘 | 數分鐘(目標 1-15 分鐘) | 最長 24 小時 |
| 可靠性 | 高(不可捨棄) | 高/中高 | 盡力而為(可捨棄) | 高(以輸送量為考量) |
| 介面 | 同步 | 同步 | 同步 | 非同步 |
主要優點¶
-
低延遲:專為互動式、面向使用者的 AI 工具設計,回應時間以秒計。
-
高可靠性:流量以最高關鍵性處理,且嚴格不可捨棄。
-
平順降級:流量尖峰超過動態上限時,會自動降級至標準層級處理,而不是讓請求失敗,避免服務中斷。
-
低導入成本:與標準層級和 Flex 層級使用相同的同步
create方法。
使用案例¶
Priority 處理非常適合效能與可靠性至關重要的業務關鍵工作流程。
-
互動式 AI 應用程式:例如客服聊天機器人與 copilot,使用者支付較高費用,並期待快速且一致的回應。
-
即時決策引擎:需要高度可靠、低延遲結果的系統,例如即時工單分類或詐欺偵測。
-
高階客戶功能:需要為付費客戶保證更高服務水準目標(SLO)的開發人員。
速率限制¶
Priority 的用量會計入整體互動流量速率限制,但它本身另有獨立的速率限制。Priority 推論的預設速率限制為 Model / Tier 標準速率限制的 0.3 倍
平順降級邏輯¶
若因壅塞而超過 Priority 上限,溢出的請求會自動且平順地降級為標準處理,而不是以 503 或 429 錯誤失敗。降級後的請求按標準費率計費,不收取 Priority 的高階費率。
用戶端責任¶
-
回應監控:開發人員應監控 API 回應中的
x-gemini-service-tier標頭,以偵測請求是否經常被降級為standard。 -
重試:用戶端必須針對標準錯誤(例如
DEADLINE_EXCEEDED)實作重試邏輯/指數退避。
價格¶
Priority 推論的價格比標準 API 高 75-100%,並按權杖計費。
支援的模型¶
下列模型支援 Priority 推論:
| 模型 | Priority 推論 |
|---|---|
| Gemini 4 Carbon | ✔️ |
| Gemini 4 Argon | ✔️ |
| Gemini 4 Hydrogen | ✔️ |
| Gemini 3.8 Flash | ✔️ |
| Gemini 3.6 Flash | ✔️ |
| Gemini 3.5 Flash-Lite | ✔️ |
| Gemini 3.1 Flash-Lite | ✔️ |
| Gemini 3.1 Pro Preview | ✔️ |
| Gemini 3 Flash Preview | ✔️ |
| Gemini 2.5 Pro | ✔️ |
| Gemini 2.5 Flash | ✔️ |
| Gemini 2.5 Flash-Lite | ✔️ |