跳轉到

啟動 Live Music 工作階段

Preview: Live Music API 目前為預覽版。

WSS wss://generativelanguage.googleapis.com/ws/google.ai.generativelanguage.v1beta.GenerativeService.BidiGenerateMusic

WebSocket 連線會建立一個工作階段,讓用戶端與模型進行即時通訊。用戶端建立新連線後,工作階段即可與伺服器交換訊息,以:

  • 傳送提示詞與控制訊號,引導音樂生成。
  • 傳送音樂播放控制訊號。
  • 接收音訊區塊。

此 URL 對應的版本為 v1beta。

工作階段設定

連線建立後傳送的第一則訊息,用來設定工作階段所使用的模型。

以下為設定範例。請注意,不同 SDK 的名稱大小寫可能有所差異。Python SDK 的設定選項可參閱 此處。

{
  "model": string
}

傳送訊息

若要透過 WebSocket 連線交換訊息,用戶端必須在已開啟的 WebSocket 連線上傳送 JSON 物件。該 JSON 物件必須包含以下物件集合中恰好一個欄位:

{
  "setup": BidiGenerateMusicSetup,
  "client_content": BidiGenerateMusicClientContent,
  "music_generation_config": BidiGenerateMusicGenerationConfig,
  "playback_control": BidiGenerateMusicPlaybackControl
}

支援的用戶端訊息

支援的用戶端訊息如下表所示:

Message Description
BidiGenerateMusicSetup 僅在第一則訊息中傳送的工作階段設定
BidiGenerateMusicClientContent 作為模型輸入的加權提示詞
BidiGenerateMusicGenerationConfig 音樂生成的設定
BidiGenerateMusicPlaybackControl 模型生成的播放控制訊號

接收訊息

若要接收伺服器的訊息,請監聽 WebSocket 的 'message' 事件,再依照支援的伺服器訊息定義解析結果。

範例如下:

async def receive_audio(session):
  """Example background task to process incoming audio."""
  while True:
    async for message in session.receive():
      audio_data = message.server_content.audio_chunks[0].data
      # Process audio...
      await asyncio.sleep(10**-12)

async with (
  client.aio.live.music.connect(model='models/lyria-realtime-exp') as session,
  asyncio.TaskGroup() as tg,
):
  # Set up task to receive server messages.
  tg.create_task(receive_audio(session))

  # Send initial prompts and config
  await session.set_weighted_prompts(
    prompts=[
      types.WeightedPrompt(text='minimal techno', weight=1.0),
    ]
  )
  await session.set_music_generation_config(
    config=types.LiveMusicGenerationConfig(bpm=90, temperature=1.0)
  )

  # Start streaming music
  await session.play()

伺服器訊息包含 BidiGenerateMusicServerMessage 訊息中其他欄位的恰好一個。(messageType 聯集在 JSON 中不以欄位形式呈現,因此該欄位會出現在訊息的最上層。)