00:00 / 00:00

Persona

口型同步

單支麥克風即可獨立驅動 Live2D 模型唇形以及 VRM 虛擬形象 的母音口型。該機制完全獨立於臉部追蹤:在無攝影機或行動裝置時亦可正常運作;當同時啟用臉部追蹤時,口型同步將與臉部追蹤演算法自動平滑融合。

相關設定位於 追蹤 面板中攝影機追蹤下方的口型同步分區。該設定屬於全域應用程式層級設定,切換場景時保持不變,Web 控制台 中的追蹤頁面操作的亦為同一份設定。音訊串流完全在本機裝置端解算:既不會向喇叭迴路輸出監聽,也不會透過 外掛 API 廣播原始音訊串流——外部外掛僅能讀取瞬時音量位準與母音辨識權重,無法取得聲音音訊內容本身。

設定

  1. 在口型同步分區中開啟啟用口型同步(預設處於關閉狀態)。在 macOS 系統中,首次啟用將彈出麥克風系統授權請求。
  2. 在麥克風下拉式選單中選擇預設麥克風或指定的音訊輸入硬體。
  3. 對準麥克風正常發聲,觀察輸入位準以及 A、I、U、E、O 五項母音指示條是否靈敏回應;如有需要可調節 位準參數。
  4. 各虛擬形象圖層詳細資訊中的 麥克風口型同步 選項預設設定為一律;開啟全域總開關後,場景中的對應虛擬形象即可開始口型同步。

麥克風

預設麥克風跟隨作業系統的系統級預設輸入裝置,亦可手動鎖定具體的音訊硬體。裝置清單展示執行 Persona 本機裝置上的所有可用音訊輸入硬體——在 Web 控制台中同樣僅展示執行主機的輸入裝置,不會列出瀏覽器終端裝置自身的麥克風。系統中安裝的虛擬音訊裝置(如虛擬音效卡)同樣會完整列出。設定項下方將即時顯示當前實際採樣的硬體名稱。

當選定的麥克風裝置離線或中斷連線時,Persona 不會靜默自動切換至其他裝置:下拉式選單將顯示為無法使用的麥克風,狀態同步變更為無法使用,直至手動切換其他可用裝置或點選重試按鈕。

Persona 不提供麥克風音訊本機監聽播放功能,亦不會直接錄製或擷取本機正在播放的系統喇叭輸出。

位準

控制項範圍預設值說明
輸入增益0 – 30 dB0 dB補償低靈敏度麥克風的輸入訊號,在雜訊閘之前生效。過度增益會導致嘴部持續大幅張開
雜訊閘−60 – 0 dB−45 dB濾除低於該門檻值的環境背景雜音
平滑0 – 300 ms80 ms平滑嘴部開合度與母音過渡變化。數值越大,動態越柔和但延遲相應增加

雜訊閘比較的是經過輸入增益放大後的訊號位準。高於雜訊閘門檻值直至滿刻度的訊號動態範圍,將線性對應為嘴部從完全閉合到最大張開的行程。若安靜時嘴部依然張開,請調低輸入增益或調高雜訊閘門檻值;若正常說話時嘴部動作幅度過小,則反向調整上述參數。這三項參數的修改將立即作用於當前的即時音訊串流分析;切換麥克風或重啟口型同步將重新初始化音訊擷取上下文。

狀態與指示條

啟用口型同步開關旁側即時顯示當前運作狀態:

狀態說明
已關閉口型同步功能處於未啟用狀態
啟動中…正在開啟麥克風硬體串流並初始化音訊分析演算法
正在聆聽音訊串流正在正常擷取並持續進行特徵擷取
無法使用擷取失敗;面板下方將顯示失敗原因與重試按鈕

當口型同步處於執行狀態時,控制項下方將展示輸入位準與 A、I、U、E、O 五項母音相似度指示條。指示條數值表示各母音特徵的相似度權重,而非絕對機率分布:發音含糊時可能同時觸發相鄰的兩個母音指示條;而不符合任何標準母音的聲音特徵將導致指示條回落,但嘴部開合仍會依據當前音量正常張開。

當出現以下三類情況時,音訊串流擷取將中斷並進入無法使用狀態:麥克風系統權限遭拒(需在作業系統安全設定中允許 Persona 存取麥克風)、選定硬體中斷連線或不存在,或底層音訊分析元件載入失敗。點選重試按鈕將針對當前選定裝置重新嘗試初始化擷取。

校正聲音

在麥克風正常擷取期間,聲音設定檔資訊列展示該麥克風的設定檔狀態:若已建立專屬校正,則顯示為已針對〈麥克風〉校正;否則顯示為預設設定檔。僅當狀態為正在聆聽時,校正聲音… 按鈕才處於可互動狀態。

校正引導對話方塊包含 A、I、U、E、O 與背景噪音共六項擷取目標,每一項均配有標準發音提示:

  1. 保持日常說話音量與麥克風距離,點選對應項的錄製按鈕,平穩持續發音兩秒;在背景噪音階段保持安靜並維持正常呼吸。
  2. 擷取成功的項目將標記勾號,按鈕切換為重試,支援單獨針對該項重錄。母音訊號位準必須高於雜訊閘方可判定有效;背景噪音擷取無音量門檻限制。若擷取未達標,彈出視窗將給出具體原因(例如「聲音太小。請以高於噪音閘門檻的音量發聲後重試。」或「擷取的音訊不足。請保持發聲平穩後重試。」),並自動保留上一輪有效的校正基準。
  3. 全部六項擷取完畢後,點選預覽設定檔即可讓暫時設定檔立即生效。依序朗讀 A、I、U、E、O,觀察對應的母音指示條是否佔據主導,並確認場景內虛擬形象的口型回饋。若某個母音容易與其他音混淆,可返回單獨重錄該項並再次預覽。
  4. 確認無誤後點選儲存設定檔寫入本機設定。點選取消或關閉對話方塊將捨棄暫時草稿,還原至此前儲存的設定檔或內建預設設定檔。

若當前麥克風已存在歷史校正,對話方塊將自動預先載入既有資料,使用者僅需針對性重新錄製個別母音,無需重複錄製整套六項。關閉口型同步、切換輸入裝置、擷取異常或觸發重試操作,均會導致未儲存的暫時校正資料遺失。

校正設定檔與具體的實體麥克風硬體唯一繫結,每台裝置維護獨立設定檔,並在開始擷取時自動比對載入。重設設定檔按鈕僅在當前麥克風擁有自訂校正時顯示;點選將清除該麥克風的專屬設定檔並重設回內建基準,其他裝置的設定檔不受任何影響。當選擇預設麥克風時,Persona 將盡力解析其對應的底層實體裝置;若無法精確識別,建議在校正前手動切換為指定的具體硬體。

在未完成個人化校正前,系統統一使用內建基準設定檔(即預設設定檔)。內建設定檔基於通用模型訓練,可能無法完美契合所有聲線特徵與麥克風頻率響應曲線。若母音辨識準確率欠佳,建議執行個人化發音校正。系統不支援直接匯入外部 MotionSync 設定檔。

麥克風口型同步

每個虛擬形象均可獨立設定是否回應麥克風音訊驅動。選取目標圖層後,在其屬性面板的追蹤分區中可找到麥克風口型同步設定項,該項使用全域統一設定的麥克風輸入來源:

選項說明
關閉當前虛擬形象完全忽略麥克風輸入
一律 · 預設始終回應麥克風;當存在即時臉部追蹤時,口型動作將依據音量進行權重融合
臉部追蹤無法使用時當臉部追蹤訊號正常時,嘴部完全交由視覺臉捕控制;僅在臉捕遺失期間(包括保持末影格姿勢時)由麥克風接管

當採用一律模式且存在即時臉捕時,Persona 會依據平滑後的音量包絡在兩者之間建立動態融合:靜音狀態下,嘴部完全保留視覺追蹤到的微表情、無聲哈欠、下巴開合與唇形細節;隨著說話音量提升,基於麥克風的母音口型逐漸取得控制主導權。當視覺臉捕訊號遺失時,嘴部動作完全切由麥克風驅動,不會受視覺遺失前鎖定的殘餘姿勢干擾。

新建形象與歷史場景匯入的形象預設均設為一律;但因全域啟用口型同步預設關閉,因此在開啟全域開關前不會產生任何動態。該同步模式歸屬於場景內的具體執行個體並隨場景專案儲存;同一個模型的兩個獨立執行個體可指定不同的口型模式,而模型的標準 參數繫結 仍歸模型資產自身所有。

驅動模型

Live2D

無需附加任何特殊模型補丁。麥克風分析得出的口型數值會直接疊加至標準的嘴部輸入參數——包括 MouthOpen、MouthSmile、JawOpen,以及 ARKitJawOpen、ARKitMouthClose、ARKitMouthFunnel、ARKitMouthPucker——因此模型自帶的標準嘴部繫結均可直接無縫生效。嘴部張合度在母音形態與瞬時音量之間實施連續插值融合,確保在發子音時不會產生突兀的跳變。

模型在 .model3.json 中宣告的 LipSync 參數組(即 模型資訊 面板口型同步欄列出的所有參數),只要尚未被明確繫結規則驅動,就會直接接收音量位準驅動——因此即使部分模型的嘴部參數命名非標準,無需手動設定繫結亦可開箱即用。若模型製作了獨立的母音專屬參數,可在參數面板中將 VoiceA…VoiceO 與對應參數建立對應。

當觸發播放模型動作自帶的內建音訊或透過 外掛 API 播放語音 時,音訊播放串流將搶佔嘴部驅動權,麥克風口型將自動避讓。

VRM

A、I、U、E、O 依序對應驅動模型的 aa、ih、ou、ee、oh 標準 表情,各表情權重等於音量位準與該母音相似度比重的乘積。對於未定義標準母音預設、但具備 ARKit jawOpen 表情的模型,系統將自動回退為依據音量開合下巴。口型最終呈現效果取決於模型自身表情資產的製作精細度。

在與即時臉部追蹤融合時,母音表情與產生衝突的 ARKit 嘴部表情會依據音量位準動態交接權重。麥克風寫入的表情權重在每一影格算繪循環結束時均會還原清空,絕不會殘留固化到視覺追蹤的保持姿勢中。

語音輸入

在 參數繫結 編輯器的嘴巴分類下,系統額外提供了 12 項專屬語音輸入參數,可同時套用於 Live2D 與 VRM 模型的繫結邏輯:

輸入編輯器中的顯示名稱範圍說明
VoiceVolume語音音量0 – 1經過平滑處理的瞬時音訊音量包絡
VoiceA、VoiceI、VoiceU、VoiceE、VoiceO語音 A … 語音 O0 – 1各獨立母音強度,經音量加權並平滑處理
VoiceSilence語音靜音0 – 11 減去當前音量,靜音狀態下恆為 1
VoiceFrequency語音口型0 – 1母音特徵在常規唇形軸上的空間投影(0.5 為中性,非音高)
VoiceVolumePlusMouthOpen語音 + 嘴巴開閉0 – 2音量包絡疊加視覺臉捕的張嘴幅度
VoiceFrequencyPlusMouthSmile語音 + 嘴巴變形0 – 1臉捕唇形形態疊加聲音產生的帶正負號形態偏移
VoiceMouthOpen語音嘴巴開閉0 – 1依據母音加權並結合音量綜合計算的嘴部張開投影
VoiceMouthSpread語音嘴巴橫向伸展−1 – 1依據母音加權並結合音量、具備正負方向的嘴角延展投影

VoiceVolumePlusMouthOpen 與 VoiceFrequencyPlusMouthSmile 兩項複合參數在相加疊加後數值可能突破標準上限,系統將交由繫結規則自身的輸入輸出範圍進行鉗位截斷。當缺少視覺人臉訊號時,複合參數僅使用音訊分量,且視覺遺失後暫存的靜態姿勢不會混入運算;當麥克風未對該形象生效時(如口型同步關閉、形象模式設為關閉,或在臉部追蹤無法使用時模式下當前處於有效臉捕控制中),參數僅保留視覺臉捕分量,確保基於複合輸入的繫結規則依然能穩定回應視覺追蹤。

匯入

在匯入 .vtube.json 預設時,上述輸入參數名稱不區分英文字母大小寫。

Persona 採用自主最佳化的音訊分析管線,針對同一段語音訊號擷取出的音量與母音判定特徵,可能與 VTube Studio 存在演算法層面的合理差異。

自動化整合

在 自動化 系統中,麥克風音量觸發條件與此處的口型同步模組共用相同的麥克風硬體、輸入增益、雜訊閘與平滑參數。即使啟用口型同步處於關閉狀態,該觸發器仍可正常運作,此時僅不驅動虛擬形象口型。

自動化系統的 播放音訊 動作亦支援直接使用音訊檔案驅動口型:將動作中的驅動口型同步指定給目標虛擬形象(Live2D 或 VRM 均可),檔案播放期間目標形象的唇形將完全跟隨該音訊檔案運動,麥克風輸入自動避讓。該分析過程採用內建的標準聲音基準設定檔,直接在套用音訊增益與淡入淡出之前解析來源訊號,且無需開啟實體麥克風。若多個音訊檔案並行驅動同一形象,系統以最後發起的音訊串流為準;當所有音訊播放停止後,麥克風與臉部追蹤將平滑重新接管控制。

最後更新於 2026年10月11日

Tech otakus destroy the world