攝影機追蹤來源利用連接至執行 Persona 裝置的攝影機,捕捉臉部表情、手部動作與身體姿勢。底層採用 Google MediaPipe 於本機端執行,無需手機或額外動捕軟體,亦可與網路追蹤來源協同運作——例如手機負責臉部表情、mocopi 驅動身體姿勢、攝影機捕捉手指動作。單台攝影機可同時驅動多個 Live2D 與 VRM 虛擬形象。
設定
- 在追蹤面板的攝影機追蹤分區中開啟啟用攝影機追蹤。首次開啟時將自動建立攝影機追蹤來源,即一張名為 MediaPipe 網路攝影機的設定卡片。
- 展開卡片進入設定面板,選擇相機裝置,並勾選所需啟用的追蹤任務。
- 點選卡片上的臉部、身體與手部按鈕,指派目標虛擬形象。
- 保持自然放鬆表情,面向正前方站直身姿,點選卡片下方的校正按鈕。
在 macOS 系統中,攝影機首次啟動時系統將彈出相機權限授權請求;若此前曾拒絕授權,請參閱 疑難排解。
來源設定
系統僅維護一個全域攝影機追蹤來源,其啟閉完全由啟用攝影機追蹤總開關控制——卡片內部不提供獨立開關。該開關獨立於啟用臉部追蹤與啟用姿勢追蹤(後兩者僅控制網路追蹤來源)。關閉總開關會完整保留各項任務選項與形象指派;重新開啟後將原樣恢復,不會影響其他追蹤來源的通道指派。
| 設定 | 說明 |
|---|---|
| 相機 | 選擇使用的攝影機裝置。預設攝影機跟隨系統預設輸入裝置;已中斷連線的裝置顯示為無法使用的攝影機 |
| 臉部追蹤 | 捕捉表情與頭部動作。預設開啟 |
| 手部追蹤 | 捕捉 Live2D 手部輸入,以及 VRM 形象的手臂與手指骨骼。預設開啟 |
| 身體追蹤 | 捕捉 VRM 形象的軀幹與腿部動作。預設關閉 |
| 鏡像追蹤 | 預設開啟:形象呈鏡像對稱運動(右手驅動左手)。關閉後左右方向保持一致 |
| 處理方式 | 可選 CPU(預設)或 GPU。GPU 處理可提升追蹤影格率,但會與虛擬形象算繪共用顯示卡資源 |
| 〈某某〉的手部動作 | 手部由攝影機驅動的各 VRM 形象獨立選項:可選手臂與手指(預設)或僅手指,詳見 VRM |
僅已勾選開啟的任務會被載入並常駐執行。更換相機裝置、切換任務開關或變更處理方式均會觸發攝影機重新初始化。
Web 控制台 與 外掛 API 共享操作同一個攝影機來源、設定任務與形象指派。相機裝置清單、校正與即時預覽功能僅於桌面用戶端中提供。
指派形象
與網路追蹤來源卡片上的單項指派虛擬形象不同,攝影機卡片提供三個獨立的通道指派按鈕:臉部、身體與手部。點選均會開啟多選對話方塊,其中身體僅列出 VRM 形象。每個虛擬形象的這三個通道各自只能繫結一個追蹤來源,這也是攝影機能與其他硬體動捕協同驅動的基礎——卡片底部的提示訊息亦闡明了此機制。
因此,同一個虛擬形象可設定為由 LAPLACE Persona Tracker 提供臉部表情、mocopi 驅動身體姿勢、攝影機捕捉手指手勢。當勾選已由其他追蹤來源驅動同一通道的形象時,系統會彈出重新分配追蹤確認對話方塊。關閉某項追蹤任務後,指派至該任務的形象對應通道將停止受控,Persona 不會自動回退切換至其他追蹤來源。
與其他追蹤來源相同,單台攝影機來源可同時驅動多個虛擬形象,所有形象將即時接收同一份追蹤資料。
校正
校正按鈕位於卡片下方的狀態列中;已完成校正時,按鈕文字將切換為重新校正。僅當攝影機視野內成功偵測到臉部、手部或身體時,校正按鈕才處於可用狀態。預覽下方的提示指引了校正姿勢:面向正前方保持自然放鬆表情,站直身姿,隨後點選校正。
- 臉部——記錄當前瞬間的頭部朝向與臉部肌肉狀態作為中性參考基準。頭部旋轉角度與前後俯仰均以此為基準,表情形變則以放鬆狀態為零點起算。在完成校正前,系統將以攝影機捕捉到的首個影格臉部資料作為中性基準。
- 手部——針對 VRM 形象,校正後當視野中首次出現單手時,系統將記錄手部相對攝影機的距離與高度,並以此為比例基準縮放手臂解算範圍。
- 身體——記錄身體當前朝向與站立平面,作為全身旋轉與位移的世界原點。屈膝狀態不會被誤判為靜止基準姿勢。
重新啟動攝影機或切換鏡像追蹤設定均會清除當前的校正基準資料。
預覽與影格率
卡片下方的攝影機追蹤預覽區域將 MediaPipe 偵測到的特徵點繪製為線條——包括眼睛、唇部輪廓、手部骨骼與身體姿態關節點——開啟鏡像追蹤時線條同步鏡像翻轉。為保護隱私,該區域絕不呈現原始攝影機視訊串流,且在兩次計算之間僅保持最新特徵點,不會引入補間插值。上方狀態列顯示當前追蹤來源狀態,正常運作時還會標明追蹤影格率(例如 tracking · 30 FPS)。
追蹤影格率統計的是每秒實際完成的演算法偵測週期,與顯示 FPS 計數器呈現的舞台算繪影格率彼此獨立。Persona 預設向攝影機硬體請求最高 60 fps 的擷取串流;實際達到的影格率取決於攝影機硬體的真實輸出能力、啟用的任務數量(各任務在每一影格按管線依序串列計算)以及處理方式。即使配備高效能 GPU,也無法突破硬體擷取的影格率上限,且每增加一項追蹤任務均可能帶來額外的影格率耗損。
狀態
卡片本身以及啟用攝影機追蹤開關旁的狀態指示,遵循與其他追蹤來源相同的 狀態體系,具體依據攝影機視覺偵測結果判定:
| 狀態 | 說明 |
|---|---|
| off | 啟用攝影機追蹤處於關閉狀態,或內部所有追蹤子任務均未啟用 |
| waiting… | 攝影機裝置正在啟動初始化,或在臉部追蹤關閉時未偵測到手部與身體 |
| tracking | 任意啟用的子任務成功偵測到臉部、手部或身體(即使畫面中無臉部亦可顯示該狀態) |
| no face | 臉部追蹤已啟用但未偵測到人臉,且手部與身體亦未入鏡 |
即時預覽上方的狀態列在元件載入期間會顯示 starting…;若載入失敗則顯示 unavailable,並附帶錯誤提示與重試按鈕。需要注意的是,臉部追蹤與姿勢追蹤主面板的彙總狀態僅統計網路追蹤來源。
各項任務驅動機制
Live2D
- 臉部:沿用與行動端追蹤相同的 對應機制,將
FaceAngleX、MouthOpen等衍生參數及ARKit*標準 BlendShape 輸入透過模型的參數繫結機制驅動模型。 - 手部:輸出 28 項標準 手部輸入,同樣經由模型的參數繫結抵達 Cubism 參數。
- 身體:Live2D 模型無驅動效果。由於 Live2D 缺乏人形骨骼架構,Persona 不會憑空產生軀幹或四肢控制參數。
VRM
- 臉部:與行動端等同驅動表情、視線與頭部姿勢,且完全支援 perfect sync。
- 手部:設定為手臂與手指時,驅動肩膀、手臂、手腕及手指骨骼,系統將畫面中的手腕位置作為手臂反向運動學(IK)目標點,結合形象自身臂長求解;設定為僅手指時,僅驅動手指骨骼旋轉。
- 身体:驅動軀幹與下肢骨骼姿勢,並根據演算法估算微移形象。水平與垂直位移追蹤畫面中的空間投影;前後景深根據軀幹投影尺寸變化估算,活動範圍嚴格限制在 ±0.5 m 以內。該功能並非絕對空間位移追蹤,亦不會鎖定雙腳於地面。
身體追蹤不會解算或覆蓋手臂動作,手臂姿勢統一由手部追蹤負責。當有獨立的臉部追蹤來源驅動該形象時,頭部與頸部姿勢始終由臉部追蹤來源接管。
與 VMC 或 mocopi 協同
當配合 VMC 或 mocopi 驅動 VRM 身體時,肩膀與手肘關節完全由全身動捕來源控制,攝影機手部追蹤僅在上層疊加手腕與手指的相對旋轉。若切換為僅手指模式,手腕旋轉控制權亦完全歸還給身體動捕來源。
手部輸入
手部追蹤為 Live2D 的 參數繫結 提供以下輸入參數,在繫結編輯器中歸入手部分類。命名規範完全相容 VTube Studio 手部追蹤標準,並額外擴充了 HandLeftAngleY 與 HandRightAngleY;每項 HandLeft… 輸入均具備對稱的 HandRight… 對偶項:
| 輸入 | 範圍 | 說明 |
|---|---|---|
HandLeftFound | 0 – 1 | 成功偵測到對應手部時置為 1 |
HandLeftPositionX、HandLeftPositionY、HandLeftPositionZ | −10 – 10 | 手腕座標:X 向外、Y 向上、Z 朝向鏡頭,Z 軸由手掌輪廓估算 |
HandLeftAngleX、HandLeftAngleZ | −180° – 180° | 手腕尤拉角旋轉 |
HandLeftAngleY | −90° – 90° | 手腕航向角旋轉 |
HandLeftOpen | 0 – 1 | 五指開合度的加權平均值 |
HandLeftFinger_1_Thumb … HandLeftFinger_5_Pinky | 0 – 1 | 各獨立手指屈伸度,完全伸直時為 1 |
BothHandsFound | 0 – 1 | 雙手同時入鏡且有效追蹤時置為 1 |
HandDistance | 0 – 10 | 雙手手腕之間的手腕歐氏距離 |
未預設專屬繫結的 Live2D 模型將自動繫結與手部輸入同名的 Cubism 參數,並嚴格適配參數自身的數值範圍(例如針對 ±1 範圍設計的模型參數絕不會被越界驅動為 ±10)。
限制說明
- MediaPipe 的臉部 BlendShape 雖遵循 ARKit 命名標準,但演算法模型未包含舌頭特徵,故
tongueOut始終無法驅動——普通單目攝影機畫面無法等同替代 iPhone 原深感相機(TrueDepth)的深度測量能力。 - 所有空間座標均由單目 RGB 畫面估算:距離深淺依賴手掌輪廓大小,軀幹景深依賴上半身佔比。上述資料均為視覺估算值,而非感測器直接測量的真實物理距離。
- 手部若發生遮擋、雙手重疊或離開鏡頭視場,演算法將直接捨棄當前手部資料而非進行盲目猜測。身體追蹤要求雙肩與雙髖均位於畫面有效取景範圍內。
- 在 VRM 形象中,當追蹤目標短暫遺失時,系統將維持末影格姿勢 200 毫秒,並在隨後的約 0.4 秒內平滑過渡回底層靜止姿勢;在 Live2D 模型中,手部遺失將觸發
Found輸入歸零,其餘參數保留最後有效值,以便模型自身的淡出機制順暢播放。
隱私權與安全性
攝影機追蹤演算法完全於本機裝置端執行,MediaPipe 計算模型隨 Persona 用戶端安裝套件內建分發,執行時無需下載任何外部雲端權重。原始攝影機視訊畫面絕不上傳雲端,亦不會脫離 Persona 算繪沙盒——即便是控制面板內的預覽小窗也僅接收抽象特徵點資料。針對底層 MediaPipe 函式庫預設包含的 Google 使用統計回報行為,Persona 已在程式碼層實施嚴格攔截。有關本機儲存內容與安全存取機制的更多資訊,請參閱 隱私與安全。
疑難排解
「攝影機存取遭拒」
請在作業系統設定中授予 Persona 存取相機的權限,隨後重新啟動 Persona。macOS 系統中的設定路徑為系統設定 → 隱私權與安全性 → 攝影機;權限變更後需重新啟動 Persona 用戶端方能生效。
「攝影機無法使用」
攝影機硬體已被拔出中斷連線,或已被系統內其他應用程式獨占存取。請在設定中切換為其他相機裝置,或點選重試重新嘗試連線。
「無法啟動攝影機追蹤」
追蹤演算法引擎元件未能成功載入。請點選重試按鈕嘗試重新載入演算法執行階段。
最後更新於 2026年10月11日