Persona

マイク1本のみで、Live2Dモデルの口の開閉やVRMアバターの母音口形を自律駆動できます。フェイストラッキング機能には一切依存せず、カメラやスマートフォンがない環境でも単独で動作するほか、カメラ追跡が有効な場合はフェイストラッキングの表情データと自動的に滑らかに融合します。

関連設定はトラッキングパネル内のウェブカメラトラッキング直下にあるリップシンクセクションに配置されています。この設定はアプリケーション全体で共有されるグローバル設定であり、シーンを切り替えても維持されます。Webコンソールのトラッキングページでも同一の設定項目を操作します。音声ストリームの解析処理はすべてローカル環境で直接実行され、スピーカーへのモニタリング出力やプラグインAPI経由での生音声送信は行われません（外部プラグインが取得できるのは瞬時音量レベルと母音認識ウェイトのみです）。

セットアップ

1. リップシンクセクションでリップシンクを有効にするをオンにします（既定値はオフ）。macOS環境では、初回有効化時にOSのマイクアクセス許可ダイアログが表示されます。
2. マイクドロップダウンから既定のマイクまたは特定のオーディオ入力デバイスを選択します。
3. マイクに向かって発声し、入力レベルおよびA、I、U、E、Oの5つの母音インジケーターが正常に反応することを確認します。必要に応じてレベル設定を調整します。
4. 各アバターレイヤーの詳細パネルにあるマイクによるリップシンク項目は既定で常にに設定されているため、マスタースイッチをオンにするだけでシーン内のアバターが即座にリップシンクを開始します。

マイク

既定のマイクはOSのシステムデフォルト入力デバイスに従いますが、特定の物理マイクを手動で固定指定することも可能です。一覧にはPersonaを実行しているホストマシン上のすべての有効な入力デバイスが表示されます（Webコンソール上でも同様であり、Webブラウザを実行しているクライアント端末側のマイクは一覧に含まれません）。システムにインストールされた仮想オーディオデバイス（仮想サウンドカードなど）も通常のマイクと同様に選択可能です。設定行の下部には、現在実際にキャプチャされているデバイス名がリアルタイム表示されます。

選択中のマイクデバイスが切断された場合、Personaが別のデバイスへ自動的にフォールバックすることはありません。ドロップダウンには利用できないマイクと表示され、ステータスは利用不可へ切り替わります。別のマイクを選び直すか再試行をクリックするまで待機状態が維持されます。

Personaはマイク音声をスピーカーへそのままパススルーするモニタリング機能を提供せず、またPC自身が再生しているシステム音声を直接キャプチャすることもありません。

レベル

ノイズゲートは入力ブースト適用後の信号レベルを基準に判定されます。ノイズゲートの閾値からフルスケールまでのダイナミックレンジが、口の完全密閉から最大開口までのストロークへ線形マッピングされます。無発話時に口が開いたままになる場合は入力ブーストを下げるかノイズゲートを上げ、通常発話時に口の動きが小さすぎる場合は逆方向に調整してください。これら3つのパラメータの変更は、実行中のリアルタイム音声解析へ即座に反映されます。マイクの切り替えやリップシンクの再起動時には、オーディオキャプチャパイプラインが再初期化されます。

状態とインジケーター

リップシンクを有効にするスイッチの横に、現在の動作状態が表示されます：

リップシンクの稼働中は、設定項目の下部に入力レベルとA、I、U、E、Oの5つの母音類似度インジケーターが表示されます。インジケーターの数値は母音特徴の類似度重みであり、排他的な確率分布ではありません。あいまいな発音では隣接する2つの母音インジケーターが同時に上昇することがあり、どの母音にも合致しない非音声ノイズではインジケーターが下降する一方、口の開閉自体は検出音量に応じて行われます。

以下の3つの状況において音声キャプチャが停止し利用不可状態になります：OSのマイク権限が拒否された場合（システム設定でPersonaに対するマイクアクセスを許可してください）、選択されたデバイスが切断または未接続の場合、音声解析コンポーネントの初期化に失敗した場合。再試行をクリックすると、現在選択されているデバイスに対してキャプチャパイプラインの再初期化を実行します。

音声のキャリブレーション

マイクのキャプチャ実行中、音声プロファイル情報行にプロファイル状態が表示されます。専用のキャリブレーションデータが存在する場合は〈マイク名〉用に調整済み、存在しない場合は標準プロファイルと表示されます。ステータスが音声入力中のときのみ、音声を調整…ボタンが操作可能になります。

キャリブレーションウィザードにはA、I、U、E、Oおよび環境音の計6項目が含まれ、それぞれに発音ガイダンスが付属しています：

1. 普段の会話音量とマイク距離を保ち、対象項目の録音ボタンをクリックして2秒間均一に発声を維持します。環境音の録音時は発声を行わず、普段通りに自然呼吸を保ってください。
2. 正常に録音された項目にはチェックマークが付き、ボタンが再試行に切り替わって個別録り直しが可能になります。母音データとして認識されるには信号レベルがノイズゲートを超えている必要があります（環境音には音量制限はありません）。規定を満たさない場合はダイアログ上に警告（「音声が小さすぎました。ノイズゲートを超える音量で発声し、もう一度お試しください。」または「十分な音声を取得できませんでした。一定の声を保って、もう一度お試しください。」）が表示され、直前の有効なキャリブレーションデータが保持されます。
3. 6項目すべての録音完了後、プロファイルを試すをクリックすると一時プロファイルが即座に反映されます。A、I、U、E、Oを順に発音し、対応するインジケーターが主導して上昇するか、シーン内のアバターの口形が追従するかを確認します。判別が不安定な母音がある場合は、その項目のみを録り直して再度試用します。
4. 問題がなければプロファイルを保存をクリックしてローカル設定へ保存します。キャンセルまたはダイアログを閉じると一時ドラフトは破棄され、直前に保存されていた設定または同梱の初期設定へ復帰します。

該当マイクに既存のキャリブレーションが存在する場合、ダイアログ展開時に過去データが自動読み込みされるため、特定の母音のみをピンポイントで再調整できます（6項目すべてを再録音する必要はありません）。リップシンクの停止、マイクの切り替え、キャプチャエラーの発生、または再試行の実行により、未保存の一時キャリブレーションデータは破棄されます。

キャリブレーション設定は物理マイクハードウェアごとに独立して保持され、対象デバイスでのキャプチャ開始時に自動適用されます。プロファイルをリセットボタンは現在のマイクにカスタム設定が存在する場合のみ出現し、クリックすると該当マイクの調整データを削除して初期設定へ復元します（他マイクの設定には影響しません）。既定のマイクを選択している場合、Personaは実体となる物理ハードウェアの特定を試みますが、自動特定が困難な場合はキャリブレーション前に手動で固有デバイスを選択してください。

カスタムキャリブレーション未実施時は、システム内蔵の共通基準プロファイル（標準プロファイル）が適用されます。この初期プロファイルは汎用的な音響特性に基づいているため、個々の声質やマイクの周波数応答によっては母音認識の精度が最適にならない場合があります。その場合は自身の声でキャリブレーションを実施してください。外部のMotionSyncプロファイルを直接インポートすることはできません。

マイクによるリップシンク

各アバターは、マイク入力による口形制御を受け入れるかどうかを個別に設定できます。対象レイヤーを選択し、詳細パネルのトラッキングセクションにあるマイクによるリップシンクで動作モードを指定します：

常にモードでカメラ顔追跡が有効な場合、Personaは平滑化された音量エンベロープに基づいて両者をブレンドします。無発話時はカメラが検出した微細な表情、声を出さないあくび、あごの動き、唇の形状が完全に維持され、発話音量の上昇に伴ってマイク解析による母音口形が主導権を握ります。カメラ追跡が途切れた際は口の制御が完全にマイクへと移行し、ロスト直前に固定された残余ポーズが干渉することはありません。

新規配置アバターおよび過去シーンから読み込まれたアバターの既定値は常にですが、グローバルのリップシンクを有効にするが既定でオフになっているため、マスタースイッチを入れるまで動作は発生しません。この同期モードはシーン内の特定アバターインスタンスに紐付いてシーンファイル内に保存されます。同一モデルを2体配置して異なるモードを設定することも可能であり、モデル固有のパラメータ割り当て設定とは明確に分離されています。

モデル駆動機構

Live2D

モデル側に特殊な追記ファイルを用意する必要はありません。マイク解析による口形パラメータは、標準の口入力（MouthOpen、MouthSmile、JawOpen、およびARKitJawOpen、ARKitMouthClose、ARKitMouthFunnel、ARKitMouthPucker）の上へ直接加算合成されるため、モデル既存の標準バインドがそのまま動作します。口の開き具合は母音形状と音量の間で連続的に補間ブレンドされるため、子音発話時にも急激な形状変化が生じません。

モデルの.model3.json内でLipSyncグループとして宣言されているパラメータ（モデル情報のリップシンク行に一覧表示される項目）は、個別のバインドルールが設定されていない場合に限り音量レベルを直接受信します。これにより、口パラメータのID命名が非標準的なモデルであってもバインド設定なしで自動的に駆動されます。母音ごとの個別口パラメータを持つモデルの場合は、パラメータ設定でVoiceA…VoiceOを該当パラメータへマッピングしてください。

モーション内蔵のオーディオやプラグインAPI経由で再生される音声の再生中は、再生オーディオが口の駆動権を最優先で獲得し、マイク入力は自動的に待機状態となります。

VRM

A、I、U、E、Oの各母音はそれぞれaa、ih、ou、ee、ohの標準表情へマッピングされ、各表情のウェイトは音量レベルと該当母音の類似度割合の積によって決定されます。標準の母音プリセットを持たずARKitのjawOpen表情のみを持つモデルでは、音量に応じてあごを開く動作へ自動フォールバックします。最終的な口形の表現力は、モデル自身のアセットに収録されたブレンドシェイプの品質に依存します。

カメラ追跡とブレンドする際、母音プリセットと競合するARKit口表情は音量レベルに応じて動的に制御権を移行します。マイクによって書き込まれた表情ウェイトは毎描画フレームの終端でリセットされるため、追跡ロスト時の保持ポーズに不要な値が残留することはありません。

音声入力パラメータ

パラメータ割り当てエディタの口グループには、Live2DおよびVRMの双方で活用できる12種類の専用音声入力パラメータが用意されています：

複合入力であるVoiceVolumePlusMouthOpenおよびVoiceFrequencyPlusMouthSmileは、合算値が標準範囲を超える場合がありますが、バインドルール側の入出力範囲設定によって自動的にクランプされます。カメラ顔追跡信号が存在しない場合、複合パラメータは音声成分のみを適用し、追跡ロスト時の静止ポーズが合算されることはありません。該当アバターに対してマイクが作用していない場合（リップシンクが無効、モードがオフ、またはフェイストラッキングが利用できないときモードでカメラ顔追跡が有効な場合）、パラメータにはカメラ追跡成分のみが残り、複合入力に基づくバインド設定も視覚追跡へ追従し続けます。

インポート

.vtube.jsonプリセットをインポートする際、上記入力パラメータ名の大文字・小文字は区別されません。

Personaは独自に最適化された音声解析パイプラインを採用しているため、同一の音声サンプルであってもVTube Studioとは音量や母音判定結果にアルゴリズム上の差異が生じる場合があります。

オートメーション連携

オートメーションのマイク音量トリガーは、リップシンクモジュールと同一の物理マイク、入力ブースト、ノイズゲート、スムージングパラメータを共有します。リップシンクを有効にするがオフに設定されている場合でも、トリガーは正常に待機・発火可能であり、その際はアバターの口形駆動のみが行われません。

オートメーションの音声を再生アクションを利用して、音声ファイルからアバターの口形を直接駆動することも可能です。アクション内のリップシンクを駆動対象にアバター（Live2DまたはVRM）を指定すると、ファイル再生中はその音声に合わせてアバターの口形がアニメーションし、マイク入力は自動退避します。この解析処理は内蔵の標準音声プロファイルを使用し、ボリューム調整やフェード処理が適用される前の生信号を直接解析するため、物理マイクを開く必要もありません。複数の音声ファイルが同一アバターを同時に駆動した場合は最後に再生開始された音声ストリームが優先され、すべての再生終了後にマイクおよびフェイストラッキングが滑らかに制御を再開します。