Red Pill Go Hub
安裝需知
請先下載RedPillGoHubSetup.exe的Windows版本,安裝後依照以下說明。
UI介面

- "Expand settings panel" - 設置攝影機、麥克風、人體追蹤模式等。
- "Quick start/stop" - 應用前一次的設置開始進行MOCAP人體動作捕捉
- "Expand settings panel" - 更改角色內容與背景
- "Voice engine visualization" - 顯示AI同步聲音轉嘴形辨識的推理結果 visemes
- "Login/Profile" - 使用者帳戶管理

- "Rotate backgrounds" - 旋轉 360° HDR 背景
- "Background tint" - 將背景設置為純色
- "Show character" - 切換是否顯示人物及背景
- "Show video" - 切換是否顯示即時影像背景
- "Calibrate" - 校正身體(表演者採A-Pose)
- "Fingers" - 追蹤手指和手腕
- "Mirror" - 鏡像翻轉影像
- "Upper Body Mode" - 適合坐姿情境的上半身追蹤模式,此模式下不需要進行A-Pose校正
- "Camera Settings (齒輪)" 選擇相機解析度,相機啟動后再次按下可設置其他相機屬性
TIP
- 如果選取 "Manual Selection" 按下 "Start" 後將顯示其他相機屬性設置面板
- "Start/Stop" 開始和停止全身追蹤
動作捕捉
- 展開 Settings 面板,然後選擇要使用的麥克風和攝像頭。若要選擇相機解析度,請按兩下相機部分中的齒輪圖示。建議解析度使用 720p 或 1080p,解析度為 30 或 60 fps。
- 按下面板中間底部的 "Start" 按鈕或 "Play" 圖標開始使用人體動補
- 為獲得最佳效果,請確保將相機放置在大約您身體高度一半的高度,相機盡量呈現水平狀態。
- 站在相機前,務必讓整個身體都在拍攝畫面中。
- 如下圖所示先執行 A-Pose後開始進行全身追蹤,
TIP
- 可藉由螢幕上2D 骨架的顏色來判定追蹤狀態。
- 灰色 - 尚未開始追蹤
- 藍色 - 有檢測到A-Pose
- 橘色 - 準備完成,進入全身追蹤模式
- 為獲得最佳效果,請盡量避免在淩亂背景或直射強光下使用


TIP
- 有些攝影機提供低光補償功能,就經驗該功能將降低拍攝幀率並產生嚴重motion blur
- 若要關閉使用上述低光補償功能,可在攝影機已運行時按下面板中相機部分的齒輪圖示,然後取消勾選「相機控制/弱光補償」 "Camera Control/Low Light Compensation"

使用串流資料
在開啟使用串流資料功能前,需要確認您已有RedPillGo帳號且為月/年方案會員

- "WebRTC" - 將即時骨架動補資料和聲音串流到 go.rplab.online 或Unity引擎。之後可將系統自動產生或人工鍵入的六碼RoomID複製到 go.rplab.online 或Unity Plugin外掛程式裡。
- "Unity" - 連接到 Unity的外掛程式 RPLink. 此功能僅需本地網路即可運行,不需透過Internet。
- "Live Link" - 使用Live Link將3D動態骨架資料串留置到Unreal Engine 5。數據格式為系統預設之人體骨架模型,臉部則採用預設ARKit規格,我們的AI同步聲音轉嘴型是採用 ***raw viseme ***格式可即時判斷下述聲音及表情: "AA","EE","IY","OO","UU","ER","LL","WW","DTS","CH","MBP","FV","BLINK","HAPPY","SAD","ANGRY","SHOCK".
- "Virtual Camera" - 當Red Pill Go Hub安裝後,您會發現有個名叫"RedPill-Camera"的虛擬相機設備會添加到您的相機列表中。在Red Pill Go Hub切換虛擬攝像機開關後,此攝像機將會顯示您的即時角色動畫。該視頻解析度為 1280x720並採用 YUY2格式。您可在視頻會議及網站中應用此虛擬相機功能,例如meet, zoom, teams等,及直播軟體如OBS。
進階設定

根據不同筆記本或電腦規格,可透過下述功能指定CPU及GPU對不同AI模組進行運算
- 建議可嘗試調整不同設定以找到最適合您手上機器之最佳配置。
- "Reset On Lost Tracking" - 當此勾選選項時,若表演者離開之後又再回到攝影機畫面中,則必須再執行A-Pose重新校正。
- "Wait For A Pose" - 若不勾選此選項,則一旦偵測到全身時就馬上開始進行追蹤,故追蹤效果會不如有使用 A-Pose 校正後來得好。
