MoSculp：MIT CSAIL使用AI從2D視訊建立3D列印“運動雕塑”
對運動的理解是所有生物物種的基礎，無論它是在計算投球的角度，還是看到捕食者和獵物的運動。但簡單的視訊實際上無法給我們全面的瞭解。由於用於研究運動的傳統視訊和照片是二維的，因此它們不向我們展示感興趣的人或主題的潛在3D結構。
圖片由麻省理工學院CSAIL提供
近日，麻省理工學院電腦科學與人工智慧實驗室，谷歌研究所和加州大學伯克利分校的研究人員已經提出了一種人工智慧（AI）系統來展示人體如何運動。該系統被稱為MoSculp，它使用的演算法可以拍攝2D ofollow,noindex">視訊 並將其轉換為3D列印的“運動雕塑”。它可以為職業運動員，舞者或任何想要提高身體技能的人提供更詳細的運動研究。
“想象一下，你有一個關於羅傑費德勒在網球比賽中投球的視訊，以及一個自己學習網球的視訊。”博士生張秀明說， “然後你可以建立兩種情景的動作雕塑來比較它們，並更全面地研究你需要改進的地方。”
圖片來源：Jason Dorfman / MIT CSAIL
以下是它在實踐中的工作原理：將視訊載入到系統後，MoSculp將檢測到的關鍵點覆蓋在輸入幀上，並通過幾個隨機選擇的幀確認它們。 （內建的校正工具可以讓使用者在必要時進行調整。）在校正“暫時不一致的檢測”後，它會生成運動雕塑並將其載入到自定義介面中。這是一個多步驟過程，所有MoSculp需求都是視訊序列。將視訊載入到系統後，MoSculp會首先自動檢測拍攝物件身體上的2D關鍵點，例如芭蕾舞女演員的髖關節，膝關節和踝關節，同時進行復雜的舞蹈序列。然後，它將這些點的最佳姿勢轉化為3D“骨架”。
圖片來源：Jason Dorfman / MIT CSAIL
將這些骨架拼接在一起後，系統會生成一個可以3D列印的運動雕塑，顯示主體追蹤的平滑，連續的運動路徑。使用者可以在雕塑周圍導航並定製他們的圖形以聚焦於不同的身體部位，分配不同的材料以區分部件，甚至自定義照明，然後使用3D印表機進行列印。在試驗期間，研究人員發現超過75％的受試者認為MoSculp提供了比標準攝影技術更詳細的運動學習視覺化。
該系統最適合較大的動作，例如在舞蹈序列中拋球或進行一次飛躍。它也適用於可能阻礙或複雜運動的情況，例如穿著寬鬆衣服或攜帶物品的人。
目前，MoSculp僅使用單一主題視訊，但該團隊希望擴充套件到多個人。在未來，他們相信它可以用於研究諸如社交障礙，人際交往和團隊動態之類的事情。
第一作者張秀明帶著團隊的一部“動感雕塑”。照片：Jason Dorfman / MIT CSAIL
“舞蹈和高技能運動通常看起來像'移動雕塑'，但它們只會形成稍縱即逝的短暫形狀，”Adobe傳播負責人Courtney Brigham說。 “這項工作展示瞭如何採取動作並將其轉化為具有客觀運動視覺化的真實雕塑，為運動員提供了一種分析他們的訓練動作的方式，不需要比移動攝像機更多的裝置和一些計算時間。”