本研究では，異なる骨格構造を持つキャラクタをビデオデータを使用してアニメーション化することができるモーションリターゲティングフレームワークを提案する．過去の研究では，異なる構造のスケルトン間でのモーションリターゲティングが行われているものの，単眼ビデオから抽出されたノイズの多い不自然なモーションデータのリターゲティングは困難であった．この問題に対処するために，本手法では簡単にアクセス可能な単眼ビデオから取得したモーションデータをリターゲティングする深層学習フレームワークを提案している．これにより，多様な骨格構造を持つキャラクタをアニメーション化することが可能となる．本手法，キャラクタアニメーションの個々のクリエイタをサポートすることを目的としている．
提案されたフレームワークは，2段階のポーズ推定によって複数の単眼ビデオから派生したモーションデータを前処理し，これをSkeleton-Aware Motion Retargeting Network（SAMRN）のトレーニングデータセットとして使用する．さらに，SAMRNの固有の回転の問題に対処するために，キャラクタのルートノードの回転角に対する損失関数を導入している．さらに，ビデオから抽出されたモーションデータを組み込み，キャラクタのルートノードとエンドエフェクタの速度に対する損失関数を追加することで，提案された方法はソースビデオに密接に一致する自然なモーションデータを生成することが可能となる．提案されたフレームワークの効果を，定性的および定量的な評価を通じて，単眼ビデオとさまざまなキャラクタ間のモーションリターゲティングにおいて示す．
プレゼンテーションビデオ
論文
-
Xin Huang, Takashi Kanai: “Video-Based Motion Retargeting Framework between Characters with Various Skeleton Structure”, 16th ACM SIGGRAPH Conference on Motion, Interaction and Games (MIG 2023), Article No.24, pp.1-6, 2023.
Paper (author’s version)
Paper (publisher’s version)
Supplemental Video (Youtube) - 黄 歆,金井 崇: “ビデオからのスケルトン構造の異なるキャラクタ間のモーションリターゲティングフレームワーク”, Visual Computing 2023, 東京, 9月, No.23, 2023.
- コウ キン, 金井 崇: “スケルトン構造の異なるキャラクタ間のビデオデータにもとづくリターゲッティングフレームワーク”, 情報処理学会 コンピュータグラフィックスとビジュアル情報学第189回研究発表会, 東京, 3月, 2023.