自分のキャラクターに、体と動きを — 絵から、動画から、言葉から

動画に写った人の動きを、3D キャラクターの体に移す。MaxLiu09 さんが GitHub のリンクとともに紹介したのは、そんな動きの受け渡しをするオープンソースのツール Motion2MixamoRig です ¹。

本人のポストは、同じことをするオープンソースのものを作り、Blender 拡張も使えるようになった、という内容です ²。X に流れてきた作例を並べると、キャラクターを動かす入口は、動画、絵、言葉と、いくつかに分かれて見えます。ここからは、動画から動きを移す、絵に体を与える、言葉でレンダーする、LLM に体を持たせる、動きの LoRA を探す、の順に、使われたツールの公式情報と読み合わせていきます。

動画の動きを、3D の体に移す

Motion2MixamoRig の README によれば、できることは、動画の人の動き(または写真のポーズ)を、Mixamo のリグが入った 3D キャラクターに移すことです ¹。結果は、Blender や Unity に読み込める、スキンつきのキャラクターファイル(.glb)として書き出されます ³。同じ処理を外部の Python 環境で動かす、Blender 4.2 以降向けの拡張も同梱されています ⁴。

入力の動画には条件があります。はっきり写った1人が、ずっと頭からつま先まで画面に入っているものです ⁵。キャラクターは Mixamo から、Adobe のアカウントでダウンロードします ⁶。

気になる処理時間も、README に書かれています。CPU で約30秒のクリップの抽出に、約8〜15分かかるとのことです ⁷。初回の実行では、推論用の重み(約5GB)をダウンロードします ⁸。同じ骨格の動きを別のキャラクターに付け替えるなら、前回の骨格を再利用して抽出を省き、短い時間で済む、とも書かれています ⁹。ひとつの動きを、いろいろなキャラクターに着せ替えて試せる作りです。

なお README は、現在は実験的な段階だと明記しています ¹⁰。

絵に体を与える

3D の前に、まず絵そのものを動かす道もあります。shinshin86 さんは、絵から Live2D 風のアバターを作れるようにするツール Mesh Avatar Studio を公開したと書いています ¹¹。

流れは、絵を渡すと AI エージェントが下地を作り、ずれたところは人がエディタでドラッグして直す、というものです ¹²。手元の Claude Code や Codex から使える、と本人は添えています ¹³。エージェントに任せる部分と、人の目と手で仕上げる部分が、きれいに分かれています。

公式情報では、コードは MIT License で公開されています(サンプルキャラクターは対象外) ¹⁴。Windows のアカウント配下に作業用のフォルダーを作る手順も、README にあります ¹⁵。

元の絵を描く、あるいは下地のずれを直す段階では、ペンタブレットがあると作業が進めやすそうです。

自分の VRM を、言葉でレンダーする

次は midori_tatsuta さんです。Blender を3日で挫折した本人が、引用元の作り方を参考に、お試しで動画のレンダリングまでしてみた、と書いています ¹⁶。

作り方はプロンプトのみで、Opus 5.5 で作ったそうです ¹⁷。自分の VRM モデルがあったので入れてみたそうです ¹⁸。さらに本人は、完全に一貫した動画になるので、参照元としても良いかもしれない、と提案しています ¹⁹。

Blender を3日で挫折した本人が、プロンプトだけで自分のモデルの動画のレンダリングまで行った、と書いている ^{16 17}。お試しのひとつの例ですが、入口がここまで低くなってきたことに驚きます。言葉で 3D を作る流れは、依頼文で Blender の 3D を作るの記事でも読めます。

ひとつ区別しておきます。Opus 5.5 は、公式が示す提供先が Claude Platform と Amazon Web Services というクラウドです ²⁰。レンダーにどのソフトを使い、何で Opus とつないだかは、投稿には書かれていません。

頭脳に体を持たせる

L_ARCH_01 さんは、Opus 5.5 と UE5.8 で、LLM が操作できる体を与えてみる簡易テストを紹介しています ²¹。

本人いわく、要するに LLM が(疑似的に)体を制御しているだけの AITuber です ²²。UE でのデモをあまり見ないのでやってみたら、思ったよりいい感じだった、と書いています ²³。まだ限定的な環境だが、見ていて面白いとも ²⁴。中身の LLM は Opus 5.5 で ²⁵、デスクトップアプリとして完成させる予定だそうです ²⁶。

分担を整理すると、体を動かす頭脳の Opus 5.5 は、公式が示す提供先がクラウドです ²⁰。UE 側の動かし方や環境は、投稿には書かれていません。LLM に体を操作させてみる、という発想そのものが、この作例の面白さです。

動きの LoRA を探す

もうひとつの入口が、動画生成モデルの LoRA です。sep_is_heim さんは、MiniMax H3 の LoRA が結構増えてきた、と書いています ²⁷。

カメラワーク、変身、キャラ編集、アクション、画風変更など、公開されている18種類の LoRA を6ジャンルに整理した、とのことです(一部重複あり) ²⁸。各 LoRA の配布リンクは返信にまとめると書かれています ²⁹。一覧はポストの画像で見てください。

MiniMax H3 は重みが公開されていて、ローカルで動かせます ³⁰。ComfyUI でのローカル実行も、ComfyUI の資料にあります ³¹。ライセンスは MiniMax H3 Community License Agreement です ³²。

ここからは @sep_is_heim さんの一覧とは別に、配布ページで確かめられるカメラの動きの LoRA の一例です。ORB360 という LoRA があります。配布ページの README によれば、写真を渡すと、被写体の周りを時計回りに360度回るカメラの動画になります ³³。標準の Load LoRA ノードで読み込みます ³⁴。ライセンスは MiniMax H3 Community License Agreement です ³⁵。この LoRA を使った作例は、ひとりのキャラクターを、手元で回して・揃えて・直すの記事で読めます。

商用に使うなら

どの入口も、作ったものを公開・収益化するなら、先にツールごとのライセンスを読んでおくのが安心です。

• Motion2MixamoRig のコードは Apache-2.0 です [[F160]]。ただし別途ダウンロードする SMPL-X は、既定では非商用(研究・教育・アート)で、商用は別契約が必要と README にあります [[F169]]。
• Mesh Avatar Studio のコードは MIT License です。サンプルキャラクターは対象外です [[F37]]。
• MiniMax H3 は、ローカルで作った生成物の商用利用に、MiniMax の商用ライセンスが必要だとされています [[F58]]。

自分の机でやるなら

ここまでの作例は、手元で動かせるもの、クラウドのモデルを使うもの、両方が混ざっています。「体と動きを自分の机で」と考えたとき、NVIDIA が RTX Spark について言っていることを見ておきます。

• NVIDIA の製品ページによれば、最大 128GB の統合メモリで、最大 90GB の 3D シーンを扱えます [[F100]]。
• 同じページで NVIDIA は、画像や動画を自分のデバイスで好きなだけ生成でき、サブスクリプションも、プロンプトごとの料金もないと説明しています [[F101]]。
• Blender は公式に Windows on Arm に対応しています [[F57]]。予定として、NVIDIA は Blender が DLSS 4.5 Ray Reconstruction を加えると発表しています [[F95]]。NVIDIA によれば、ComfyUI への RTX Video Frame Generation の提供も、RTX Spark とともに今秋の予定です [[F97]]。

ここで紹介した作例で、RTX Spark 搭載機で作ったと書かれているものはありません。Motion2MixamoRig、Mesh Avatar Studio、MiniMax H3、UE を RTX Spark 搭載機で使いたい場合は、先にそれぞれの公式情報で対応環境を確かめてください。

RTX Spark 搭載機の例です。

動きのクリップや重み、書き出したキャラクターファイルはすぐにたまります。置き場所を分けておくと、着せ替えを試すときに探しやすくなります。

次に読む

言葉で Blender の 3D を作る話の続きは、依頼文で Blender の 3D を作るの記事へ。カメラの動きの LoRA は、ORB360 の作例にあります。