YuE2 で、机の上が作曲スタジオになる — 歌詞とスタイルから歌入りの曲を手元で

辛い日本のカレーの歌。cocktailpeanut さんが X に載せた作例は、そんなお題の曲でした。しかも見出しには、自分の PC で、とあります。

投稿者は、WanGP に YuE2 が加わり、必要な VRAM は 4.5GB だけだと書いています ¹。見出しには、自分の PC で Suno 並みの曲を作れる、とあります ²。実際に聞くと良くなったと感じる、として、カレーの歌を載せています ³。ここで書かれているのは投稿者の感想と申告です。以下でも、数字や感想は「と本人は書いています」の形で紹介します。

歌詞と音楽スタイルを渡すと、歌入りの曲になる

WanGP の作者 deepbeepmeep さんは、WanGP v13.00 の告知で、YuE2 が歌詞と音楽スタイルから歌入りの曲を作ると書いています ⁴。

この告知で目を引くのは、もうひとつの機能です。PC で生成を始めたあと、進み具合の確認やジョブの管理を、スマホや別の PC からできると告知されています ⁵。曲を回している間、机を離れてスマホで様子を見る。手元の PC を「スタジオの機材」のように使う場面が浮かびます。

なお WanGP は、手元で無料で使えるツールです ⁶。Windows と Linux 向けの ワンクリックのスクリプトが用意されています ^{7 8}。

作り手たちの YuE2

音声を参照して、一発でアレンジ

fnoji さんは、YuE2 をざっと通してみただけだと書いています。それでも一発でここまでアレンジできるなら、詰めればかなり良くなりそうだと本人は書いています ⁹。

本人によれば、実行時の VRAM はだいたい 15GB ぐらいでした ¹⁰。また、音声を参照してアレンジできる点で、MiniMax Music3 より良いと書いています ¹¹。音声を参照してアレンジできる、という使い方を示す報告です。

週末の夜に、失恋のワルツ

Michaelzsguo さんの投稿は中国語です。冒頭は、オープンソースの音楽モデルがもうここまで強くなったのか、という驚きの言葉です ¹²。

本人は、週末の夜に YuE2 で、失恋の懐かしい雰囲気の曲「言えなかったワルツ」(原題は《不说出口的华尔兹》)を作ったと書いています ¹³。YuE2 の曲は MiniMax Music よりずっと良く聞こえると本人は書いており ¹⁴、MusicArena で Suno の曲と比べても、ほとんど違いが聞き分けられなかったそうです ¹⁵。

「必要な VRAM」は、出どころで条件が違う

ここまでに VRAM の数字がいくつか出てきました。同じ YuE2 の話でも条件が違うので、並べて読むと違いが見えてきます。

• cocktailpeanut さん: WanGP 経由で、4.5GB だけでよいと投稿者は書いています [[C48]]
• fnoji さん: 実行時にだいたい 15GB ぐらいだったと本人は書いています [[C54]]
• YuE2 の公式: 量子化なし(BF16)での推奨は 24GB の GPU です [[F71]]

4.5GB という数字は WanGP を通した紹介での投稿者の申告で、公式の推奨とは条件が別のものとして扱うのが安全です ^{1 16}。手元の GPU で試す前に、どの環境の数字なのかを確かめてください。

公式資料で確かめておくこと

• 対応環境: 公式 README は、Linux、Python 3.12、BF16 に対応した NVIDIA GPU と 24GB の VRAM を挙げています [[F72]]。手元で動かせるとも説明されています [[F70]]
• ライセンス: コードは Apache 2.0、モデルの重みは CC BY-NC 4.0(作者の追加許可つき)です [[F68]]。個人、クリエイター、音楽家は、出力の収益化が無償で認められています。企業の商用利用は、重みの商用ライセンスの相談が必要です [[F74]]
• ComfyUI: YuE2 にはネイティブのノードと公式のテキストから音楽へのワークフローがあります [[F73]]

自分の机で回すなら

曲づくりは、試行錯誤の連続です。歌詞を直し、スタイルを替え、また生成する。その回数を気にしたくない人に向けて、NVIDIA が RTX Spark について言っていることを並べます。なお、ここで挙げる NVIDIA の説明は画像や動画の生成を中心にしたもので、音楽の生成には触れていません。

• NVIDIA の製品ページによれば、画像や動画を手元で、好きなだけ生成できます。サブスクリプションも、プロンプトごとの料金もありません [[F101]]
• 同じページで NVIDIA は、ローカルで動かせば、すぐに試せること、API の請求がないこと、データが手元に残ることが得られると説明しています [[F102]]
• NVIDIA のブログによれば、RTX Spark は NVIDIA の CUDA プラットフォームをフルに動かします [[F104]]

ComfyUI の共同創設者 Yannik Marek さんの談話も NVIDIA のブログに載っています。RTX Spark で ComfyUI のユーザーは、複雑なマルチモーダルのワークフローを、ポータブルなデバイスで実行できるようになる、という将来の話です ¹⁷。この談話は YuE2 には触れていません。

ひとつ心にとめておきたいのは、YuE2 の公式の対応環境が Linux だという点です ¹⁸。RTX Spark 搭載機で曲づくりを考えるなら、動かしたいツールの公式の対応環境を先に確かめてください。

曲ができたら、手を動かす道具も

生成された曲を、そのまま聞くだけではもったいない。細かい音の違いを確かめるなら、まずはスタジオ用のヘッドホンがあると便利です。

歌詞やスタイルを考える前に、自分でメロディを弾いて形にしておきたいなら、MIDI キーボードがあると便利です。

fnoji さんのように音声を参照にしたアレンジを試すとき、自分で録った音を用意したいなら、オーディオインターフェースがあると録りやすくなります。

曲ができたら、次は映像へ

歌入りの曲ができたら、次に欲しくなるのは映像かもしれません。

• 画像、映像、音楽を手元のモデルで作る作例: 画像・映像・音楽を手元のモデルで作る記事
• Blender を AI エージェントに任せる作例: AI エージェントに Blender を任せる記事