プロンプトを入れると、曲の音声ファイルがそのまま出てくる。AI 音楽といえばその形が思い浮かびますが、方知微さんが紹介した YuE2 Studio は、先に楽譜が出てきます。本人はこれを「いま機能がとても充実したローカルの AI 音楽スタジオのひとつかもしれない」と書いています 1。ただ MP3 を吐き出すだけではないところがいちばん面白い、というのが本人の言い分です 2。
🤯 这可能是目前功能非常完整的本地 AI 音乐工作室之一!
— 方知微 (@superfang119) 2026年10月31日
YuE2 Studio:把 AI 作曲、演唱、乐谱编辑和音频后期全部装进一个桌面软件。
最有意思的是,它不是简单地输入提示词,然后吐出一段 MP3。
🎼 先作曲,再演唱
输入音乐风格和歌词,AI 先生成旋律与和弦乐谱,再根据乐谱演唱成完整歌曲。
🎤…
流れはこうです。曲のスタイルと歌詞を書くと、モデルがコード付きの旋律を楽譜として書き、その楽譜を歌って、ボーカル入りの曲に仕上げます 3。方知微さんによれば、音符・リズム・調を直接直して、作曲の骨組みを残したまま、別の歌い方で作り直せます 4。メロディは気に入っているのに、歌い方だけ変えたい。そんなときに、また最初から言葉で説明し直さなくていいわけです。
前作の YuE2 で、机の上が作曲スタジオになる では、YuE2 を使った作例を読みました。今回はその先、YuE2 を包んだ「スタジオ」を見ていきます。
YuE2 Studio は、アプリ 1 本のスタジオ
README によれば、YuE2 Studio は YuE2 の C++/CUDA 移植である yue2.cpp の上に作られていて、Python も Node.js も要らない単体の実行ファイルです 5。方知微さんも、デスクトップのプログラム 1 つで起動でき、Python や Node.js の環境を自分で整えなくていい点を挙げています 6。
機能も盛りだくさんです。
- 録音から旋律を楽譜に起こし、その旋律を別のスタイルで歌わせるカバー [[F587]]
- ドラム・ベース・ボーカル・ギター・ピアノなどを、6 つのステムに分ける機能 [[F588]]
- MCP サーバーの内蔵。Claude Code などのエージェントから、スタジオを操作できます [[F586]]
最後の点は、方知微さんも「AI にスタジオを動かしてもらえる」として挙げています 7。机で旋律を弾いているあいだ、書き出しや歌い直しの段取りはエージェントに任せる、という使い方が浮かびます。
速さについては、作者の計測が README にあります。RTX 4090 と Q8_0 のモデルの環境で、1 分の曲が 20 秒、4 分の曲が 54 秒です 8。あくまで作者の環境での数字です。
動かすのに要るのは、Windows 10/11 の x64 9 と、VRAM 6GB 以上の GPU 10 です。Linux 版もありますが、README は実験的だと書いています 11。
使う前に知っておくと安心な点もあります。YuE2 のモデルの重みは、CC BY-NC 4.0 に作者の追加の許可がついたものです 12。個人のクリエイターは出力を無償で収益化できますが、企業の商用利用は、重みの商用ライセンスを相談することになっています 13。
ゲームの音楽は、スタイル探しかハミングから
宋宋さんは、ゲームを作る人に YuE を勧めています。ゲームの音楽をどう作るか悩んでいるなら、このオープンソースのプロジェクトが役立つはずだ、という書き出しです 14。YuE はローカルで動く AI の音楽生成プロジェクトで、歌詞と曲のスタイルを入れると、歌と伴奏のある曲ができ、器楽だけの曲にも対応する、と宋宋さんは説明しています 15。
如果你做游戏的时候想怎么给自己游戏来制作音乐
— 宋宋 (@songsong) 2026年11月9日
那么这个开源项目应该可以帮到你
YuE 是一个可以在本地运行的 AI 音乐生成项目。 输入歌词和曲风,它能生成带人声、伴奏的完整歌曲,也支持纯器乐。
我们做游戏可以先找一个你希望的风格或者主旋律是自己哼出来的
然后再按乐谱生成音频… https://t.co/SZIJDT15Ie pic.twitter.com/hZsZPL9Mdk
宋宋さんが描く流れが、また具体的です。ゲームなら、まず欲しいスタイルを探すか、主旋律を自分でハミングする。それから、楽譜に沿って音を作る、という流れを挙げています 16。これは宋宋さんの勧めで、本人が作った作例ではありません。それでも、ハミングした旋律を手がかりにゲームの BGM へたどり着く、という道筋は想像しやすいものです。
なお YuE2 には、ComfyUI のネイティブのノードが用意されています 17。次のスタジオは、まさにその ComfyUI の中にあります。
ComfyUI の中の作曲室、Plenio
Plenio Music Production System は、ComfyUI の上で、ひとことのアイデアから、YuE2 か MiniMax Music 3 で仕上げた曲までを作る制作一式です。Plenio の README はそう説明しています 18。版の番号が 1.0.0 になったのは 10 月 16 日です 19。以下は、いまの版の README に書かれている内容です。
- クラウドのサービスもアカウントも API キーも要らず、すべて手元の ComfyUI の中で動きます [[F591]]
- コードは Apache-2.0 です [[F590]]
- 歌詞は、ローカルの言語モデルが書くか、自分の歌詞をそのまま歌わせるかを選べます [[F594]]
- 歌わせる前に、楽譜エディターで音符とコードを直せます [[F595]]
最後の「歌わせる前に直せる」が、この記事の山のひとつです。出てきた旋律を聴いて、気になる音符をその場で直し、それから歌わせる。YuE2 Studio と同じ「楽譜を真ん中に置く」発想が、ComfyUI のノードの中にも届いています。
速さの目安も README にあります。作者の 16GB の RTX 5060 Ti では、1 分 44 秒のインストを、作詞から書き出しまで 2 分半で作れたそうです 20。使うには ComfyUI 0.41.0 以降が要ります 21。
プロンプトを言い直す代わりに、音符を直す
どちらのスタジオにも共通しているのは、楽譜が真ん中にあることです。気に入らないところがあったとき、プロンプトの言葉を探し直すのではなく、音符を動かす。そうして、作曲は崩さずに、歌い直させます。
となると、手を動かす道具が欲しくなります。旋律をマウスで打ち込むより、鍵盤で弾いて入れたい人には、小さな MIDI キーボードがあると便利です。
PR: 「Amazonで探す」のボタンはアフィリエイトリンクです。特定の商品ではなく検索結果を開きます。
歌い直した版の、息継ぎや音のにじみを聴き分けるときには、スタジオ用のヘッドホンが頼りになります。
RTX Spark の机で回すなら
ここまでの作例で、作者が速さを測ったのは RTX 4090 8 と RTX 5060 Ti 20 です。作例の機材の話として読んでください。README の要件に挙がっている Windows は x64 版で 9、Linux 版は実験的です 11。
RTX Spark 搭載機で曲づくりを考えるなら、動かしたいツールの対応環境を、先に公式で確かめてください。
次に読む
- 前作: YuE2 で、机の上が作曲スタジオになる
- 曲ができたら映像へ: MV を自分ひとりで作る
