VOICEVOXでずんだもん・めたんを喋らせた話

AIキャラを作りたいのに、返事が文字で表示されるだけだと「一緒にいる感じ」がなかなか生まれません。

私も、ずんだもんと四国めたんを使ったAIキャラ企画を考えながら、音声認識、AIの返答、発声、画面表示までを一気につなぎたくなっていました。ただ、全部を同時に作ろうとすると、どこまで動いたのか分からなくなります。

そこで今回は、ゴールを「テキスト読み上げソフトのVOICEVOXでキャラクターの声を出し、動画に使える音声ファイルを残す」ところまでに絞りました。結果として、ずんだもんとめたんの音声テストに成功し、MR（複合現実）プラモデル動画に使うずんだもんの音声を5本作成できました。

まだ実況システムも動画も完成していません。これは完成報告ではなく、AIキャラ企画が文字だけの構想から、実際に聞ける素材へ進んだ準備ログです。

まず「声が出る」だけをゴールにした

AIキャラとの会話を形にするには、音声認識、AIによる返答、音声合成、アバター表示、配信画面など、いくつもの要素が必要です。

最初から全部をつなごうとすると、音が出ない原因が台本なのか、音声合成なのか、連携部分なのかを切り分けにくくなります。完成形を急ぐほど、確認する場所が増えてしまいます。

そのため、今回の範囲は台本の文をVOICEVOXに入力し、キャラクターの声として出力し、音声ファイルにするところまでにしました。リアルタイム会話や自動応答までは進めていません。

この区切り方にすると、成功条件がはっきりします。画面上で動いて見えるかではなく、聞ける音声ファイルが残ったか。小さな条件ですが、次の動画制作へ渡せる成果物ができるため、企画は確実に一段進みます。

ずんだもんとめたんは「声」より先に役割を分けた

自分の企画では、ずんだもんを勢いで進むAIアシスタント、めたんを冷静に突っ込むテクニカルアドバイザーとして考えています。

大事にしたのは、性格を「明るい」「冷静」と書くだけで終わらせないことでした。ずんだもんは迷ったら先に進み、めたんはその判断に短く突っ込む。何を知っているかより、状況にどう反応するかを分けます。

この役割を決めてから音声を出すと、台本の見え方も変わりました。同じ説明を二人に分割するのではなく、前へ進める声と、立ち止まって確認させる声に分けられます。

今回は両方の音声テストまで成功しました。ただし、動画用の完成素材として5本にまとめたのは、ずんだもんの音声です。めたんはテスト段階であり、完成素材までそろったようには扱いません。

ずんだもんの音声5本を動画素材にできた

今回作ったのは、MRプラモデル動画で使うずんだもんの音声5本です。一般的な音声ファイル形式のWAVで分けて保存し、Google Drive上の制作フォルダに置きました。

これで、音声は「その場で鳴ったテスト」ではなく、動画編集に持ち込める素材になりました。

ここには小さいようで大きな違いがあります。テスト再生だけなら、アプリを閉じたあとに残るのは「一度動いた」という記憶です。名前を付けて音声ファイルを分けておけば、撮影や編集が後日になっても、そのまま次の工程へ渡せます。

音声フェーズの完了条件を「声が出た」ではなく「動画に使えるファイルが残った」にしたことで、作業の終点が明確になりました。

音声を先に作って分かった3つのこと

一つ目は、キャラクターらしさは音色だけでは決まらないことです。短い台本でも、どちらが先に話すか、どこで突っ込むか、どの長さで区切るかによって関係性が変わります。

二つ目は、小さくても再利用できる成果物を残すと、未完成の企画が前へ進むことです。今回の5本は完成した動画ではありませんが、次の撮影と編集で使える部品です。

三つ目は、リアルタイム会話を最初の成功条件にしなくてもよいことです。AIキャラ企画というと、その場で考えて話す仕組みを想像しがちです。しかし、先に台本音声を作れば、キャラクターの声や役割が企画に合うかを小さく確認できます。

私はこの順番にしたことで、「大きな仕組みを作っている途中」から「すでに使える素材を持っている状態」へ進めました。

まだ完成していない部分も多い

現在できているのは、ずんだもんとめたんの音声テストと、ずんだもんの動画用音声5本までです。

音声認識した内容からAIが返答を生成し、VOICEVOXで発声させるリアルタイム連携は未完成です。アバターの口の動きとの同期、配信画面への組み込み、MRプラモデル動画の撮影と編集も残っています。

ここを曖昧にして「AIキャラが完成した」と書くと、実際の到達点が分からなくなります。今は音声素材を作れる段階です。完成ではありませんが、次の作業を始められるところまでは来ました。

次は音声を映像の中で働かせる

次の工程は、プラモデルのパーツや説明書、手の動きを撮影することです。その映像に、パーツが光る演出や組み立て方向を示す矢印を加え、今回作った音声を重ねます。

最初から全工程を認識する仕組みを目指すのではなく、パーツが光る瞬間、矢印が出る瞬間、ずんだもんが「次は青いパーツなのだ」と案内する瞬間など、未来を感じやすい場面から形にする予定です。

VOICEVOXで声を出せたこと自体は、ほんの一工程です。それでも、文字だけだったAIキャラが、耳で確認できる存在になりました。

AIキャラ制作を始めるなら、最初のゴールを「会話システムの完成」にしなくても構いません。まず一つの台本を声にして、使える音声ファイルとして残す。その小さな完成が、次の映像、次の会話、次の仕組みへ進む足場になります。

VOICEVOX音声を公開するときの表記

VOICEVOXで作成した音声を利用する際は、VOICEVOXの利用規約と各音声ライブラリの規約を確認し、必要なクレジットを記載します。

今回のキャラクターでは、「VOICEVOX:ずんだもん」「VOICEVOX:四国めたん」という表記が案内されています。実際に音声を使う動画を公開するときは、動画内または概要欄など、確認できる場所へ記載します。VOICEVOXソフトウェア利用規約と音源利用ガイドラインで確認済みです。