「プロジェクトセカイ・ピアノ」ヤマハのAI合奏技術と「プロジェクトセカイ」がコラボ！

ヤマハミュージックジャパンは、ヤマハの人工知能（AI）合奏技術で初音ミクと、セガとColorful Paletteが共同開発したAndroid/iOS用ゲーム「プロジェクトセカイ カラフルステージ! feat. 初音ミク」（以下「プロジェクトセカイ」）に登場するキャラクター・星乃一歌との演奏を楽しめる「プロジェクトセカイ・ピアノ」を製作した。

　これを3月26日から6月27日までの3カ月間、全国各地にあるヤマハ楽器店9店舗などに順次設置していくとのことだが、今回「プロジェクトセカイ・ピアノ」の企画意図やAI合奏技術の詳細、そして実際に「プロジェクトセカイ・ピアノ」を体験できたので、それらについてお伝えしていこう。

意地悪して演奏テンポを変えても、それに合わせて歌ってくれるAI合奏を肌で体験！

　取材したのは「プロジェクトセカイ」のラッピングが施された、ヤマハ クラビノーバCSPシリーズをベースモデルとした「プロジェクトセカイ・ピアノ」。

　ピアノ正面には「プロジェクトセカイ」のイメージイラストがプリントされており、右側面には「プロジェクトセカイ」に登場するミクさんのイラストがラッピングされているため、ミクさん好きならばひと目見ておきたくなるのは間違いない豪華仕様となっている。

ピアノ正面には「プロジェクトセカイ」のイメージイラストがプリントされている

右側面には「プロジェクトセカイ」に登場する初音ミクのイラストが、左側面には各種ロゴなどが配されている

　ピアノの前に案内されると、この企画の担当者であるヤマハミュージックジャパンの野藤義一氏が「まずは体験してみてください」と声をかけてくれた。ピアノを演奏できない人でもランプが光った場所を打鍵するだけなので、そう難しくはないという。現在演奏可能なのは、ボーカロイドの楽曲の中でもとりわけ有名な「千本桜」（作詞・作曲：黒うさ）で、譜面も超入門/入門/中級/上級の4種類が用意されている。筆者は、小学生時代に妹が弾いていたピアノを借りて練習していたことがあったが、それ以降は触れていないということもあり、素直に超入門の譜面をお願いした。

今回のプロジェクトを担当した、ヤマハミュージックジャパンの野藤義一氏

　4種類ある譜面の難易度の違いは、野藤氏によると弾く鍵盤数が単純に多くなるというだけではなく、視野に入る範囲が異なるそうだ。どういうことかというと、難度の低い譜面では、1オクターブくらいの範囲内で演奏することができるが、難しくなるほどに広範囲のキーを使うために、慣れないと視界の範囲内にすべてのランプを入れることができないとのこと。

　ただし、今回の超入門譜面は「両手の人差し指で演奏しても、リズムゲームが得意な人ならばフルコンボが取れるくらいには簡単です（野藤氏）」ということなので、これならばピアノが身近ではない人でも安心だろう。

　演奏がスタートすると、鍵盤上の黒い部分に赤と青のランプが点灯する。これは、ヤマハ クラビノーバCSPシリーズに標準搭載されている“ストリームライツ機能”で、光るランプが鍵盤上部から流れるように降りてきて、次に弾く鍵盤と打鍵のタイミングをナビゲートしてくれるのだ。赤は白鍵を、青は黒鍵を表し、自分のように譜面が読めない人でもリズムゲームのノリで弾くことができる。

　ストリームライツが鍵盤の上で光るタイミングを見計らって打鍵するだけで、問題なく弾けてしまうことに驚きながら演奏していたのだが、途中イタズラ心が沸いてきたのでワザとゆっくり叩いてみた。リズムゲーム風に説明するならば、B.P.M.500の演奏を演者の都合で勝手に半分の250に落として弾いてみたという感じだ。すると、AIによってテンポが遅くなったと判定されたのか、確かに歌がのんびりに！ 野藤氏によると「一定のテンポまではAIが追従します」ということで、今時のAI技術の凄さを肌で感じることができた。

ヤマハ独自の「ストリームライツ機能」で、光るランプが鍵盤上部から流れるように降りてきて、次に弾く鍵盤と打鍵のタイミングをナビゲートしてくれる

AIを活用した理由の一つは、誰とでも演奏ができるようにするため

　演奏体験後、「プロジェクトセカイ・ピアノ」で使われているAI技術について気になったので、そもそもの本企画のスタートから話を聞いてみた。野藤氏によると、元々はコロナ禍で人々の生活に再び音楽を取り戻したいとの想いの元、2020年10月から始まったテーマ「おかえり、おんがく。」を中心とした企画の1つとのこと。その中で「新しいお客様に、気軽に楽器に触れてもらう機会を提供するという意味で展開したのが、この『プロジェクトセカイ・ピアノ』です」と解説してくれた。

　気になるAI合奏技術に関してだが、これは2014から研究開発を始めていたそうで「これを利用して、キャラクターと演奏できたら良いですよねという話があり、それを6年間で熟成させ世に出した」のが、今回の「プロジェクトセカイ・ピアノ」とのこと。

　では、AIであることのメリットとしては何かを尋ねたところ「普通なら実現できない共演が可能になる、というところだと思います。今回は初音ミクと星乃一歌ですが、AIであれば実在、非実在、現在、過去を問わず呼び寄せることができます。AIならば、どんな方とでも合奏を体験できるという未来を感じていただけると、より演奏を始めたい気持ちが湧いてくると思います」とコメント。

　確かに、有名アーティストや過去に活躍したピアニストなどとの演奏を行おうとしても、通常であればさまざまな障害が立ちはだかるが、AI合奏であればその壁を突破することができる。しかも、AIが演奏者のテンポやタイミングをリアルタイム解析して最適な歌唱を行なってくれることを考えれば、演奏会で足りないパートを補ったりバーチャル音楽教師のレクチャーを受けるなど、これまでには見えなかった新たな活用方法も見えてきそうだ。

　「プロジェクトセカイ」とコラボした理由も聞いてみたところ、野藤氏は「コンテンツ選定にあたって、さまざまなコンテンツや企業が頭に浮かびました。ただ『VOCALOID技術などを通じて共に音楽文化を作ってきた、クリプトン・フューチャー・メディアさんや初音ミクさんと取り組みたい』と考え、最初にクリプトン・フューチャー・メディアさんに声をかけました。会話していく中で、“一緒に歌おう！”というコンセプトで展開をしている「プロジェクトセカイ」ともマッチした体験であるということから、最終的にはセガさんとColorful Paletteさん、クリプトン・フューチャー・メディアさんから協力いただき実現にいたりました」と教えてくれた。

アンケートに要望を書いてもらえると、将来的には「プロジェクトセカイ・ピアノ」が販売されるかも!?

　ところで、今回の演奏で採用されている楽曲は「千本桜」だが、これを選んだ理由については「圧倒的な知名度と、さまざまな難易度の楽譜が用意できたので、幅広いお客様に体験してもらえるため」だからだそうだ。また「各動画サイトなどを見ても、聴きたい曲や弾いてみたい曲の上位に上がっていることもあったので、今回はこれを選びました」と、最初の体験会ということもあり、間口の広さからの選択ということがわかる。

ヤマハの方が「千本桜」の上級譜面を披露してくれた

　こうなると、現在はヤマハ各店舗だけで体験できる「プロジェクトセカイ・ピアノ」だが、リズムゲームが得意な人や初音ミクファンの中には「ぜひとも欲しい！」と思っている人もいるかもしれない。これについて聞いてみたところ「現在は販売予定はありませんが、将来的には何とも言いがたいところです（笑）」との微妙な回答が返ってきた。

　さらに突っ込んでみると「現在、各地で行なわれている『プロジェクトセカイ・ピアノ』体験会で、体験後にアンケートを書いてもらっているのですが、実はそこで『購入したい』という声をたくさんいただいています。そうしたご要望は今後の参考にさせていただきたいと思います」という答えが。

　可能性を高めるためにも、ぜひ全国のファンには会場に足を運んでほしいところだが、“仮に”販売されることが決まった場合は、歌ってくれる楽曲も増えてほしいという思いがでてくるだろう。気が早いのはわかっていつつも前のめりで尋ねてみると「販売とは別に、コンテンツの追加に関しては前向きに検討していきたいです。今は『千本桜』だけですが、アンケートでは『他の曲も弾きたいです！』という回答をたくさんいただいています。なので、この2人に限らずAIとの協奏が、ほかのキャラクターなどともできる楽曲が何か追加できないか、そこは前向きに考えていければと思っています」と、思わずガッツポーズをしてしまうほど素敵な返事が飛び出した。ただし、現時点では販売するかどうかは決まっていない、と重ねてお伝えしておきたい。

リズムゲームと違い、自由にアレンジを加えながら演奏をしても、AIがそれを判別して合わせて歌ってくれる様は凄いの一言!!

　ここまでくると、リズムゲームを遊ぶ身として「流れてくるランプの部分がもう少し縦に長いとプレイしやすいのですが」と聞いてみた。すると、「現在は、既存モデルを流用して製作したためにこのようなデザインになっていますが、大変な人気が出れば『プロジェクトセカイ・ピアノ』専用のピアノ開発という方向に動く可能性も、“もしかしたら”あるかもしれません。そういった意見も、ぜひアンケートに書き込んでもらえるとありがたいです」と、親切に答えてくれた。

　続けて「リズムゲームをプレイしている方も、デバイス用アプリタイトルを通じて増えているかと思いますので、そういった方々に気軽に触れてもらえるものとして『プロジェクトセカイ・ピアノ』を展開していますし、『プロジェクトセカイ』ともそういった意味でコラボレーションさせてもらっていますので、ゲーム好きの方にも楽しんでいただければと思っています」と付け加えた。

　野藤氏は最後に、「ヤマハのお店に来るというのを、ハードルが高いと感じている方が多いのかなと思っているのですが、感染対策を徹底しているほか、楽器以外にも楽譜などさまざまなアイテムを用意しているので、来店するだけでも楽しいと思います。『プロジェクトセカイ・ピアノ』をきっかけに、ぜひ気軽にお店に足を運び、コロナ禍の中でも音楽を楽しんでいただきたい」と結んだ。

【「プロジェクトセカイ・ピアノ」展示会場】