音楽制作をアシストするAI搭載ツールを振り返る【音声合成・音源分離・サンプル分類】編
近年、さまざまな分野でAIの活用が進んでおり、クリエイティブの分野でも注目される機会が増えています。特に今年はイラストレーションの分野において、Stable DiffusionやMidjourneyといった画像生成AIに大きな注目が集まりました。
一方、音楽制作の分野でもその活用例はすでに多数存在します。Soundmain Blogでも、インタビュー記事やニューストピックとして、さまざまな事例を取り上げてきました。
今回はこれまでSoundmain Blogで取り上げてきた音楽クリエイターの制作活動をアシストするAI搭載ツールを「音声合成」「音源分離」「サンプル分類」「マスタリング」「メロディ／ビート生成」の5つの用途に大別して振り返りつつ、来年以降の音楽制作におけるAI活用の未来を占ってみたいと思います。なお本記事では前半の3つ、「音声合成」「音源分離」「サンプル分類」を扱います。
音声合成
Synthesizer V Studio Pro
Dreamtonicsが開発する「Synthesizer V Studio Pro」は、強力な音声処理エンジンと直感的で柔軟なUIを併せ持つ歌声合成ソフト。 メロディーを描き歌詞を吹き込むだけで、簡単にオリジナルソングの作成ができるほか、テイクごとにピッチや声色の異なるテイクを生成する「AIリテイク機能」やDiffusion Probabilistic Models (DPM)用いた歌声合成技術により、自然な発音とニュアンスの再現、ビブラートを中心とした正確な音程の実現が可能になっています。
Synthesizer Vシリーズには「Synthesizer V AI」と「Synthesizer V Standard」の2種類の歌声データベースが存在します。Synthesizer V AIは、DreamtonicsのDNN（ディープニューラルネットワーク）を搭載した歌声合成技術。これによって生成された歌声は、まるで人間が歌っているかのような自然さがあり、どんな音楽スタイルで歌わせても細かな部分まで本物の歌手のように歌わせることができます。また編集時にはフルサイズのディープニューラルネットワークを使用し、技術の可能性を極限まで追求する「高品質モード」とダウンサイズされたモデルを使用することでレンダリングが加速する「高速モード」という2つのオプションが用意されています。
一方、Synthesizer V Standardは、従来のサンプルベースの歌声合成と人工知能による歌声合成のハイブリッド手法を採用した歌声合成エンジンに対応する歌声データベースです。こちらの歌声ライブラリには機械学習を使うことで、合成された歌声の音色をよりリアルなものにする「Natural Singing Extension」が採用されています。
公式サイト
https://dreamtonics.com/synthesizerv/
NSynth Super
Googleの人の脳を模するニューラルネットワークを使って、アートや音楽を生成するプロジェクトMagentaの研究の一環として開発されたNSynth Superは、音の特性を機械学習して全く新しいサウンドを生成するシンセサイザー。
NSynth Superでは、四隅に装備されたダイヤルを回してアサインする楽器を選択し、タッチスクリーンをドラッグして、アサインした4つの楽器の成分バランスを調整することで、新しい音色を作り出すことができます。これは既存のシンセのように音を合成するのではなく、別々の楽器の音成分を調整して、新しい音色を作り出すといったイメージです。
新たに生成された音色は、エンベロープを調整してエディットすることも可能。本体には鍵盤などは搭載されていませんが、外部のMIDIシーケンサーやキーボードを接続することでその音色を使った演奏が可能になります。
現在、NSynth SuperのプロトタイプはオープンソースとしてGitHubで公開されており、回路図およびデザイン・テンプレートを無料でダウンロードできます。
公式サイト
https://nsynthsuper.withgoogle.com/
CeVIO AI
CeVIO AIは、最新のAI技術により人間の声質・癖・歌い方・しゃべり⽅をこれまでになく⾼精度に再現することが可能な、歌声・⾳声合成技術を搭載した音声創作ソフトウェアです。
実在する歌手などの声を事前に学習したAIが、入力された台詞や楽譜データをもとに本人らしい声質や歌い方を自動でシミュレーションすることで、人間による歌声・話し声をリアルに再現することが可能。
人間の話し声や歌声をもとに、その人の声質や話し方・歌い方をコンピュータに解析・勉強させておき、文章や楽譜情報を与えるとそれを分析して、その人の声質や話し方・歌い方を予測して再現する「統計的音声合成」という手法をとっているため、初音ミクに代表される「波形接続型音声合成」という手法をとるVOCALOIDとは、似て非なるソフトウェアになっています。
ちなみに、Soundmain StudioではCeVIO AIの開発元であるテクノスピーチ株式会社による姉妹ブランド・VoiSonaの「知声」による歌声合成が使えるようになっています。
音源分離
VirtualDJ 2021
VirtualDJ 2021は、AIによる音声分離機能が搭載されたDJソフトで、一般ユーザー向けの無料版からプロ仕様の有料ラインセンス版までを提供しています。
同ソフトでは、前身モデルにも搭載されていたAIによる音声分離機能がさらに進化。AIが楽曲から分離したステムに対して、個別にエフェクトを掛けることが可能になったほか、他のパートはそのままの形で再生しながら、ボーカルだけスクラッチできるようになるなど、これまで実現できなかったトリッキーなプレイも可能になっています。
近年、DJソフト／アプリでは、他にもAIによる音声分離機能を採用したモデルが存在します。リアルタイムでのリミックスやマッシュアップのようなDJプレイが簡単に行える音声分離ツール「Neural Mix」を搭載した「djay PRO AI」は、その一例と言えるでしょう。
Koala Sampler
Koala Samplerは、ローファイ・ヒップホップ系のビートメイカーの間で人気を博しているRolandのサンプラー「SP-303」や「SP-404」の操作性を踏襲したモバイル向けビートメイキングアプリです。
ユーザーはアプリ上でサンプリング、シーケンス、トラックの演奏ができ、最大64種類のサンプルを録音したり、mp3、WAVのほか、その他多くのフォーマットのサウンドをインポートすることができるなど、本格的なビートミュージックの制作が行えます。
最新版のKoala Samplerには、AIテクノロジーを利用してトラックの異なる構成要素を識別し、最適な状態で音源分離させる機能「Split Stems」が追加。短時間でベース、ドラム、ボーカル、その他といった形で分離されたステムを生成することができます。これらのステムは、ピッチダウン、チョップアップ、パンニング、オクターブアップといった内蔵マイクエフェクトを適用して、加工することも可能です。
SpectraLayers Pro 8
SpectraLayers Pro 8は、「AI処理が叶える人間的なタッチ」をコンセプトにしたソフトウェア。⾳のスペクトラルデータの高度なビジュアル化と視覚的な編集性により、⾳楽制作やポストプロダクション、サウンドデザイン、整⾳その他のさまざまな⽤途で⼒を発揮します。
ドラムなど楽器トラックを隔離させる際の⾳漏れをAIならではの精度で除去する「De-Bleed（音漏れ除去）」、クリーンかつ効果的に部屋の反響の特定や減衰を⾃動処理可能な「Reverb Reduction（リバーブ除去）」、ピークシェイピング機能により聴覚上の効果を増⼤させる「Clip Repair」、⼈間の声を認識、隔離するようにトレーニングされたアルゴリズムにより、会話から歌唱までさまざまな⽤途でのノイズ除去をカバーする「Voice Denoiser（音声ノイズ除去）」といった機能を搭載しています。
サンプル分類
COSMOS
COSMOSは、ハードディスク上にあるすべてのワンショットやループを検索しやすく一括管理することができるサンプル管理ソフトです。
「Waves Neural Networks」というAIテクノロジーにより、サンプルが楽器の種類別、キー、BPMなどの音の特徴ごとに分析され、自動的にタグ付けされた上で1つの統合データベース上に割り当てられます。
データベース上のサンプル（ワンショット・ループ）は、楽器、BPM、キーだけでなく、音の明るさ、彩やかさ、ダイナミクスなど、特性ごとにフィルタリングして検索することが可能。また、「波形表示」「リスト表示」「COSMOS」の3つのブラウズビューに切り替えて使うことができ、視覚的にサンプルを確認することもできます。検索して見つかったサンプルは、ワンクリックで簡単に試聴でき、そのままサンプラーやDAWに直接ドラッグ＆ドロップすればすぐに使用することも可能です。
またCOSMOSの開発・販売元であるWavesのソフトサンプラー「CR8 Creative Sampler」ともシームレスに統合できるため、付属する2500種類以上のサンプル・ライブラリを使って、すぐに多くのサンプルの中から目当てのサンプルを見つけ出して楽曲制作を行えます。
Atlas 2
Atlas 2は、サンプルマネージャーとビートジェネレーターがひとつになったソフトサンプラーです。
AIがユーザーの持っているサンプルパックを解析し、自動でサンプルの種類ごと（キック、スネア、カウベルなど）に分類したサンプルマップを作成。ユーザーはその中から効率的に使いたいサンプルを選び、自分好みのドラムキットを作成することが可能です。
またシーケンサーとしては、ビートメイクに最適なステップシーケンサーと、DAWでは標準的なピアノロールエディターに近いシーケンサーの2種類を使用できるほか、「三連符」「ポリリズム」など複雑なリズムパターンを作成ができるモードも搭載されています。さらにシーケンサーの各パートに既存のMIDIクリップを挿入することで、作成中や作成後のビートパターンを簡単にアレンジすることも可能。作成したビートパターンは、全てのパートをひとまとめにするかそれぞれのパートごとに書き出すかを選択後、MIDIクリップ及びオーディオファイルとして書き出すことができます。
文：Jun Fukunaga
