Spotifyが無料で音声ファイルからMIDIへ変換できるAI搭載ツール「Basic Pitch」を公開
Spotifyが無料で使えるオープンソースのAI搭載ツール「Basic Pitch」を公開しています。
Basic Pitchは、SpotifyのAudio Intelligence LabとSpotify傘下のSoundtrapが共同で開発したオーディオをMIDIに変換してくれるツール。ユーザーが楽器や声といったオーディオファイルをBasic Pitchのサイト上にアップロードすると、そのオーディオファイルをAIに搭載された機械学習モデルが分析。MIDIファイルとして書き出してくれます。
例えば、ユーザーがギターのメロディーフレーズの音源をBasic Pitchにアップロードすると、Basic Pitchは、その音源を分析し、アップロードされたギターのメロディーフレーズをMIDIに変換。ユーザーはそのMIDIファイルを自由にDAWに取り込み、シンセなど別の音源に割り当てて再生することができるようになります。
オーディオからMIDIへの変換機能は、人気DAWのAbleton Liveに搭載されている「Audio to MIDI」などがよく知られていますが、SpotifyによるとBasic Pitchの音符検出システムは既存のものよりも優れているとのこと。具体的には以下のような優位性が挙げられます。
ポリフォニックと楽器に依存しない：多くの同様のMIDI変換ツールは、モノフォニック出力（1つのボーカルメロディーのように一度にできるのは単音のみ）のみに制限したり、1種類の楽器のみに対応するよう作られています。しかし、Basic Pitchの場合、他の多くの変換ツールに搭載されている音符検出アルゴリズムとは異なり、一度に複数の音符を追跡可能。これによりピアノ、ギター、オカリナなど、さまざまな楽器にわたって音符を追跡し、それをMIDIノートに変換することができます。
ピッチベンド検出機能： ギターや声などの楽器は、ビブラート、グリッサンド、ベンド、スライドなど、ピッチベンドによってより豊かな表現が可能になりますが、従来のMIDI変換ツールの場合は、オーディオをMIDIノートに変換する際に、この貴重な情報が失われることがよくあります。しかし、Basic Pitchはその情報を失うことなく変換することができます。
スピード：Basic Pitchでは、MIDIへの変換時にPCのリソースの消費が少なく、ほとんどの最新のPCで高速に動作します。
またオーディオをMIDIノートに変換後に、Basic Pitchに搭載されている専用のエディターを使って、音符の分割のほか、予測スコアの閾値や最小/最大ピッチ、音符の長さ、テンポなど、いくつかのパラメーターを制御することも可能です。
ちなみにSpotifyは、機械学習の研究者に向けて、GitHubでオープンソースプロジェクトも公開していますが、Basic Pitchの主なターゲットが音楽クリエイターであると言及しています。
例えば、音楽クリエイターの場合、自分が好きな曲のリミックス用にオリジナル音源をBasic PitchでMIDI化して、アレンジしていくといった活用方法が考えられます。またBasic Pitchは、複数の音が重なっている2ミックス音源のオーディオでもMIDIノートに変換可能ですが、もし、その曲のウワモノ、あるいはベースだけのMIDIファイルだけがほしい場合は、あらかじめ音源分離ツールを使ってオーディオファイルの任意のパートを分離させていくとより精度が高いMIDIファイルへの変換が可能になるはずです。
あるいは外出中、不意に思いついたシンセ用のフレーズをスマホに録音し、そのオーディオをBasic PitchでMIDIノートに変換することで、あとでオーディオファイルを聴きながらDAWに打ち込むという作業の手間を省けるといった活用方法も考えられます。
Basic Pitchを使ったMIDI変換に興味がある人は、ぜひ一度試してみてはいかがでしょうか？
Basic Pitchの利用はこちら：
https://basicpitch.spotify.com/
文：Jun Fukunaga
【参考サイト】
Meet Basic Pitch: Spotify’s Open Source Audio-to-MIDI Converter – Spotify Engineering : Spotify Engineering
https://engineering.atspotify.com/2022/06/meet-basic-pitch/
Spotify Introduces an Open-Source Tool to Fix a Big Problem for Modern Musicians
https://news.itsfoss.com/spotify-basic-pitch/
Spotify launches AI music tool, Basic Pitch – Music Ally
https://musically.com/2022/09/02/spotify-launches-ai-music-tool-basic-pitch/
