teenage engineering「OP-Z」を使用した、インタラクティブなAIアートを作成する実験が実施
小型シンセ「OP-1」をはじめ、ユニークかつデザイン性の高いプロダクトで知られる
teenage engineeringが現在、デザインスタジオModemと共同でインタラクティブなAIアートインスタレーションの実験に取り組んでいることが明らかになりました。
「共感覚」という知覚現象にインスパイアされた同プロジェクトでは、音楽だけでなく画像や3Dアニメーションなどもシーケンスできるteenage engineeringのマルチメディア・シンセ「OP-Z」を活用し、音楽をAIが生成したビジュアルに変換、インタラクティブなアートインスタレーションを制作する実験を行っています。
同プロジェクトがアプローチする「共感覚」とは、ある感覚を刺激するための情報が、実際には複数の感覚を刺激してしまうという知覚現象。音楽の特性が変化すると、知らず知らずのうちに色や形、動きを感覚的に体験することがあることから、音楽の聴取体験にも関連していると言われています。
Modemは、別のデザインスタジオであるBureau Coolの協力を得て、今年日本でも話題になった画像生成AI「Stable Diffusion」をOP-Zに組み込んだAIシステムを開発しました。
Stable Diffusionが、OP-Zから送られてくるピッチ、キー、ノート、リズム、BPMといったさまざまなMIDI信号を共感覚の理論を使ってプロンプト（文章）に変換。その情報に基づいて、色、形、動きを表現する画像を生成することが試みられています。
現在でも、音楽と映像、画像の融合によるオーディオビジュアルライブに取り組むアーティストは少なくありません。そのようなパフォーマンスにもAIが活用されることで、今後その可能性が広がっていくことが予想されます。
近い将来、このようなシステムが広くアーティストに向けて提供されるようになれば、音楽だけに限らず、ビジュアル要素も取り入れた表現に取り組む人も増えていくのではないでしょうか？ 引き続き、この分野の動向に注目していきたいところです。
文：Jun Fukunaga
【参考サイト】
Teenage Engineering’s OP-Z is being used to power an interactive AI art installation inspired by the synesthesia phenomenon | MusicRadar
https://www.musicradar.com/news/teenage-engineering-op-z-ai-synesthesia-stable-diffusion
