楽器アプリケーション「KAGURA」は、パソコンとカメラをセットするだけで、身体そのものが楽器に変わるような摩訶不思議な体験を提供してくれます。
KAGURAは2013年に、アプリケーション開発コンテスト「Intel Perceptual Computing Challenge」でグランプリを受賞したことでその実力が知れ渡りましたが、このアプリがイノベーティブだと評価されるのは、「楽器が弾けなくても、楽譜が読めなくても演奏を楽しみたい」という多くの人の持つ根源的な願いが、最新技術によって叶えられたことによるものでしょう。
今回は、クラウドファンディングKickstarterでの限定リリースを経て、いよいよ本格展開が始まった、KAGURAの全貌や開発経緯などを紐解いていきます。
もくじ
思いのままに楽器を演奏する友人を見て、羨ましいと感じたことはありませんか？KAGURA開発のきっかけも、まさに演奏に対するコンプレックスからだったといいます。
株式会社しくみデザイン代表の中村 俊介さんは、芸術工学を学ぶ大学院時代に「自分でも演奏できる楽器があったら」という純粋な想いから、メディアアートプロジェクトとしてKAGURAの原型となるジェスチャー楽器を制作しています。
2005年にはしくみデザインを設立したものの、当時のパソコンにはカメラさえついておらず、KAGURAの商品化は難しい状況でした。
リリースまでの14年間、特許取得の画像リアルタイム解析技術を用いたデジタル広告事業を展開しつつも、KAGURAの開発は怠りませんでした。
パソコンやカメラの性能がようやく追いついたことで、KAGURAは現在の新世代楽器インターフェイスとして結実しました。
自在な演奏の前段階には長くて辛い修練がついてくると考えるのが普通ですが、カメラ付きのWindowsかMacにKAGURAをインストールすれば、即座に演奏が始められます。
この楽器アプリケーションは、内蔵あるいは外付けのカメラからの映像をリアルタイムに画像解析し、センシングした体の位置や動きを音とグラフィックに変換しています。
パソコンのモニターには自分の姿と一緒に、音源が割り振られたオブジェクトが表示されるので、これらに触れるようなジェスチャーをすることで直観的に楽器が奏でられるというわけです。
カメラは幅広い機種に対応していますが、IntelのRealSense 3D Cameraという深度を捉えられるカメラを使用すれば、ハンドジェスチャーが使用できますので、テンポの上げ下げといったコントロールが手の動き一つで可能になります。指の周りに広がる水の波紋のエフェクトも、一目で深度の違いがわかり操作感が増すデザインですよね。
KAGURAでは、デフォルトの画像や音の素材をドラッグ＆ドロップで画面に配置できて、オブジェクトの位置や大きさも直観的に変更できます。
こうした直観的な操作でサウンドセットが作れますので、驚くほどシンプルに演奏が楽しめます。ただ、演奏者の趣向によってはサウンドセットを作り込むこともできて、バリエーションに富んだ演奏が可能です。
短音の素材以外にも、ループ素材をバックに流すこともできますし、画像も音も外部のオリジナル素材が取り込めます。さらには、MIDI規格に対応しており、サンプラーやDJ機器といったデジタル音楽デバイスとの接続ができて、演奏やパフォーマンスの拡張性はまさに無限大です。
直観的な操作や演奏の拡張性について、KAGURAの優秀っぷりが垣間見えたかと思いますが、このアプリケーションの最大の魅力はなんといっても、これまでに見たことのないパフォーマンスの展開にあります。
いわゆる楽器アプリケーションというジャンルには、スマホ用のものですら、コンパクトながら多機能なもので溢れています。
そんななか、KAGURAはスマホでなくパソコンのアプリという形にこだわり、さらに画面を大きくしていくことを考えているようです。
KAGURAと既存の楽器アプリケーションとの大きな違いは、演奏する姿を人に見せるという要素が突出している点です。
従来のデジタル音楽デバイスを使った演奏は、せいぜいパッドやつまみをいじり、音を変化させるといったものでしたが、KAGURAの動きから鳴る音は、パフォーマンスを観客に向けて広げる形に変えました。
何もない空間に触れると音が鳴るという、これまでテルミンくらいでしか実現できなかった表現は、観る人に新鮮さと驚きを与えます。
また、プロジェクターなどでパソコンの画面を映し出すことで、音源素材に触れながら演奏するプレイヤーのパフォーマンスを披露することも可能となっています。
スタートアップの世界的なイベント「SLUSH ASIA」や、音楽やテクノロジーの祭典「Sonar+D」などにも出演して高評価を得ていて、インテリジェンスなイメージを抱きがちなKAGURAですが、実はこどもでも楽しめるものを目指して開発されています。
KAGURAの他にもさまざまなプロダクトをリリースしているしくみデザインですが、そのなかにはこども向けのものが多くあり、たとえばiPhoneアプリの「paintone」はこどもが勝手に面白いものを作り始めるような演奏アプリになっています。
しくみデザインのワークは、共通してこどものクリエイティビティを引き出すようなものになっていて、大人向けのプロダクトでも、ちゃんとこどもが楽しめるように開発されているのです。
先日開催された、「おとなもこどもも楽しめる!未来の演奏体験 by KAGURA」では、NHKの新感覚料理番組「ごちソングDJ」でお馴染みDJみそ汁とMCごはんが、こどもを対象としたワークショップで、アスパラのベーコン巻のアイコンと本人の声素材を使って楽曲製作を実演しました。
KAGURAの直感的で驚きのある演奏スタイルを体験すれば、こどもが音を奏でることや創ることに興味をもつきっかけになるのではないでしょうか。
KAGURAは、3月22日には一般発売が開始されたほか、無料体験版もありますので、気になった方は一度試してみましょう。
アーティストとのコラボも面白くて、歌や朗読、演舞や津軽三味線といったさまざまな楽器での演奏が特徴的なロックバンドKAO=S(カオス）やダンサーのTAQ8がパフォーマンスを披露しています。
KAGURAは単なる楽器のジャンルを超えて、大人からこどもまですべての人の演奏目的に合致して、おもいっきりクリエイティビティを引き出してくれるでしょう。
時代がビジョンに追いついたことでリリースとなったたこの音楽アプリケーションには、VRなんかのテクノロジーの進歩とともに、これからさらに面白い展開が待っていそうでワクワクしますね。
あわせて読みたい音楽アプリ記事
・音楽体験の黒船?!AppleからLINE、AWAまで有料音楽アプリ徹底比較
・1人でバンドもできる？！VR空間で楽器の演奏体験。VR演奏が可能なデバイス＆アプリ
