iPhoneとARKitを使って「音を視覚化」してみると(動画あり)

20170927-AR-_is_title-520x292-8707f2c1afb83c834813d38d77b510ef931da669

音を空間に記録する──。そんなアイデアを実現すべくアーティストのザック・リーバーマンが「ARKit」を使って開発したのは、iPhoneを使って音を可視化するアプリだ。

TEXT BY ELIZABETH STINSON

WIRED(US)

ザック・リーバーマンが、音を立てている。「カチッ」「シュ」「アッ」「オオー」「イー」…。

音がするたびに不定形な白い塊がスクリーンに飛び出し、空中には跡が残される。リーバーマンがそれらの雲をなぞるようにiPhoneを後ろへ動かすと、音は逆再生される。まるでレコードを逆再生させているかのようだ。iPhoneがタイムトンネルを通っているようにも感じられる。しかし、リーバーマンは違う説明をする。

「簡単に言うと、音を空間に記録しているんです」

もちろん、現実はもう少し複雑だ。リーバーマンは、アップルのARKitとコーディングツールキットの「openFrameworks」(リーバーマン自身、その共同開発者でもある)を用い、リアルタイムのサウンドマップを構築した。

ARKitで構築されたすべてのアプリのように、リーバーマンはSLAM(スラム:位置とマッピングの同時実行)という方法を使っている。これはiPhoneのセンサーとカメラを使って、部屋の境界や物の輪郭などを示す低解像度なマップをつくるものだ。

関連記事iPhone単体で「AR」を実現する原理をわかりやすく解説してみた(2017.09.13)

この環境情報を使うことで、リーバーマンはiPhoneのマイクで音をとらえ、自らが構築したアプリでその音を処理し、視覚化できる。そしてその後、iPhoneが音をとらえたまさにその位置にイラストをマッピングする。辿った3次元の経路に沿って動かすと、iPhoneは集塵機のようにはたらき、音声を再生する。「アプリは、デヴァイスがある場所に最も近い音を再生します」とリーバーマンは言う。

カメラとマイクで何ができるか?

ゲーム開発者やイケアのような企業がARKitでつくっている見栄えのよいアプリと比べると、リーバーマンのリヴィングルームでの実験はいかにも粗いプロトタイプのように感じられる。実際のところ、多くの意味で、これはまだプロトタイプなのだ。

いまのところ、このアプリは音波の位置を永久に記憶することはできない。アプリを閉じてまた開くと、アプリは音の正確な場所を忘れてしまうのだ。

「アプリは、ユーザーがアプリを開いた場所を起点としたときに、空間のどの位置でユーザーが音を聴いたのかはわかります」とリーバーマンは言う。「しかし、アプリには、その空間がブルックリンにあるのか、この交差点にあるのか、あるいはこの部屋の中なのかはわからないのです」

とはいえこのアプリは、ARというものがどのように機能しどんなポテンシャルをもつのか、その最も明らかでわかりやすい実例を提供してくれる。リーバーマンは、新しい体験を生み出すためにARを使うほか多くのアーティスト同様、自らのアプリは実験以外の何ものでもないとみなしている。それは、テクノロジーの使い道をより批判的に考える1つの方法なのだ。

「カメラとマイクがある。さてこれは何を意味するのか?ということです」とリーバーマンは言う。「これらとのインタラクションをさまざまなな方向に、どのように推し進められるのかを考えてみることは重要です」

  • このエントリーをはてなブックマークに追加

関連記事

話題をチェック

  1. 600x601x20170822nana.jpg.pagespeed.ic.u5ed1iTQeL-e5b3de5c391c8e3805df72a8cdb3da051ece71fa

    ANA、機内食総選挙2017の結果発表 和食は牛すきやき丼、洋食はビーフシチューとオムライス

    Sponsored link  機上ӗ…
  2. MIT-Instant-Retouch-TA-12db540ca97a6020f2db78ca5b27647ac89d2f28

    機械学習を用いれば、写真が「撮影する前」からプロ仕様の美しさに──グーグルとMITがアルゴリズムを開発

    NEWS 2017.08.22 TUE 08:00マサチ&…
  3. GettyImages-496380034-e1503241697905-b18cea347ee2933a806af5a4adfa2f3d9569add1

    「世界共通のインターネット」を巡る、グーグルとカナダ最高裁との闘い

    NEWS 2017.08.21 MON 07:00カナダ&…
ページ上部へ戻る