映像を触る方法

The Way To Touch A Digital Content.

  • Projector
  • PC (Processing)
  • Arduino
  • Sensor
  • Screen
手持ちのプロジェクタはQumiQ2。HDMIケーブルを経由して、PC上"Processing"で生成した映像を映写。ProcessingはArduinoに取り付けられたセンサのアナログ値を参照できる。例として圧力センサ1つをスクリーン上の任意な位置Cに設置する。圧力センサが圧力を感じると、ArduinoはProcessingへ信号を送る。信号を受け取ったProcessingは映像中におけるセンサが取り付けられている任意な位置Cに対応する部分を中心としたパーティクル(火花)を生成する。Run。これでスクリーン上の任意な位置Cを押すとそこからパーティクルが発生するような錯覚が得られる。超音波距離測定センサに置き換えれば人の位置を感知でき、それに応じた映像を生成可能。センサをカメラに置き換え、例えばKinectのようなパターン認識技術を導入すれば人の動きに合わせた映像を生成可能。まるでディジタルコンテンツを触れて遊ぶ感覚に陥る。

ここにMoment Factoryの実例を挙げる。


ここではカメラや音声によるフィードバックを映像に反映している例が見られる。このNine Inch Nailsのライブには3枚のスクリーンが用いられている。これらスクリーンはプロジェクタによる映像を映すためのものではなく、それ自体が発光するLEDスクリーンである。それらは前後軸方向に並べて設置されており、うち手前2枚は透き通ったスクリーンである。網目状に見えるスクリーンがそれらである。後ろ1枚のスクリーンはタッチスクリーンになっている。曲"Echoplex"においてこのタッチスクリーンを用いた演出がされている。この3枚のスクリーンを使って立体感を演出し、センサによるフィードバックやXMSのコントロールによって、音楽やパフォーマにインタラクティブなステージを提供している。素晴らしい仕事である。

この記録で紹介したかったものは、曲"Only"のような効果である。人のいる部分のパーティクルが消える演出である。