視線追跡型ヘッドマウントディスプレイ『FOVE』の技術を使用し、手や腕を使わずに目線だけでピアノを演奏することができるユニバーサルピアノシステム「Eye Play the Piano」を使ったプロジェクトがスタート。12月18日に、このシステムを使った演奏会が開かれた。
演奏がお披露目されたのは、筑波大学付属桐が丘支援学校にて。終業式後に行われたクリスマスコンサートで、同校高等部2年の沼尻光太くんが同システムを使用して、「もろびとこぞりて」と「きよしこの夜」を演奏。小学校の生徒たち、PTAコーラス部がそれにあわせて合唱をした。
これは、筑波大学附属桐が丘特別支援学校と株式会社FOVEが共同で進めるプロジェクト。ヘッドマウントディスプレイ『FOVE』を、医療・特別支援教育分野へ活用し、児童、生徒たちの表現の可能性を広げることを目的としている。FOVEと共に演奏のシステムを開発したのは、「さわれる検索」（Yahoo! JAPAN）を開発した博報堂ケトル、AID-DCC Inc.のスタッフ。「さわれる検索」は筑波大学附属視覚特別支援学校（盲学校）に検索マシンを設置し、目の見えない子供たちに立体物を触る体験を提供。大きな反響を呼び、その後、他校への貸出も行われている。「さわれる検索での経験を、また別の形で特別支援教育に活かしていきたい」（博報堂ケトル 畑中翔太さん）と、今年6月にプロジェクトを立ち上げるべく、同校を訪問。7月からは沼尻くんに参加してもらい、意見を聞きながら開発を進めていった。
では、実際に演奏はどのように行われるのか。まず『FOVE』を装着すると、視線追跡機能を使ってユーザーの目線が認識される。インターフェイス上の8枚の音符パネルにユーザーが視線を合わせ、自分が弾きたい音を選択。目の「瞬き」によって入力信号が送られ、 連結されたピアノから実際に音が鳴り響く。また、頭を下に傾けることで、それがピアノのペダルの役目を果たし、弾いた音を伸ばすことができる。インターフェイスには単音で弾くモードと和音で弾くモードを設定しており、それを併用することで、演奏の幅が広がるのだ。当日はグランドピアノにこのシステムをつなげて演奏した。
現在プロジェクトサイトでは、プロジェクトの内容を伝えるムービーとメイキングムービーを公開中だ。また、寄付型ファンドレイジングサイト「JustGiving」にてドネーションを開始。今後、50校へ同システム提供していきたい考えだ。
「さわれる検索」に関連する記事はこちら
「博報堂ケトル」に関連する記事はこちら
プロジェクト
Movie
