Summer Workshop by #rhizomatiksresearch に参加しました(１日目編)

作った 思った 行った

ライゾマの高校生限定ワークショップに参加してきました！わーい

 

経緯

ライゾマのファン兼追っ掛けになったのは中3初夏Perfumeグロサイのカンヌプレゼンの中継をみたのがきっかけです。中3冬に「SuperFlyingTokyo」っていう大学生以上向けのWSが開催されて、見学自由とのことで見に行きました。当時苦C歴2週間の、P5もoFも知らないガキがjsとoFの講義を完全なチンプンカンプンで聞き（英語だったし）、終了後真鍋さん2bitさんとお話ししてP5を教わったのが今につながる第一歩です。
「自分もああいうのに参加してみたい！」とずっと思ってて、遂に開催されるとのことを聞き、すぐ応募しました。

で、受かって、Twitterで同志を発見し、LiTキャンプで同志を発見し、当日に至ったわけでございます…
 

1日目

１日目はさっくりいうとライゾマが各案件で使う出入力装置の種類と仕組みと使い方の紹介の講義でした。これは私のためのレポでもあるのであしからず…同じテーマの講義はまとめて書いてるので順番は正しくないです。
 
<INPUT>赤外線関連とモーキャプ by花井さん、登本さん、石橋さん

赤外線(Infrared;IR)→波長の長い電磁波(波),不可視光 波長は700nm~1mm

ライゾマでよく使うのは800~900nmの赤外線

普通のデジカメでは、赤外線もイメージセンサで捉えることができるのを、間にIRカットフィルタを挟むことでなくしてる。赤外線カメラは逆に、可視光と波長が長い光をカットするバンドパスフィルタを挟むことで欲しい波長の光だけを抽出することができる。

位置データを取るためにこれと合わせて使うのが再帰性反射材(道路標識や工事現場のおじさんが着てるやつ)。再帰性反射材は素材の細かいところが球体またはキューブ状になっていて、きた光を同じ方向に返すようにできている。赤外線投光機をカメラ付近に設置して投光すると、再帰性反射材から返ってきた反射光をもとにしてその物体の位置がわかる。何台ものカメラで位置を取れば立体的に場所をとることもできる。

３Ｍ｜技術情報：反射の種類／反射の仕組み｜反射材・交通安全関連製品について｜反射材・交通安全関連製品｜セーフティ・セキュリティ関連｜製品とサービス

赤外線を使う理由→人の目では見えないからぱっと見わからず制御できるから

 

 (以下１日目午後)

モーキャプの方法は2パターンある。
*光学式
wsで用意されてたのはこっち。天井近くにviconっていう会社のoptiTrackカメラのprime7Wが18台、prime4Wが4台あって、私も書いてていまいちわかっていませんがすごい大変な費用がかかっているのは確からしい。これは赤外線投光機とカメラが一緒になったやつで、なんでこんなにいっぱい付けるかというとあくまでカメラだからマーカーが見えないと位置が取れないからだそうです。いっぱい付けることでどうにかしていると。

ハードウェア｜OptiTrack【フルボディモーションキャプチャーシステム】

調べてみて今「値段神高いな」っていう顔してる

*慣性センサ式
各センサを搭載した機械をつけて動きを記録する仕組み。xsensっていうやつが有名。
 
250回/sの精度で動きを取り込める。
 
モーキャプの用途は大きく二通りあって、ドローンなど形が変わらないもののキャプチャと人など形が変わるもののキャプチャ。
前者はソフトで「剛体を登録」してそれぞれを判別する。だから紅白のドローンとか全部違う位置にマーカーがあるようにしている。
 
(以下２日目午前)
後者はあらかじめ標準体勢を登録しておいてそこから角度と位置を計算する方法。真鍋さんが体を張ってモーキャプスーツ着て37個マーカーつけて実践してくださってなるほどって思った。（朝行ったらスタジオにズボンが落ちてて「これ誰のだろう」って思ってた）
f:id:micromeeeter:20150820215440j:image
モーキャプの難点は必ずマーカーを付けなければならないこと。平面(見た目いいけどデータ取りにくい)と球体(悪いけど取りやすい)の2パターンのマーカーがあって、用途によって使い分ける。なるべく目立たず綺麗にデータを取るためにどこに何をつければいいか？という命題。以下の２つはその最たる例かなという気がする。
 振り返りムービー自動編集プロジェクトっていうのが毎日行われてて、すごいライゾマっぽいって思ったんですけどまた書きます。
 
<INPUT>ネットワーク by真鍋さん

ネットワーク→複数のコンピュータを接続する技術。大きな作品を作るとき、映像・音・動作の処理を全部同じPCでするとキツイから複数台使うときに便利。

IPアドレス:PCの住所

ポート番号:マンションの部屋番号

MAXで実践 真鍋さんのパソコンと我々のパソコンでメッセージを送り合う

今回のワークショップ中にレーザーやLEDを制御するときは、各参加者のPCからEthernet通して(?)送ってた。

 

<INPUT>センサー by柳澤さん
*加速度センサ
1999年に誕生（意外と遅いのね…仕組み調べたけどわかったようでわからない）任天堂の「コロコロカービィ(2000年)」っていう、ゲームボーイのソフトで普及？そういえば「まわるメイドインワリオ」が発売した時いいなー欲しいなーって思った記憶があったので、調べら2004年で回転センサ付いててメ芸祭大賞取ってるっぽい。
加速度センサネタで有名な作品例として、"Art virus fo Mac/troika"
*曲げセンサ
原理はひずみゲージ？誰かメモってたら教えてください…有名なのはNikeの靴底の柔らかさを広告してる例のやつ。
*圧力センサ
原理はまたもやひずみゲージ？なんだろうひずみゲージ…靴の裏に6個くらい圧力センサつけることでどこに重心がかかってるかわかる。それを可視化したのがオリンピック招致のときに話題になったフェンシングのやつ。
あと距離センサが話題に上がりました。
 
<OUTPUT>LED, レーザー, 筋電 by真鍋さん
*LEDライト
ライゾマが舞台演出でよく使ってるのはLEDライト。舞台って光量が必要だから未だに白熱灯が多いけど、LEDのほうが早いフレームレートについてこれるからとのこと。
f:id:micromeeeter:20150820174337j:image
そういえばMOSAIC見たときRGBのフラッシュかっけーー‼︎って思った覚えがある。写真のライトのすこし小さい版を10個、今回のワークショップで使いました。参考作品で「refind colors」っていうの見たのですがググれない…

*レーザーモジュール

ガルバノスキャナっていうモーターと鏡を使って光の向きを高速で変えることができる。つまり光を出す機構は動いてない！今回使ったレーザーはフルカラーで超綺麗でしたお値段は調べません。elevenplayのpulseで使ってた、ロボットアームについてたレーザーは、アームにつけるために軽量化したのを自作して載せたとのことです。

f:id:micromeeeter:20150820215512j:image

 
*筋電
もろもろはこの記事見てください↓

 

micromeeeter.hateblo.jp

 

加えて幾つか。
入力側は電極で電気信号を拾ってセンサで増幅&ノイズ除去、ワイヤレスマイクで送信。筋電位は繊細。1mAだと感じるくらい、10mAくらいで筋肉が動く、100mAで火傷する。
出力側を念願叶って体験させていただいたのですが、いつも整体で腰に電気かけてるので電気のピリピリには慣れてて、とはいえ痛い‼︎あと無力にならないと、笑っちゃうと必然的に筋肉が上がっちゃうので、顔の筋肉を緩めるのがコツでしたがそれが難しかった。プロのピリピリの方と初心者の私の動画です。
筋電位センサがあれば心臓の筋肉の伸縮とかもわかるから、理論的には心拍とれるし他のなんでも取れるけど、直接筋肉に触らないとダメだから脳を調べるには埋め込まなきゃいけない。オールマイティいいじゃーんって思って値段調べたら1本2万円とかだったので諦め。
頭の上から強い電磁波当てるとそこの脳の部分が一時停止するっていう実験の参考資料がもう一回見たい。言語野をストップさせると言葉が喋れなくなるけど歌なら歌える、歌は言語野で扱ってないんだ〜みたいなやつ。
あとで通ってる整体の先生にこのこと話したら、干渉波とemsがどうてれとのことなので詳しく調べるというメモ。収縮オンリーの電気を流しているということかな？
と、ここまで午前という超詰め込み講義
 
<INPUT,処理>モーションキャプチャ(処理ネタ) by石橋さん

上記

<INPUT,処理>画像認識 by登本さん

画像に限らなければ機械学習の話。

画像の中に何が写っているかを機械が判定するとき、機械は特定のモノを"学習"して類似度を測定する仕組みになっている。人は何が写っているか瞬時に反応できるけどコンピュータだと難しい。ちょっと前のgggでやってたグラフィックの死角展がそれでしたよね…行きたくていけなかったやつ。機械学習興味あるガールで研究したいかもしれないガールなのですごい興味深かった。詳しく知りたいのでもうちょい調べる。

コンピュータで画像・動画を解析するときは、見たいデータを取るために特定のフィルタ(laplacian pyramid,特徴点抽出,速度など)をかけて処理する。前akeさんからお聞きした、画像から脈拍はかるやつ思い出した。

【Ｗｅｂカメラで脈拍を非接触リアルタイム・センシング】Version 0.48

 

<INPUT>電波の取得、可視化

www.rhizomatiks.com

 

<INPUT>三次元データ by花井さん

depthデータが取れればマーカーがなくてもトラッキングできる。それをOSCで送ってごにょれる。

取る方法は今手軽に使えるのだとkinectが言わずもなが有名なのですが

  • kinect : structured lightっていう方法(赤外線パターンを投光して赤外線カメラで撮影することでdepthをとる)
  • kinectV2 : 赤外線を投光して、反射して帰ってくるその速度から距離を測定
  • BunbleBee : カメラが2個ついてて人の目とおなじ構成みたいな？　株式会社ビュープラス

 

<OUTPUT>大物 by石橋さん、原田さん

*ロボットアーム

アームは大きく分けて６軸と４軸があるけど、見栄えとかの問題などでライゾマはEPSONの６軸アームを使っている。買うには法律で決められた安全講習を受けて資格を得る必要がある。基本的には各モーターの位置を入力してその値を記憶し(ティーチング)、再生するという仕組み。会社によって開発環境も言語も違う。高級車一台買えるくらいの値段。

*ドローン

前記のようにモーキャプして位置を得る。いたい場所と現実のズレから計算して自動的に修正するようにプログラムしてる。紅白では場所をMayaでCGデータを作って書き出してたっぽい。

*ステッピングモータ、ウィンチ


YASKAWA × Rhizomatiks × ELEVENPLAY - YouTube

これで上からつられてるやつ。

モータってDC/ACとサーボとステッピング(プリンターの中に入ってるやつ、高精度)の三種類があるっぽい(差は理解しておらず)。実演してくださったときコンピュータがしくって左右両方のモータが回った結果片方の糸が切れてプラーン事件が発生しました。

 

本当はシェアのしやすさの問題上記事を一個にまとめたかったのですがモリモリになっちゃったのでここでひとまずアップ。あとで調べたこと追記していくスタイルにしていこう。感想などは次の記事で！