電子テキスタイルのマイクロインタラクション　～螺旋状のジェスチャーと光～

こんにちは。野田貴子です。今回から海外のWeb関連のAIニュースを意訳して紹介していきます。興味がある方はご覧ください。

 

見た目や快適さ、人間工学の点が改善されれば、テキスタイルは、日常の環境や物に技術を溶け込ませることに役立つ可能性があります。たとえば消費者用の機器としては、スマートスピーカーを布で覆ったり、ヘッドフォンコードを編み込むなどして、テキスタイルを利用し始めています。また、素材や柔軟性の高いエレクトロニクスが進歩したことで、ジャケットやドレス、毛布などの柔らかい素材にセンサーやディスプレイを組み込むことができるようになりました。

（タッチセンサー、ジェスチャー認識、ビジュアルフィードバックを組み込んだスケーラブルでインタラクティブな電子テキスタイルアーキテクチャ。）

「E-textile Microinteractionsでの内容では、柔らかいデバイスで双方向の通信ができるようにし、機械学習（ML）とテキスタイルを組み合わせて複数のジェスチャーを同時に行う方法を実証しました。本研究は、以前に紹介した電子テキスタイルのアーキテクチャ（ACM UIST 2018の内容）を拡張したものです。この研究では、衣服の引き紐や、一般的な端末に付いている電気コードのモジュール化に注目しています。テキスタイルの編み組みの技術を活用して、紐の表面上に繰り返される行列でジェスチャーの感知と視覚フィードバックの両方を実現しています。

これがどのように機能するかについては、電子テキスタイルのマイクロインタラクションに関するこちらのビデオ(https://youtu.be/pbAvY6bwZD8)と、電子テキスタイルのアーキテクチャに関するこちらのビデオ(https://youtu.be/t-_QCI8ntDM)をご覧ください。

（連続的な感知、離散的な動き、離散的な握りを行える電子テキスタイルのマイクロインタラクション。）

螺旋状の感知マトリクス (HSM)

ブレイドとは、一般的には3本以上の紐を斜めに編み組むことをいいます。編み組みは昔から見た目の良さと構造的な理由のために使用されてきましたが、今では、センサーや情報表示として使用することができます。

コードは[静電容量方式センサー](https://en.wikipedia.org/wiki/Capacitive_sensing)で基本的なタッチジェスチャーを検出するように作ることができますが、私たちはより自由なジェスチャーができるように螺旋状の感知マトリクス（HSM）を開発しました。HSMは、電気的に絶縁された導電性の繊維糸と受動的なサポートをする糸を組み合わせたブレイドで、相反する導電性の糸が送受信電極の役割を果たし、相互の静電容量方式の感知を可能にしています。その交点での静電容量カップリングは指で調節され、繰り返される編み組みパターンのおかげでコード上のどこでもそのインタラクションを感知することができます。

（左：4×4のブレイドをベースにした螺旋状の感知マトリクス（コアの周りに8本の導電性の糸が螺旋状に巻かれている）。マゼンタ色とシアン色は導電性の糸で、受信と送信のラインとして使用される。灰色は受動的な糸（綿）。中央：平らにしたマトリクスで、無限の4×4マトリクス（色のついた0～Fの円）がコードの長さの分繰り返される。右：黄色は光ファイバーのラインで、視覚的なフィードバックを行う。）

回転の検出

重要な洞察は、共通の電極セットを共有するHSMの2つの軸方向の列（と平らにしたマトリックスの図にある色）は、互いに180度反対側にあるということです。したがって、コードをつまんだり、回したりすると、電極のセットが活性化され、これらの列を横切る相対的な動きを追跡することができます。回転の検出は、90°補正された時間変化する正弦波信号のセットに関して、電流位相を識別します。このブレードでユーザーはどこでも回転を開始することができるようになり、少しの電極セットで拡張することもできます。

（列を横切る水平方向の指の動きから回転が推測される。下部のプロットは、指の近さによって変化する相対的な静電容量方式の信号の強度を示している。）

インタラクション技術と設計ガイドライン

この電子テキスタイルの構造のおかげでコードはタッチに敏感になりますが、その柔らかさと変形しやすさのために硬いタッチ面と比較して適切なインタラクションが制限されます。このユニークな動きを念頭に、私たちのデザインガイドラインでは以下のことを強調しています。

- ジェスチャーをシンプルにする。私たちは、ユーザーがひとつの離別的なジェスチャーあるいは連続的な操作を行うような、短いインタラクションのために設計している。
- フィードバックを閉じたループにする。私たちは、ユーザーが機能を発見し、自身のアクションに関する継続的なフィードバックを得られるようにしたいと考えている。可能であれば、デバイスに搭載されている視覚、触覚、音声のフィードバックを提供する。

これらの原則に基づき、私たちの電子テキスタイルアーキテクチャを活用して、近さ、面積、接触時間、回転、圧力の感知力をベースにしたインタラクション技術を可能にしています。

https://1.bp.blogspot.com/-ABxPuIeLwEI/Xr2BW7jhL7I/AAAAAAAAF8U/tTO4rGPVN-8KwJO2usK0NNij6zm15AZmQCLcBGAsYHQ/s1600/image11.gif
（この電子テキスタイルは、近さ、接触面積、接触時間、回転、圧力の静電容量方式の感知に基づいたインタラクションを可能にしている。）

強度の異なる色を表示することができる光ファイバーの糸を組み込めば、ユーザーへダイナミックでリアルタイムなフィードバック与えることができます。

https://1.bp.blogspot.com/-0QWioSLwkFA/Xr2Bh7dXKaI/AAAAAAAAF8Y/bflDVGaPAhM6zpzgKiAzSMC5r9X5TtL3QCLcBGAsYHQ/s1600/image15.gif
（編み組まれた光ファイバーの糸が、横に動いている錯覚を生み出している。）

動かし方（フリック、スライド）と握り方（ピンチ、グラブ、パット）

私たちはジェスチャーの誘発研究を行い、ジェスチャーセットの拡張の可能性を示しました。これらの結果に発想を得て，シングルタッチジェスチャー（ピンチ，グラブ，パット）に加えて，フリックやスライドをベースとした5つのモーションジェスチャーを調査することにしました．

（想像タッチセンサーを用いたジェスチャー誘発研究。）

12人の新規参加者からデータを収集し、864個のジェスチャーのサンプルを入手しました（12人の参加者がそれぞれ8つのジェスチャーを行い、9回繰り返した）。それぞれに16個の特徴があり、時間の経過とともに80個の観察結果に線形補間されました。参加者はフィードバックなしで自分のスタイルで8つのジェスチャーを実行しました。これは、分類する際にユーザーのスタイル（「接触」）、好み（「摘まんだり掴んだりする方法」）、解剖学（手のサイズなど）に大きく依存するため、個人差に対応したかったからです。このように、我々のパイプラインはユーザー依存型のトレーニング向けに設計されており、例えば、時計回り/反時計回りの一貫性のなさ、ジェスチャーの一時的な重複（例えば、フリックvsフリック＋ホールド、ピンチvsグラブ）など、人によって違いが出るスタイルを受け入れるようになっています。ユーザーに依存しないシステムでは、このような違いに対処する必要があります。例えば、一貫性を保つためにより厳格な指示をさせる設計にしたり、より多くの人々からのデータ、より多様な設定などが必要になってきます。また、トレーニング中のリアルタイムなフィードバックが、ユーザーが動作を調整する際に役立っています。

（12人の参加者（横軸）が8つのジェスチャー（縦軸）について9回の繰り返し（アニメーション）を行った。各アニメーションは重ね合わせた16個の特徴ベクトルを表しており、時間の経過とともに80個の観察結果に補間されている。）

私たちは8回の繰り返し学習と1回のテストを9回並べ替えて行うことで、これらのジェスチャーを行った各ユーザに対してクロスバリデーションを行い、ジェスチャーの認識精度は94%以上を達成しました。この結果は、特にこのような低解像度の感知マトリックス（8つの電極）によって可能になる表現力を考えると、心強いものになりました。

ここで注目すべきは、繰り返される感知マトリクスに内在する関係性が、機械学習による分類に適していることです。この研究で使用されている機械学習の分類器は、限られたデータで迅速な訓練を可能にし、ユーザに依存したインタラクションシステムを合理的なものにしています。私たちの経験では、典型的なジェスチャーの訓練は30秒以下で済みます。これは指紋センサーの訓練に必要な時間に匹敵します。

ユーザーに依存しない連続的なツイスト　～精度と速度の定量化～

ユーザーごとに訓練されたジェスチャー認識により、8つの新しい離散的ジェスチャーができるようになりました。また、連続的なインタラクションについては、ユーザーに依存しない連続的なツイストが、精密測定用のタスクでどれだけうまく機能するかを定量化したいと考えていました。この電子テキスタイルを、静電容量方式のマルチタッチトラックパッド（「スクロール」）と、おなじみのヘッドフォンコードのリモコン（「ボタン」）の2つと比較しました。私たちは、3つのデバイスが対象となるタスクで1次元の動きを制御する実験を考案しました。

私たちは、12人の参加者と3つの技術を対象とした1800回の試行について、タスク中の時間（ミリ秒）、総合的な動き、試行終了時の運きの3つの従属変数を分析しました。また、参加者からはランキングやコメントを通じて定性的なフィードバックを入手しました。

定量的な分析によると、電子テキスタイルのツイストは既存のヘッドフォンボタンの操作よりも速く、タッチパッドに匹敵する速度であることがわかりました。また、定性的なフィードバックでは、ヘッドホンの操作よりも電子テキスタイルのインタラクションの方が好みであることが示されました。

（左：加重平均の主観的フィードバック。7点のリッカート尺度を[-3, 3]の範囲のスコアにマッピングし、その技術がその評価を受けた回数を乗じて、すべてのスコアの平均を計算した。右：対象距離に対する平均完了時間はボタンの方が常に遅くなることを示している。）

これらの結果は、硬い入力デバイスと比較して電子テキスタイルがより敏感であったことを考えると、特に興味深いものです。ユーザーはコードの任意の場所で素早く、あるいはゆっくりとツイストすることができ、その動きを逆にすることも可能です。従来のヘッドフォンのボタンは、ユーザーが自分の指の位置を確認したり、押すために握り方を変えたりする必要がある上に、操作を誤るリスクも発生していました。私たちは高域フィルタを使用して偶発的な皮膚接触を制限していますが、ロバスト性を特徴付け、実際の利用場面で長期的な性能を評価するためには、さらなる研究が必要です。

 

私たちは、この電子テキスタイルアーキテクチャの能力を実証するために、さまざまなプロトタイプを開発しました。例えば、電話でのメディア再生を操作する電子テキスタイルのUSB-Cヘッドフォン、見た目で分からないようにパーカーの引き紐にした音楽コントローラ、ジェスチャーで操作するためのスマートスピーカーのインタラクティブコードです。

（左：タップ＝再生と停止。中央：ダブルタップ＝次のトラック。右：ツイスト＝音量の増減。）

（連続的ジェスチャー（ひねり/回転）と離散的ジェスチャー（ピンチ/パット）の両方を実現した、音楽の再生を操作するインタラクティブなスピーカーコード。）

結論と今後の方向性

埋め込み型センサーと視覚フィードバックのためのインタラクティブな電子テキスタイルアーキテクチャを紹介しました。これにより、小さなコードで小さな動きと大きな動きの両方を検知できるようになりました。この研究では、テキスタイルのユーザーインターフェースを進化させ、将来のウェアラブルインターフェースやスマートファブリックで使えるマイクロインタラクションをインスパイアしたいと考えています。私たちの電子テキスタイルが、工業デザインと見た目を維持しつつ、スケーラブルな技術で物理的な物体を向上させるためのインスピレーションを他の人に与えることを願っています。

※本コラムは以下の文章を意訳したものです。

引用元
https://ai.googleblog.com/2020/05/enabling-e-textile-microinteractions.html

※本コラムは原文執筆者が公式に発表しているものでなく、翻訳者が独自に意訳しているものです。