カリフォルニア大学ロサンゼルス校のバイオエンジニアは、手話をリアルタイムで聞き取り可能な言葉に変換できる手袋のようなデバイスを設計しました。 研究 ジャーナルNature Electronicsに掲載されました。
陳淳UCLA Samueli School of Engineeringのバイオエンジニアリングの助教授は、研究の筆頭著者です。 「私たちの希望は、このテクノロジーが手話を翻訳し、仲介者を必要とせずにそれを知らない人と直接コミュニケーションするためのシンプルなツールになることです」と彼は言った。 「また、それがより多くの人々が自分で手話を学ぶのに役立つことを願っています。」
翻訳手袋の作り方
このシステムは、いくつかのウェアラブルデバイスで構成されています。 これらは、XNUMX本の指それぞれの長さを実行する、薄くて拡張可能なセンサーを備えた手袋です。 導電性の糸で作られたこれらのセンサーは、個々の文字、数字、単語、文章を示す手の動きと指の位置を検出します。
次に、指の動きを電気信号に変換し、コインのような手首サイズのデバイスに送信します。 カードは、これらの信号をスマートフォンにワイヤレスで送信します。スマートフォンは、手話を単語に変換し、XNUMX秒あたり約XNUMXワードの速度で送信します。
研究者はまた、手話の一部である顔の表情をキャプチャするために、テスターの顔（眉と口の側面の間）に粘着センサーを追加しました。
手話の翻訳がより簡単に
陳氏によると、手話の翻訳を提供していた以前のウェアラブルシステムは、かさばって重いデバイスに制限されたり、装着するのに不快だったりしました。
UCLAチームが開発したデバイスは、軽量で安価ですが、長持ちし、伸張可能なポリマーでできています。 電子センサーも非常に柔軟で安価です。
デバイスのテストでは、研究者たちは手話を使用する聴覚障害者15人と協力しました。 ポーターは各手のジェスチャーを660回繰り返しました。 カスタム機械学習アルゴリズムは、これらのジェスチャーを、それらが表す文字、数字、および単語に変換しました。 システムは、アルファベットの各文字と0〜9の数字を含むXNUMXの標識を認識しました。
この技術の改善により、重要な障壁を打破することができます。 その小型化により、手袋の代わりに手話を翻訳できるシンプルなウェアラブルリングがXNUMX日存在するようになります。 または、言語に関係なく、全員の間で即時の対話がある仮想現実環境に開かれます（口頭で または非言語的）既知。
