あらゆる能力を持つ人々のための人間とコンピューターの相互作用を簡素化することに取り組んでいるコンピューター ラボは、ユーザーがよりよく理解できるように、独自の機械学習システムを備えたデジタル リップ リーダーを開発しました。
リップタイプ 教授の発明です アーメド・サビール・アリフ との 彼の研究室。 要するに：唇の動きを読んでください。 PCやスマートフォンでテキストメッセージやメールを送信したり、ATMやその他のキオスクなどの公共のデバイスと非接触でやり取りしたりできるほどよく読めます。 声を出さずに。
他にも読唇装置がありますが、速度が遅く、故障することが多いため、広く使用されていません。
飛躍
特に騒がしい場所では、ディクテーションの間違いが多くなります。 言語に問題がある人は、おそらくアクセントのために、自分自身を理解するのにも問題があります. LipTypeは誰でも機能します。 人々は、公共の場や会議中にプライベートメッセージを送信する必要があるかもしれません。また、LipTypeを使用すると、音を立てずに唇を小刻みに動かすことができます。
アリフの生徒たちは、さまざまなアルゴリズムでさまざまなフィルターを追加しました 人工知能 さまざまな照明条件で読唇術を可能にします。 次に、さまざまな言語モデルに基づくエラー修正プログラムを導入し、LipTypeが他の既存のデバイスよりも大幅に高速であることを発見しました。
読唇術テスト
ソフトウェアテストに付随して、アリフの研究室は人々がそのような技術を使用するかどうかを確認するために社会調査を実施しました。 彼らは学生や障害者を含む地域の人々と連絡を取り、オンライン調査を実施しました。 反応は熱狂的でした。
ソフトウェアテストの結果も素晴らしいものでした。 「LipType は他のモデルよりも 58% 高速に動作しました」と研究者は述べています。 ラクシュミパンディ. 「このデバイスは、低照度とノイズのさまざまな現実世界の設定で最先端を行ってきました。LipType の成功により、私たちはお互いやコンピューティング デバイスとのやり取りに革命を起こすことができると確信しています。」
社会研究と LipType リップ リーダー研究は、人間とコンピューターの相互作用に関する主要な国際会議での出版と発表が承認されました。
LipTypeリップリーダーの可能なアプリケーション
この読唇システムには、いくつかの可能なアプリケーションがあります。 明らかに、LipType は、障害を持つ人々をデジタル ツールに近づけることができます。 多くの場合、傍聴によってアクセスできないシナリオで何が起こるかを理解することは、法執行機関にとって役立つ可能性があります。 車のインターフェースも便利なので、音楽を聴きながらメッセージを書くことができます。 すべてにデザイン哲学があります。限界は想像力です。
