あらゆる能力の人々の人間とコンピューターの相互作用の簡素化に取り組んでいるコンピューターラボは、ユーザーがよりよく理解できるように、独自の機械学習システムを備えたデジタル読唇術を開発しました。
リップタイプ 教授の発明です アーメド・サビール・アリフ との 彼の研究室。 要するに：唇の動きを読んでください。 PCやスマートフォンでテキストメッセージやメールを送信したり、ATMやその他のキオスクなどの公共のデバイスと非接触でやり取りしたりできるほどよく読めます。 声を出さずに。
他にも読唇装置がありますが、速度が遅く、故障することが多いため、広く使用されていません。
飛躍
特に騒がしい場所では、口述には多くの間違いがあります。 言語に問題のある人は、おそらくアクセントのせいで、自分自身を理解するのにも問題があります。 LipTypeは誰でも機能します。 人々は、公共の場や会議中にプライベートメッセージを送信する必要があるかもしれません。また、LipTypeを使用すると、音を立てずに唇を小刻みに動かすことができます。
アリフの生徒たちは、さまざまなアルゴリズムでさまざまなフィルターを追加しました 人工知能 さまざまな照明条件で読唇術を可能にします。 次に、さまざまな言語モデルに基づくエラー修正プログラムを導入し、LipTypeが他の既存のデバイスよりも大幅に高速であることを発見しました。
読唇術テスト
ソフトウェアテストに付随して、アリフの研究室は人々がそのような技術を使用するかどうかを確認するために社会調査を実施しました。 彼らは学生や障害者を含む地域の人々と連絡を取り、オンライン調査を実施しました。 反応は熱狂的でした。
ソフトウェアテストの結果も優れていました。 「LipTypeは他のモデルより58％高速でした」と研究者は言います ラクシュミパンディ。 「このデバイスは、光とノイズが少なく、さまざまな実世界の状況で最先端を行くことが証明されています。 LipTypeの成功により、相互作用やITデバイスとの相互作用に革命を起こすことができると私は信じています。」
社会的研究とLipType読唇術研究は、人間とコンピューターの相互作用に関する主要な国際会議での出版と発表のために受け入れられました。
LipTypeリップリーダーの可能なアプリケーション
この読唇システムにはいくつかの可能な用途があります。 明らかに、LipTypeは、障害を持つ人々をデジタルツールに非常に近づけることができます。 多くの場合、法執行機関は、耳を傾けてもアクセスできないシナリオで何が起こるかを理解することが役立つ可能性があります。 車のインターフェースも便利なので、音楽を聴きながらメッセージを書くことができます。 すべてにデザイン哲学があります。限界は想像力です。
