の研究者たち カーネギーメロン大学 （CMU）は、推論やマイクなしで音声を再現できるレベルの精度で音の振動を検出できるカメラシステムを開発しました。 会社？ のチームの仕事 ロボティクス研究所（RI） XNUMX台のカメラとXNUMX台のレーザーで構成されるシステムを構築するためのCMUコンピューターサイエンススクールのメンバー。
カメラシステムは、人間の目では見ることができない「高速、低振幅の表面振動」を検出することができます、と大学は言いました プレスリリース.
低コストのカメラ、非常に高性能
従来の検索で使用していた高速カメラではなく、通常のカメラを搭載しているため、大幅なコストダウンにつながります。 「私たちは光学マイクをはるかに実用的で使いやすいものにしました」と彼は言いました スリニヴァサナラシムハン、ロボット工学の教授および照明および画像研究所の責任者。 「コストを削減しながら品質を向上させました」。
アルゴリズムは、ローラーシャッターとグローバルシャッターによってキャプチャされたスポットのパターンを比較します。 モデル間の違いを使用して、振動を計算し、オーディオを再現します。 斑点模様（この場合はレーザーによって作成されます）は、粗い表面で反射された後の空間内のコヒーレント光の動作を指します。 この動作は、表面が振動すると変化します。 ローラーシャッターは一方の端からもう一方の端まで画像をすばやくスキャンし、ローラーシャッターは同時に画像全体をキャプチャします。
「このシステムは、コンピュータービジョンでできることの限界を押し広げます」と、マシューオトゥール助教、共著者 文書 システム上で、彼は言った。 「これは、高速で小さな振動をキャプチャするための新しいメカニズムであり、新しい研究分野を提示します。」
通常のビデオ撮影でさまざまな音を分離します
研究者たちは、同時に演奏されていたギターの音を分離することができたと言います。 彼らは、システムがチップの袋を組み立てることができ、その振動を使用してその音を再構築することができたと主張しています。 オーディオは、これまでにない忠実度でスピーカーから送信されました。
このテクノロジーには多くの潜在的なアプリケーションがあります。 研究者たちは、たとえば、システムが工場内の機械からの振動を監視して、問題の兆候を探すことができると示唆しています。 サウンドエンジニアは、ミックスを強化するために楽器からサウンドを分離することもできます。 基本的に、オーディオ録音から周囲のノイズを除去するのに役立ちます。
