の研究者たち カーネギーメロン大学 (CMU) は、推論やマイクなしでオーディオを再現できるレベルの精度で音の振動を検出できるカメラ システムを開発しました。 会社？ のチームの仕事 ロボティクス研究所（RI） XNUMX台のカメラとXNUMX台のレーザーで構成されるシステムを構築するためのCMUコンピューターサイエンススクールのメンバー。
カメラシステムは、人間の目では見ることができない「高速で振幅の小さい表面振動」を検出できると、大学は述べています。 プレスリリース.
低コストのカメラ、非常に高性能
これまでの研究で使用していた高速カメラから通常のカメラを搭載することで、大幅なコスト削減につながります。 「私たちは、光マイクロフォンをより実用的で使いやすいものにしました」と彼は言いました。 スリニヴァサナラシムハン、ロボット工学の教授であり、照明および画像研究所の責任者です。 「コストを削減しながら、品質を向上させました。」
アルゴリズムは、ローラー シャッターとグローバル シャッターによってキャプチャされたスポットのパターンを比較します。 モデル間の違いを使用して、振動を計算し、オーディオを再現します。 斑点状のパターン (この場合はレーザーによって作成されます) は、コヒーレント光が粗い表面で反射された後の空間内での挙動を指します。 この動作は、表面が振動すると変化します。 ローラー シャッターは画像を端から端まですばやくスキャンしますが、ローラー シャッターは画像全体を同時にキャプチャします。
「このシステムは、コンピューター ビジョンでできることの限界を押し広げます」と、マシュー オトゥール助教、 文書 システム上で、彼は言った。 「これは、高速で小さな振動を捉えるための新しいメカニズムであり、新しい研究分野を提示します。」
通常のビデオ撮影でさまざまな音を分離します
研究者たちは、同時に演奏されていたギターの音を分離することができたと言います。 彼らは、システムがチップの袋を組み立て、その振動のみを使用してその音を再構築できたと主張しています。 オーディオは、これまでにない忠実度でスピーカーから送信されました。
このテクノロジーには多くの潜在的なアプリケーションがあります。 研究者たちは、たとえば、システムが工場内の機械からの振動を監視して、問題の兆候を探すことができると示唆しています。 サウンドエンジニアは、ミックスを強化するために楽器からサウンドを分離することもできます。 基本的に、オーディオ録音から周囲のノイズを除去するのに役立ちます。
