デューク大学の研究者らは、人物の顔のぼやけて認識できない画像を、これまでよりも詳細な魅力的なコンピューター生成のポートレートに変換できる AI ツールを開発しました。
Pulse GANより前の方法では、ピクセル化された画像を元の解像度の最大64倍まで詳細化できました。 しかし、デュークのチームは、最初の画像にはなかった細い線、まつ毛、しわなどの機能を「想像」して、少数のピクセルを取得し、最大XNUMX倍の解像度でリアルな顔を作成する方法を考案しました。 。
これまでにこの解像度の画像は作成されていません
シンシア・ルーディン、コンピュータ科学者、デューク大学
それは正体ではありません
研究者によると、Pulse GANシステムを使用して人を特定することはできません。 セキュリティカメラからのぼやけた認識できない写真が、実在の人物の透き通った画像に変わることはありません。 むしろ、存在しないが、もっともらしくリアルに見える新しい顔を生成することができます。
理論的には、同じ手法でほぼすべての低解像度の写真を撮り、医学や顕微鏡から天文学や衛星画像に至るまで、さまざまな用途でシャープでリアルな画像を作成できます。 サチット・メノン、数学とコンピュータサイエンスの二重専門。
研究者たちは、 PULSE GAN、明日から19月2020日までのXNUMX Computer Vision and Pattern Recognition（CVPR）カンファレンス。
従来のアプローチは、ぼやけたピクセルを含む低解像度の画像をキャプチャし、コンピュータが以前に見た高解像度の画像の対応するピクセルと平均して一致させようとすることで、どの追加ピクセルが必要かを「推測」することから始まります。 この平均化の結果、ピクセル間で完全に整列していない可能性のある髪と肌のテクスチャ領域は、ぼやけて不明瞭に見える場合があります。
デュークチームは別のアプローチをとっています
システムは、低解像度の画像をキャプチャしてゆっくりと新しい詳細を追加する代わりに、AIが生成した高解像度の顔の例を検索します（今これでとても上手になります）、同じサイズに縮小したときに入力画像によく似ているものを探します。
チームはGANまたは「敵対的生成ネットワーク」と呼ばれる機械学習ツールを使用しました。 私はそれについてもっと深く話しました この記事の とこのサイトの他の人。 GANは、同じ写真データセットでトレーニングされたニューラルネットワークです。 XNUMXつのネットワークは、トレーニングを受けたものを模倣する人工知能によって作成された人間の顔を特徴とし、もうXNUMXつのネットワークはこの結果を取得して、実際の写真と間違われるほど説得力があるかどうかを判断します。 最初のネットワークは、XNUMX番目のネットワークが区別できなくなるまで、経験を積むにつれてますます良くなります。 つまり、彼らは互いに競争し、競争することによって彼らは自分自身を完成させます。
PULSEは、ノイズの多い低品質の入力からリアルな画像を作成できます。 顔のXNUMXつのぼやけた画像から、無数の現実的な可能性を放つことができ、それぞれ微妙に異なって見えます。
目と口がほとんど認識できないピクセル化された写真があっても、「私たちのアルゴリズムはそれに対して何かを行います。 従来のアプローチではできないこと」 共著者の言葉 アレックス・ダミアン、デュークの数学者。
パルスGAN、権力の「ファンタジー」
システムは、ぼやけたピクセル画像または16×16ピクセル画像を数秒で1024 x 1024ピクセル画像に変換でき、HD解像度と同様にXNUMX万以上のピクセルを追加します。 毛穴、しわ、髪の毛などの詳細は、低解像度の写真では認識できず、コンピューター生成バージョンではくっきりと鮮明になります。
研究者たちは40人にPULSE GANと他の1.440つのスケーリング方法で生成されたXNUMX枚の画像を評価するように依頼しました。 彼らの判断は？ XNUMXからXNUMXのスケールの数。 そしてPulse GANは何よりも優れています。 さらに、彼は得点しました 実在の人物の高品質の写真とほぼ同じです。
自分で結果を見る https://pulse.cs.duke.edu/.
