カリフォルニア大学と Facebook Reality Labs と AI Research の 3 つの部門の研究者チームは、3D 画像から 2D 画像と XNUMXD フィギュアを作成できるニューラル ネットワークを開発しました。
を表すPifu HD ピクセル整列の陰関数HDは、服を着た人を3Dに再現する2D画像とビデオを変換するようにトレーニングされています。
口や鼻などの顔の特徴に加えて、システムはしわや衣服の質感を対応する3Dモデルに正確に変換できます。 女性の写真のポーズは雄弁で、男性のポーズも冗談ではありません。
Pifu HDは、昨年導入された以前のAI Pifuの改良版です。 より多くのピクセル情報を使用して、折り目や指の位置などの小さな詳細を3Dモデルに転送できます。 科学者 斉藤俊輔 XNUMX本の動画で新作を発表。 また、 科学文書 詳細情報付き。
ぴふHDのトレーニング
人工知能 は、ランドマークとして機能する3D画像を使用して2D画像を生成するようにトレーニングされています。 特定のケースでは、さまざまなポーズでさまざまな衣料品を使用した男性と女性の写真モデルを含む一連のファッション画像が使用されました。
医療用 MRI で機能するのと同じように、スキャンされた深さの各レベルが 3 次元の図になります。 画像エンコーダは、各 2D ピクセルのそれぞれの 3D 座標を計算し、それが検査中の画像の断面の内側にあるか外側にあるかを推定します。 そして、その時点での画像から XNUMXD へのステップは短いです。
Pifu HDは、平行画像を低解像度でエンコードし、その情報を使用して独自の3Dモデルを作成します。
ビデオデモは非常にうまく機能します。 したがって、Pifuはモデル画像から3D人物像を生成できます。 さらに、異なる視野角を持つ同じ参照者の異なる画像からのはるかに詳細な3Dモデル。
まだ時間が必要です
Pifuはまだ完全には開発されておらず、3Dモデルで生産的に使用するには十分な効率がありません。 しかし、このソフトウェアの作成と学習の速度は驚異的です。
