カリフォルニア大学とFacebookRealityLabsおよびAIResearchの3つの部門の研究者チームが、3D画像と2D画像からXNUMXD図を作成できるニューラルネットワークを開発しました。
を表すPifu HD ピクセル整列の陰関数HDは、服を着た人を3Dに再現する2D画像とビデオを変換するようにトレーニングされています。
口や鼻などの顔の特徴に加えて、システムはしわや衣服の質感を対応する3Dモデルに正確に変換できます。 女性の写真のポーズは雄弁で、男性のポーズも冗談ではありません。
Pifu HDは、昨年導入された以前のAI Pifuの改良版です。 より多くのピクセル情報を使用して、折り目や指の位置などの小さな詳細を3Dモデルに転送できます。 科学者 斉藤俊輔 新しい作品をXNUMX本のビデオで紹介しました。 もあります 科学文書 詳細情報付き。
Pifu HDのトレーニング
人工知能 は、ランドマークとして機能する3D画像を使用して2D画像を生成するようにトレーニングされています。 特定のケースでは、さまざまなポーズでさまざまな衣料品を使用した男性と女性の写真モデルを含む一連のファッション画像が使用されました。
医療用MRIの場合と同様に、深度レベルをスキャンするたびに3次元の図が得られます。 画像エンコーダは、各2Dピクセルのそれぞれの3D座標を計算し、それが検査中の画像の断面の内側か外側かを推定します。 その時点での画像からXNUMXDへのステップは短いです。
Pifu HDは、平行画像を低解像度でエンコードし、その情報を使用して独自の3Dモデルを作成します。
ビデオデモは非常にうまく機能します。 したがって、Pifuはモデル画像から3D人物像を生成できます。 さらに、異なる視野角を持つ同じ参照者の異なる画像からのはるかに詳細な3Dモデル。
まだ時間が必要です
Pifuはまだ完全には開発されておらず、3Dモデルで生産的に使用するには十分な効率がありません。 しかし、このソフトウェアの作成と学習の速度は驚異的です。
