最近、グループでJohnnyがPaint3Dプロジェクトに関する情報を共有しているのを見ました。このプロジェクトの正式名称は「Paint3D: 使用無しテクスチャ拡散モデルを用いた3Dでの任意のコンテンツ描画」です。
現在、このプロジェクトでは公開デモやコードはまだ提供されていませんので、技術実装の説明を先に読むしかありません。
Paint3Dは、テキストまたは画像入力を基に、非テクスチャ化された3Dメッシュモデルに対して高解像度、ライティングフリー、多様な2K UVテクスチャを生成する新しい粗いところから細かいところへの生成フレームワークです。
私たちは、Paint3Dという新しい生成フレームワークを紹介します。これは、テクスチャのない3Dメッシュモデルに対して、テキストまたは画像入力を基に高解像度で、ライティングの影響を受けず、多様な2K UVテクスチャを生成する技術です。この技術が解決する主要な課題は、埋め込まれた照明情報を持たない高品質なテクスチャの生成であり、これによりテクスチャは現代のグラフィックスパイプラインで再ライティングや再編集が可能になります。これを実現するために、私たちの方法はまず、事前に学習された深度認識型の2D拡散モデルを使用して視点条件付き画像を生成し、それを多視点テクスチャ融合によって初期の粗いテクスチャマップを作成します。しかし、2Dモデルは3D形状を完全に表現できず、照明効果を無効化できないため、粗いテクスチャマップには不完全な領域と照明アーティファクトが発生します。この問題に対処するために、形状認識専用の不完全領域の精製と照明アーティファクト除去を行うUV InpaintingおよびUVHD拡散モデルを訓練しました。この粗から細へのプロセスを通じて、Paint3Dは語彙的一貫性を保ちながら光の影響を受けない高品質な2K UVテクスチャを生成でき、3Dオブジェクトのテクスチャ生成技術のレベルを大幅に向上させます。
論文アドレス： https://arxiv.org/abs/2312.13913
プロジェクトが実現できる機能には以下が含まれます：
画像条件付きテクスチャ生成 テキスト条件付きテクスチャ生成