昼間に解説付きの『猎罪图鉴』を見ていました。あるエピソードでは、主人公の師がAI動画による詐欺に巻き込まれて窮地に陥ります。その解決の鍵は光線問題にあり、動画中の不自然な光影がAI合成を識別する主な根拠となります。
それは現在開発中のインタラクティブな光源描画ツールで、正式名称は
Demo
現在、このツールはまだ開発中ですが、デモ版がすでに公開されています - https://huggingface.co/spaces/lllyasviel/LuminaBrush。
試用
技術フレームワーク
このプロジェクトは二段階の方法を通じて、ユーザーが画像上に直接「光影効果」を「描く」ことを可能にします：
フレームワークの最初のステップは、入力画像を「均一な照明」効果に変換することです——白色で均一に分布した環境光源によって照らされたシーンのようなものです。このステップの核心は、画像から複雑な光影情報を剥ぎ取り、その後の光影再構築に適したクリーンな基盤を提供することです。
均一な照明処理が完了後、次のステップは、ユーザーが手書きで描いた「光源ライン」に基づいてリアルな光影効果を生成することです。このような段階的な処理方式は、直接一歩で到達する場合に生じる可能性のある複雑な制約問題（例えば、光伝搬の一貫性など）を回避し、モデルの学習をより直接的かつ効果的にします。
LuminaBrushチームは設計時に、「均一な照明」画像の中間表現形式が、伝統的な3D反射率マップが持つ問題（例えば、過度に鋭いグリッド境界や表面の平坦性不足）を回避できることを見出しました。さらに、これは詳細を保ちながら複雑なテクスチャ（例えば、皮膚の質感、毛髪、毛皮など）を処理するのに適しています。
チームはまず、「均一な照明」画像の一部を集めて初期訓練セットとし、Flux LoRA（軽量ファインチューニング法）を使用してさらに多くの類似画像を生成しました。次に、ランダムに生成された法線ベクトルを使ってこれらの「均一な照明」画像を再照明訓練し、モデルが任意の入力画像から「均一な照明」効果を抽出できるようにしました。そして、膨大な高品質な実際のシーン画像から「均一な照明」特徴を抽出し、ペアデータを構築して最終的なインタラクティブな光影生成モデルをさらに訓練しました。
注目に値するのは、「均一な照明」処理が光影生成の中間ステップだけでなく、「去光影」タスクに独立して適用できることで、ユーザーが画像の光分布を最適化するのに役立ちます。
THE END
後、以前私が共有したControlNet著者の他の研究をいくつか挙げます：