Pipeline Hybride 3D & IA Générative (Blender to ComfyUI)
Projet de recherche et développement visant à coupler la précision géométrique des logiciels de création 3D professionnels avec l'expressivité plastique de l'IA générative. Ce workflow automatisé permet d'explorer des variations esthétiques complexes tout en conservant un contrôle spatial strict.
Démonstration : Effet "Collection Photo" & Caméra 3D
Inspiré du principe visuel des vidéos "stop-motion" où un sujet reste cadré pendant que ses décors et variations s'enchaînent à grande vitesse. L'utilisation de la 3D permet d'ajouter la liberté de mouvement de caméra (zooms, angles, travellings) tout en maintenant un alignement parfait à chaque frame.
Décomposition du Pipeline (Passes & Diffusion)
Analyse étape par étape du transfert de données entre la scène 3D vectorielle et le moteur de diffusion :
Architecture Technique & Automatisation
1. Contrôle Géométrique & Mouvements de Caméra
Défi : Conserver la cohérence des formes et la fluidité des trajectoires de caméra lors des changements de styles frénétiques générés par l'IA.
Solution : Extraction sous Blender de cartes de profondeur (Depth) et de cartes de segmentation couleur. Injectées dans ControlNet sous ComfyUI, ces passes verrouillent la géométrie frame par frame et permettent des mouvements de caméra dynamiques (zooms, rotations) sans déformation.
2. Addon Blender Sur Mesure & Contrôle Direct de ComfyUI
Défi : Éviter la saisie manuelle de paramètres et les basculements répétitifs entre Blender et l'interface web de ComfyUI.
Solution : Développement d'un plugin Python dédié dans Blender. Il communique directement avec l'API de ComfyUI, permettant de modifier les prompts, samplers, seeds et valeurs de denoise sans quitter le viewport 3D, tout en gérant le rendu et l'envoi automatique des passes.
Bilan Technique & Cas d'Usage
- Contrôle artistique total : Combinaison de la précision cinématique 3D et de la richesse plastique des modèles de diffusion.
- Interface unifiée : Réglage et exécution des workflows ComfyUI directement depuis le panneau latéral de Blender.
- Rendu séquentiel accéléré : Automatisation complète des exports et des appels API pour produire des séquences animées complexes.
- Applications : Visualisation stylisée, direction artistique exploratoire, habillage vidéo et concept art animé.