Créez des Scènes 3D Époustouflantes dans Blender avec ComfyUI! (Tutoriel Complet)

Créez des Scènes 3D Époustouflantes dans Blender avec ComfyUI! (Tutoriel Complet)

Créez des Scènes 3D Époustouflantes dans Blender avec ComfyUI!

Introduction à ComfyUI dans Blender

ComfyUI intégré à Blender est un outil révolutionnaire qui permet de réaliser des créations 3D extraordinaires. Cette technologie nous donne la possibilité de prendre n’importe quel environnement 3D et d’y appliquer l’habillage de notre choix. Mais ce n’est pas tout – l’outil va plus loin en prenant des libertés créatives pour compléter automatiquement les espaces vides dans l’environnement 3D. Tout cela est contrôlé directement par ComfyUI, et je vais vous montrer comment le mettre en place.

Qu’est-ce que le Blueprint NVIDIA RTX 3D?

Ce que nous allons explorer aujourd’hui est le blueprint d’IA générative guidée NVIDIA RTX 3D. Il s’agit d’un exemple de référence prêt à l’emploi que les créateurs peuvent utiliser comme point de départ pour développer des projets basés sur les microservices Nim. Ce blueprint est:

  • Complètement open-source
  • Entièrement gratuit
  • Fonctionnant intégralement en local

Avec ce blueprint spécifique, les créateurs peuvent utiliser des objets 3D simples disposés dans Blender et guider leur conception à l’aide de génération d’images basée sur des prompts textuels.

NVIDIA s’est associé à moi pour cette vidéo pour deux raisons principales:

  1. Créer un tutoriel montrant comment configurer cet environnement avec les microservices NVIDIA Nim (ce n’est pas simple, mais je vais vous guider étape par étape)
  2. Recueillir vos commentaires sur ces projets open-source – NVIDIA souhaite connaître votre avis, vous encourage à développer des solutions basées sur leur technologie et à créer des forks du dépôt

Démonstration des Possibilités

Laissez-moi vous montrer quelques exemples de ce que vous pouvez réaliser avec cet outil.

Notre première scène est une représentation 3D d’une petite ville avec une fontaine au centre. Voici le prompt utilisé: « Une superbe photo professionnelle d’un village pittoresque dans les montagnes en hiver. Une fontaine couverte de neige est visible au centre de la place du village. »

Que se passe-t-il si nous voulons transformer cela en une ville hypermoderne? Voilà, nous obtenons instantanément une version futuriste de notre scène.

Et si nous souhaitons un style cartoon? C’est tout aussi simple à réaliser.

Essayons maintenant d’ajouter un bateau au centre. Il suffit de placer un élément de bateau dans la scène et de modifier légèrement le prompt. Et voilà le résultat!

N’oublions pas que tout ceci est en 3D, ce qui signifie que nous pouvons simplement faire pivoter l’environnement pour obtenir un autre angle. Par exemple, voici une vue de dessus. Lançons l’exécution et voyons le résultat. Les possibilités sont véritablement infinies.

Guide d’Installation Complet

Prérequis Matériels

Tout le code et les instructions sont disponibles sur la page GitHub du projet, dont je partagerai le lien dans la description. Les exigences minimales pour faire fonctionner cet outil sont assez importantes:

GPU requis:
– RTX 5090
– RTX 5080
– RTX 4090
– RTX 4090 (version laptop)
– RTX 4080
– RTX 6000

Vous aurez également besoin de 48 Go de RAM système.

Notez que l’équipe travaille actuellement à rendre l’ensemble du processus plus efficace, donc davantage de GPU seront pris en charge prochainement.

Étapes d’Installation

  1. Installation des prérequis NIM
  2. Téléchargez l’installateur des prérequis NIM depuis le lien fourni sur la page GitHub
  3. Exécutez le fichier d’installation
  4. Suivez les étapes: cliquez sur « Continuer », « Accepter et continuer »
  5. L’installateur téléchargera et installera l’AI Workbench

  6. Une fois terminé, cliquez sur « Fermer »

  7. Installation de Git

  8. Ouvrez PowerShell
  9. Copiez et collez cette commande: winget install -id Git.Git
  10. Appuyez sur Entrée pour lancer l’installation

  11. Attendez que l’installation soit terminée

  12. Installation de Microsoft Visual C++

  13. Toujours dans PowerShell, copiez et collez: winget install Microsoft.VCRedist.2015+.x64
  14. Appuyez sur Entrée

  15. Attendez la fin de l’installation

  16. Installation de Blender

  17. Téléchargez Blender depuis le lien fourni ou en recherchant « Blender » sur Google
  18. Blender est gratuit et simple à installer

  19. Suivez le processus d’installation standard

  20. Obtention d’une clé HuggingFace

  21. Vous aurez besoin d’une clé HuggingFace car le flux utilise le modèle Flux (un modèle de diffusion populaire et open-source)
  22. Connectez-vous à HuggingFace
  23. Cliquez sur l’icône en haut à droite puis sur « Access Tokens »
  24. Cliquez sur « Create New Token »
  25. Sélectionnez l’option « Read » (c’est tout ce dont vous avez besoin)
  26. Nommez-le (par exemple « NVIDIA Comfy ») et cliquez sur « Create Token »

  27. Copiez votre token et gardez-le à portée de main

  28. Acceptation des conditions d’utilisation des modèles

  29. Vous devrez accepter les conditions d’utilisation pour chacun des modèles listés dans les instructions

  30. Clonage du dépôt

  31. Dans PowerShell, exécutez: git clone NVIDIA-AI-Blueprint-3D-Guided-GenAI-RTX

  32. Attendez que le téléchargement soit terminé

  33. Configuration de l’environnement

  34. Naviguez vers le dossier nouvellement créé avec la commande cd
  35. Ouvrez ce dossier dans l’Explorateur de fichiers
  36. Recherchez et double-cliquez sur setup.bat
  37. Laissez-le s’exécuter (cela peut prendre du temps car il télécharge de nombreux modèles)

  38. Une fois terminé, vous verrez s’afficher le chemin de Comfy et le chemin Python – ne fermez pas cette fenêtre

  39. Configuration de Blender

  40. Ouvrez Blender
  41. Allez dans le menu « Edit » puis « Preferences »
  42. Cliquez sur « Add-ons »
  43. Recherchez « Comfy UI Blender AI Node » et assurez-vous qu’il est coché

  44. Faites défiler vers le bas et collez les chemins Comfy UI et Python que vous avez obtenus à l’étape précédente

  45. Ouverture du Blueprint

    • Dans Blender, allez dans « File » puis « Open »
    • Naviguez vers Documents/Blender (ou l’emplacement où il a été installé)
    • Recherchez le fichier « guided_genib.blend » et cliquez sur « Open »

Utilisation de l’Interface

Même si vous n’avez jamais utilisé Blender auparavant (comme moi), l’interface est assez intuitive et il existe de nombreux tutoriels en ligne. Vous pouvez également demander de l’aide à une IA.

Voici les éléments principaux de l’interface:

  • La partie inférieure de l’écran affiche ComfyUI
  • Tout le reste correspond à Blender

Je vous recommande d’activer la console système en allant dans le menu « Window » et en cliquant sur « Toggle System Console ». Cela vous permettra de voir ce qui se passe en arrière-plan et de suivre la progression.

Avant de commencer, cliquez sur le bouton rouge « Launch Connect to Comfy UI ». Cela prendra un certain temps, surtout la première fois. Cette étape initialise Nim et établit la connexion entre ComfyUI et Blender.

Pendant ce temps, explorons quelques fonctionnalités:

  • En bas de l’écran, vous trouverez différents éléments que vous pouvez glisser-déposer dans votre scène
  • Le prompt que vous allez modifier se trouve dans le panneau « 001 »
  • Je vous conseille de copier ce prompt dans un éditeur de texte pour le modifier plus facilement

Astuces pour de Meilleurs Résultats

Le modèle adhère strictement au prompt fourni. Si vous placez un élément dans la scène (comme un bateau) qui ne correspond pas au contexte, le résultat risque d’être étrange. Par exemple, si vous placez un bateau au milieu d’une ville sans eau, il pourrait ressembler à une fontaine en forme de bateau.

Pour obtenir le résultat souhaité, soyez explicite dans votre prompt. Si vous voulez un yacht, précisez « Et il y a un yacht au milieu de la ville sur l’eau. »

Conclusion

Tout ce que nous avons vu est complètement open-source, gratuit et fonctionne en local. Une fois que vous avez téléchargé tous les éléments nécessaires, vous pouvez l’utiliser sans connexion internet.

Je tiens à remercier spécialement l’équipe de NVIDIA qui a travaillé avec moi et m’a montré comment mettre en place ce système. Ce n’était pas facile au début, mais maintenant que je l’ai fait plusieurs fois, c’est assez simple.

J’espère que ce tutoriel vous sera utile. N’oubliez pas que NVIDIA attend vos commentaires sur ce blueprint et leurs autres projets. Partagez vos impressions dans les commentaires et faites-moi savoir ce que vous en pensez.

Si vous avez apprécié cette vidéo, n’hésitez pas à la liker et à vous abonner!