La Nouvelle IA de NVIDIA Crée des Mondes 3D à Partir de Rien !

Imaginez prendre seulement quelques photos et laisser un ordinateur générer un monde 3D parfait et explorable. C’est fantastique pour les jeux vidéo et pour l’entraînement des voitures autonomes. Voilà la promesse incroyable des champs neuronaux (neural fields). Mais… cette promesse se heurte souvent à un obstacle. Le processus d’entraînement se retrouve fréquemment bloqué dans des impasses, nous laissant avec des résultats flous, des surfaces bosselées, ou d’étranges artefacts ‘flottants’ dans la scène. Pas vraiment les mondes numériques dont nous rêvions.

Et si une modification étonnamment simple pendant l’entraînement pouvait résoudre ce problème ? Cette recherche introduit une méthode intelligente, presque élégante, pour aider ces puissants modèles à éviter ces écueils, conduisant à des reconstructions nettement plus nettes et moins d’artefacts gênants. Et dans un instant, nous examinerons une autre technique – une qui apporte du mouvement à ces scènes, afin qu’elles ne soient plus seulement des images fixes, mais des mondes vivants et mouvants dans lesquels nous pouvons entrer. Celle-ci est quelque chose avec laquelle vous pouvez jouer dès maintenant !

Une Solution Élégante : Ajouter du Bruit pour Créer de l’Ordre

Vous plaisantez ? Il suffit d’ajouter un peu de bruit pendant l’entraînement, de le laisser s’estomper avec le temps, et c’est tout ? C’est comme ajouter du brouillard sur un beau paysage, puis, au fil du temps, le faire disparaître pour améliorer le résultat ? Est-ce que l’ajout de chaos mènerait à l’ordre plus tard ? Voyons cela de nos propres yeux.

Examinons cela en faisant apparaître un tatou à partir de rien. Une technique précédente commence bien, mais malheureusement, nous obtenons des artefacts flottants supplémentaires. Un oreiller pour le cou, et plus encore. Maintenant, la nouvelle méthode commence de manière assez saccadée… je ne suis pas sûr de cela, et… oh, regardez ça. Elle se stabilise rapidement, et ensuite, nous obtenons notre tatou, mais sans les parties problématiques. J’adore ça.

Pareil, lorsqu’on fait apparaître un lapin. Jusqu’ici, tout va bien. Mais ça devient encore meilleur !

Des Reconstructions 3D Impressionnantes

Essayons maintenant de créer une géométrie réelle à partir d’un nuage de points 3D. Oh oui. Le château de Sibenik semble correct même avec une méthode précédente, jusqu’à… mon Dieu. Les auteurs qualifient cela d’ »artefacts désastreux », et je pense que le nom est approprié. Mais leur méthode peut-elle créer une meilleure reconstruction ?

Oh oui, elle le peut. Enfin, les parties plates de la géométrie sont vraiment plates, et regardez ! La catastrophe a été évitée. Quel soulagement !

Lorsqu’on utilise des champs de radiance neuronaux (neural radiance fields) pour construire des scènes 3D, en raison du processus d’entraînement du réseau neuronal qui se bloque, nous obtenons ces artefacts flottants vraiment gênants. Ce n’est pas utilisable. Alors, est-ce que l’entraînement avec un peu plus de bruit aide à résoudre ce problème ?

Je n’arrive pas à y croire. Ces résultats ne sont pas parfaits, mais ils sont tellement plus propres. C’est un énorme pas en avant. Et j’adore comment cette technique peut créer une meilleure chaise et un meilleur hot-dog que les méthodes précédentes. Et le meilleur ? Cette astuce fonctionne pratiquement avec n’importe quel type de champ neuronal. Sérieusement, c’est presque aussi simple que d’ajouter un peu de bruit pendant l’entraînement.

Au-delà des Images Statiques : Donner Vie aux Mondes Virtuels

Maintenant, passons à une autre recherche d’un groupe différent. Obtenir des scènes statiques propres est fantastique, mais qu’en est-il du mouvement ? La vie réelle bouge, parfois de façon sauvage !

Cette recherche va plus loin – elle rend des scènes en mouvement en utilisant des « Gaussian Splats ». Elle apprend à ces minuscules petites taches gaussiennes qui construisent la scène à danser selon leurs propres petits scripts d’animation. Le résultat ? Des mouvements complexes qui étaient auparavant difficiles à gérer – des personnes qui marchent, d’adorables boules de poils qui remuent la queue – tout cela fonctionne soudainement en temps réel et avec une qualité supérieure.

Et oui, ils ont créé une visionneuse interactive pour cela. Vous remarquerez que le chien peut ressembler à une collection de petites bosses ou de coups de pinceau, mais la façon dont il se déplace dans la scène ? Absolument magnifique.

Des Performances Époustouflantes

Accrochez-vous bien, car cette technique peut atteindre plus de 450 images par seconde. Incroyable ! Oui, elle peut faire tout cela jusqu’à 7 fois plus rapidement que les techniques précédentes, avec une qualité équivalente, voire meilleure.

La raison en est que la plupart des méthodes précédentes tordent toute la scène pour simuler le mouvement. Celle-ci ? Elle laisse simplement chaque tache se déplacer par elle-même. Imaginez plier une marionnette entière juste pour bouger un bras. C’est ce que font les anciennes méthodes. Celle-ci dit simplement déplaçons le bras à la place. Rien d’autre. Et la qualité reste équivalente ou même meilleure. C’est absolument incroyable. Quelle époque fascinante !

N’hésitez pas à essayer la visionneuse interactive disponible en ligne. Des mondes virtuels en temps réel – pas seulement pour les studios de cinéma, mais pour nous tous. Imaginez filmer votre chien, et en quelques minutes, le promener en 3D dans un pays des merveilles virtuel. Et oui, cet avenir se rapproche super rapidement. J’adore ça.