La Nouvelle IA de NVIDIA : Le Ray Tracing Impossible Devient Réalité !

Il existe deux façons de créer et de rendre un monde virtuel. La première est ce que nous appelons la rastérisation. C’est ce que la plupart des jeux vidéo utilisent depuis de nombreuses années. Cette méthode est extrêmement rapide et, la plupart du temps, le rendu est suffisamment bon. Mais uniquement si vous pensez pouvoir vivre heureux sans des reflets et des réfractions de très haute qualité. Ce n’est pas mon cas.

Pour obtenir ces effets, vous avez besoin de quelque chose de plus : mon préféré, le ray tracing. Regardez ces merveilles ! Ces effets sont impossibles à obtenir par rastérisation, uniquement par ray tracing. Mais il y a un problème : cette technique simule le parcours de millions et millions de rayons lumineux, ce qui prend énormément de temps à calculer. Parfois des ordres de grandeur plus longs, allant de quelques minutes à plusieurs semaines. Aïe !

Cette image est magnifique : reflets, réfractions, caustiques volumétriques, c’est impressionnant. Mais elle nous a pris 3 semaines à rendre.

Donc, la rastérisation est rapide mais limitée, tandis que le ray tracing offre une solution complète mais lente. Il faut choisir, n’est-ce pas ? Eh bien, les scientifiques de NVIDIA ont eu une idée absolument folle : ils se sont demandé, pourquoi ne pas faire les deux ?

Mon opinion, avant de lire cet article scientifique, était qu’il ne fallait pas combiner les deux car c’était impossible à réaliser. Ces deux idées sont comme l’huile et l’eau — elles ne se mélangent pas. Vous risquez de vous retrouver avec les inconvénients des deux : une solution limitée, mais super coûteuse. Non merci ! Alors, ont-ils réussi l’impossible ? Nous y reviendrons dans un instant.

L’arrivée des Gaussian Splats

Et puis, les « splats » sont arrivés. Je veux dire, un article scientifique appelé Gaussian Splats est sorti et a pris le monde d’assaut. De quoi s’agit-il ? C’est une technique qui considère de petites gaussiennes, représentant une scène comme une collection de petites bosses, si vous voulez. Et notez que ces scènes peuvent provenir de la vie réelle. Vous vous promenez simplement avec votre caméra, puis vous pouvez jouer dans une version numérique de cet environnement.

La partie intéressante est que ça s’améliore. C’est incroyablement rapide, facilement plus rapide que le temps réel. Jusque-là, tout va bien. Cependant, voici le problème : les reflets spéculaires comme dans un miroir ne sont pas excellents. Et beaucoup des magnifiques effets de ray tracing que vous avez vus précédemment ne rendent pas si bien avec cette technique. Elle peut également consommer beaucoup de mémoire, qui est rare et coûteuse sur le matériel graphique actuel.

Mais les limitations ne s’arrêtent pas là : elle ne prend pas en charge les modèles de caméra sophistiqués. Par exemple, les caméras fisheye ? N’y pensez même pas. De plus, pas d’effets de caméra comme l’obturateur déroulant (rolling shutter). Il y a donc énormément de potentiel dans les Gaussian Splats, mais si je pense au fait que nous n’obtenons pas de réfractions, aucun des bons effets que nous, chercheurs, aimons tant… Tout cela va de très difficile à impossible à réaliser.

L’idée folle : combiner rastérisation et ray tracing

Mais ne désespérez pas, car voici l’idée impossible, ou du moins folle : combinons la rastérisation et le ray tracing en même temps !

Cette recherche le fait en prenant les Gaussian Splats et en y ajoutant ce qu’ils appellent des rayons secondaires. Cela signifie qu’il y a enfin des rayons de lumière dans le système, et ils sont autorisés à rebondir. Alors, pensez-vous à ce que je pense ? Oh oui, accrochez-vous bien et regardez ça !

Un véritable monde virtuel fonctionnant en temps réel, avec des reflets de haute qualité. J’adore absolument ça. Et les objets réfractifs comme le verre, aussi… wow ! Maintenant, sortons cette caméra fisheye, et… oui ! Tout cela était auparavant impossible, et maintenant non seulement c’est là, mais ça fonctionne en temps réel.

3DGUT : un nom à retenir

Voici ma partie préférée : le nom de ce travail. Vous allez adorer. Ils l’appellent la 3D Gaussian Unscented Transform. 3D G U T. Oui, mais ce n’est pas comme ça que nous l’appellerons. Non monsieur ! Nous l’appellerons 3DGUT. Beaucoup mieux !

Et voici une petite surprise. Savez-vous quel domaine important de l’IA aime les modèles de caméra étranges et l’obturateur déroulant ? L’entraînement des voitures autonomes. Oh oui. Et cela va être super utile pour ça aussi.

Comparaison avec les techniques précédentes

Mais est-ce vraiment meilleur que les techniques précédentes ? Voyons ensemble.

Chers collègues chercheurs, c’est Two Minute Papers avec Dr. Károly Zsolnai-Fehér.

3DGUT a l’air incroyable, mais en tant que chercheurs, nous voulons voir les comparaisons avec les techniques précédentes. Il s’avère qu’il existe une méthode antérieure qui peut étendre les Gaussian Splats aux caméras fisheye, mais… ouf. Je vois beaucoup, beaucoup d’artefacts et de distorsions ici. Alors, avez-vous le courage de jeter un œil à la nouvelle technique ? Voyons… oh là là, c’est une énorme différence. La précédente avait des problèmes surtout avec les objets plus proches de la caméra, mais cette nouvelle technique… J’adore.

Mais l’histoire ne s’arrête pas là. Il y a tellement plus sous la surface. Nous allons également examiner cela dans un instant.

Un code source disponible gratuitement

Et voici la meilleure partie : ils n’ont pas fermé le projet pour nous le vendre. Non. Tout ceci est disponible dès maintenant pour nous tous gratuitement. Le code source est là, j’ai mis un lien dans la description de la vidéo, alors j’espère que vous, chers collègues, aurez le courage d’y jouer. Désolé, je m’étais promis de ne plus faire ce jeu de mots et je viens de le refaire.

Mais en fait, certains d’entre vous y jouent déjà ! Ce chercheur dit qu’il l’a entraîné à seulement 30%, et ça a déjà l’air incroyable, même à travers les artefacts de compression des médias sociaux.

Au-delà de la surface : la diffusion sous-surfacique

D’accord, mais je vous entends demander : attends une minute, Károly. Qu’est-ce que c’est que cette beauté ? Eh bien, j’ai dit qu’il y avait plus sous la surface. Je l’ai dit parce que cet autre travail concerne le transport de la lumière qui se produit à l’intérieur de ces objets. C’est-à-dire, la diffusion sous-surfacique (subsurface scattering). L’art de rendre de beaux objets translucides.

Vous pouvez faire cela en rastérisation, voici un travail appelé Separable Subsurface Scattering, qui vous donne super rapidement de la peau humaine, du marbre, du lait, tout ce que vous voulez. J’adore travailler sur ce genre de choses. Et c’est si simple, quand nous l’avons publié, nous avons même implémenté une version qui tient dans 4 kilooctets. C’est fou — ça tient dans un fichier plus petit qu’une demi-seconde de musique mp3. Beaucoup plus petit. C’est disponible sur mon site web, le lien est dans la description. À ma connaissance, vous pouvez également l’utiliser dans Unreal Engine.

Donc c’est la diffusion sous-surfacique, mais pour la rastérisation, pas pour les Gaussian Splats. Qu’en est-il de cela ? Eh bien, ce nouveau travail incroyable vous offre exactement ça. Et ça devient encore meilleur, il prend également en charge le relighting. Vous avez donc votre objet, vous ajoutez une image, et il imagine à quoi cet objet ressemblerait dans ces différents environnements. Super amusant.

Et si vous n’aimez pas ce que vous avez obtenu, vous pouvez même modifier ces matériaux, donc vous pouvez passer de la peau au verre à la cire. Je veux dire, pensez-y. Les Gaussian Splats ne sont pas si vieux, ils ont environ 2 ans. Et maintenant, grâce à la puissance de la recherche ouverte et de l’ingéniosité humaine, et une touche d’IA, les reflets, les réfractions et la translucidité sont déjà possibles pour les Gaussian Splats. Oui, maintenant vous pouvez obtenir des objets translucides de qualité raisonnablement élevée dans ces mondes virtuels aussi. Donc, les jeux vidéo et les mondes virtuels de nouvelle génération arrivent ! Et les voitures autonomes peuvent également mieux apprendre. Je suis un peu stupéfait que presque personne ne parle de ces articles. Mais c’est pour cela que Two Minute Papers existe.

Conclusion

Et n’oubliez pas, nous sommes tous des chercheurs ici, donc nous aimons examiner ces articles pour plus d’informations, et il va sans dire que tout est disponible dans la description de la vidéo.

Alors, qu’en pensez-vous ? À quoi utiliseriez-vous cette technologie ? Faites-le-moi savoir dans les commentaires ci-dessous.

Featured image by Brecht Corbeel on Unsplash