Nvidia profite de la TwitchCon 2019 pour dévoiler un ensemble de nouveaux SDK nommé NVIDIA RTX Broadcast Engine. Il propose différents outils pour générer par exemple un fond vert par IA, des filtres de réalité augmentée et de style de rendu.
Avec ces nouvelles possibilités Nvidia compte proposer aux développeurs des outils pour enrichir leurs applications de streaming (logiciels et plug-ins). Cet ensemble RTX Broadcast Engine se compose du RTX Greenscreen, RTX AR et RTX Style Filters.
RTX Broadcast Engine, détails.
Nvidia explique
“Le RTX Greenscreen cherche à supprimer en temps réel l’arrière-plan d’un flux webcam, de sorte que seuls votre visage et votre corps apparaissent sur le flux en direct. Le modèle IA RTX Greenscreen comprend quelle partie de l’image est humaine et quelle partie est en arrière-plan, de sorte que les joueurs bénéficient des avantages d’un écran vert sans avoir à en acheter un.
Le RTX AR détecte les visages, suit les caractéristiques du visage telles que les yeux et la bouche, et même modélise la surface d’un visage, permettant des effets de réalité augmentée en temps réel en utilisant une webcam standard. Les développeurs peuvent l’utiliser pour créer des effets AR amusants, tels que superposer du contenu 3D sur un visage ou permettre à une personne de contrôler des personnages 3D avec son visage.
Le RTX Style Filters utilise une technique d’IA appelée style transfert (transfert de style) pour transformer l’apparence d’un flux webcam en fonction du style d’une autre image. En appuyant sur une touche de raccourci, vous pouvez styliser votre flux vidéo avec votre style peinture ou dessin de jeu préféré.”
La firme prévoit de dévoiler une première intégration de RTX Greenscreen, ainsi qu’une foule d’autres démos à la TwitchCon ce week-end.
