La mise à jour 24H2 de Windows 11 introduit de nombreuses nouveautés dont plusieurs innovations importantes axées sur l’intelligence artificielle (IA). Elles concernent différentes choses tandis que Windows Copilot Runtime occupe une place centrale.
Cette avancée permet de bénéficier de plusieurs fonctionnalités IA directement sur le PC, sans nécessiter de connexion à Internet (cloud). Les développeurs peuvent également intégrer facilement des fonctionnalités d’IA dans leurs applications grâce à de nouvelles APIs.
Du coté de chez Microsoft, cette avancée donne naissance à Recall, Live Captions, Auto Super Resolution (ASR), Voice Clarity ou encore Studio Effects. A noter que certaines de ces fonctionnalités, comme Recall et l’Auto Super Résolution, ne seront disponibles que sur des appareils dotés d’unités de traitement neuronal (NPU), tandis que d’autres, comme Voice Clarity sont accessibles sur une gamme plus large de machines.
Windows 11 et Copilot Runtime
Windows Copilot Runtime constitue une avancée dans l’intégration de l’intelligence artificielle au cœur de Windows 11. Cette nouvelle “couche” logicielle est conçue pour héberger et exécuter localement plus de 40 modèles d’IA différents. Cela signifie qu’il est possible d’accéder à des fonctionnalités d’IA puissantes sans dépendre entièrement des services basés sur le cloud.
Parmi ces modèles d’IA, Microsoft a intégré plusieurs solutions. Nous pouvons évoquer Phi Silica, un petit modèle de langage (SLM) de Microsoft qui fonctionne de manière similaire à un grand modèle de langage (LLM) mais avec une empreinte plus légère. Il est optimisé pour traiter des tâches plus spécifiques tout en conservant une grande précision, facilitant les interactions en langage naturel avec l’OS. Nous avons aussi un détecteur de région d’écran, un modèle qui permet de repérer et d’analyser des sections spécifiques de l’écran. Il est utile pour des fonctionnalités comme la reconnaissance de contenu contextuel ou le partage d’informations visuelles. La reconnaissance optique de caractères (OCR) est un modèle capable de convertir du texte imprimé ou manuscrit en texte numérique, facilitant la recherche, la copie ou l’analyse de documents physiques numérisés.
A tout ceci s’ajoute un analyseur de langage naturel qui permet de comprendre et d’interpréter les commandes vocales ou textuelles et un encodeur d’image qui améliore la qualité et optimise le rendu visuel des médias dans diverses applications.
Recall, retrouver
Retrouver est probablement l’une des fonctionnalités IA les plus attendues, mais aussi des plus controversées. Elle fonctionne en faisant en permanence des captures d’écran de tout ce qu’il est fait et utilise plusieurs modèles d’intelligence artificielle, alimentés par une unité de traitement neuronal (NPU). Ces données sont analysées et classées selon leur contenu et leur contexte dans un nouvel index sémantique de Windows.
Il devient alors possible de rechercher des éléments en utilisant un langage naturel ou de parcourir une chronologie pour remonter le temps. Une fois un instant précis sélectionné, l’outil « screenray » propose d’interagir facilement avec le contenu en facilitant la copie de texte ou d’images.
Recall nécessite un espace de stockage pour conserver les instantanés et la base de données de l’index. Par défaut, un ordinateur équipé d’un disque dur de 256 Go allouera 25 Go à cette fonctionnalité. Cette allocation augmentera proportionnellement à la taille du disque.
Dans les paramètres, une nouvelle page dédiée est disponible pour gérer son activation, l’espace de stockage ainsi que les filtres permettant d’exclure certains sites ou applications de l’expérience “Recall”.
Si cette fonctionnalité peut révéler utile, elle reste controversée car elle peine à instaurer une véritable confiance. Plusieurs questions de sécurité et de confidentialité sont soulevées, même si certaines ont déjà été corrigées par Microsoft.
Windows 11, Click to Do et la recherche
Click to Do est capable de comprendre le contenu affiché à l’écran et de proposer des actions en relation. Pour en profiter il suffit de maintenir la touche « Windows » enfoncée et cliquer n’importe où sur l’écran. Cela fait apparaître en superposition des suggestions contextuelles basées sur ce qui est affiché. Par exemple, si vous sélectionnez du texte, l’outil pourra vous suggérer de le résumer ou de le réécrire. Si vous choisissez une image, il pourra proposer de flouter l’arrière-plan ou de supprimer un objet indésirable.
Cette fonctionnalité sera exclusivement disponible sur les PC Copilot+ à la fin de cette année.
Microsoft améliore la fonctionnalité de recherche de Windows en permettant d’utiliser le langage naturel directement depuis la barre des tâches, l’explorateur de fichiers ou l’application Paramètres. Il n’est donc plus nécessaire d’utiliser des mots-clés, de se souvenir de noms de fichiers ou de certaines métadonnées. Il suffit de décrire ce que l’on recherche, qu’il s’agisse d’un fichier, d’une image ou d’un paramètre, et la recherche Windows sera capable de le trouver.
Cette fonctionnalité sera exclusivement disponible pour les PC Copilot+ à la fin de l’année.
Windows 11 et les medias, Studio Effects
Studio Effects est un ensemble de fonctionnalités qui utilise le NPU (unité de traitement neuronal) pour appliquer des effets visuels et audio aux flux issus de la webcam ou au microphone.
Bien que ces fonctionnalités existent déjà, Microsoft prévoit de les rendre plus largement accessibles. Les effets disponibles varient en fonction de l’appareil, mais incluent
- Flou d’arrière-plan -> choix entre le flou standard et le flou portrait.
- Contact visuel -> simule un regard direct vers la caméra, avec un mode téléprompteur disponible.
- Cadrage automatique -> ajuste automatiquement le zoom pour garder l’utilisateur au centre de l’image.
- Lumière de portrait -> améliore l’éclairage pour une meilleure visibilité dans les environnements sombres.
- Filtres créatifs -> ajoutent des animations et des effets lumineux amusants.
- Mise au point vocale -> réduit le bruit de fond pendant les appels vidéo.
Sous-titres en direct et Voice Clarity
Les sous-titres en direct existent déjà mais avec Windows 11 24H2, elle s’améliore et s’enrichit de la traductions en temps réel grâce à l’intelligence artificielle.
La traduction en direct est une fonctionnalité d’accessibilité qui permet de comprendre l’audio grâce à la transcription et à la traduction automatique de n’importe quelle source sonore sur Windows 11. Par exemple, vous pouvez l’utiliser pour traduire automatiquement une vidéo YouTube ou un appel vocal en cours.
Voice Clarity
Comme le nom le suppose, c’est avancée analyse et supprime le bruit de fond en temps réel lors des conversations ou enregistrements afin d’améliorer le rendu de la voix. Initialement réservée aux appareils Surface, Voice Clarity est incluse dans la mise à jour de 2024 et sera disponible même sur des appareils ne disposant pas d’un NPU.
Windows 11 et l’upscaling : L’Auto Super résolution
L’Auto SR alias l’Auro Super Resolution est une autre fonctionnalité attendue. Elle utilise l’intelligence artificielle pour tenter d’améliorer la qualité graphique des jeux tout en boostant le framerate.
Cette technologie fonctionne de manière similaire aux technologies DLSS Super Resolution de Nvidia ou du FidelityFX Super Resolution d’AMD ou encore du XeSS d’Intel.
Lorsqu’elle est activée, le travail est délégué au NPU (Neural Processing Unit) plutôt qu’au GPU (Graphics Processing Unit). Cela permet d’améliorer la qualité visuelle des jeux, mais aussi d’optimiser la consommation d’énergie. Cette option peut être activée dans l’application Paramètres, soit globalement, soit pour des applications spécifiques. Si un jeu compatible avec Auto SR est lancé, une notification apparaîtra pour signaler l’assistance disponible, avec un lien direct vers l’activation dans l’application Paramètres.
A noter que Microsoft et Qualcomm ont également créé un site web pour lister les jeux compatibles avec la version ARM de Windows 11, ainsi que ceux supportant la Super Résolution Automatique. Au lancement, seuls une dizaine de jeux seront pris en charge, à savoir
- Borderlands 3,
- Control (DX11),
- Dark Souls III,
- God of War,
- Kingdom Come : Deliverance,
- Resident Evil 2,
- Resident Evil 3,
- Sekiro : Shadows Die Twice,
- Sniper Ghost Warrior Contracts 2
- et The Witcher 3.
Soulignons que Microsoft collabore également avec Intel, AMD, et Nvidia pour créer DirectSR afin que les développeurs puissent intégrer ces technologies de mise à l’échelle dans un ensemble unique d’API.
Application Photos.
L’application Photos intègre désormais une fonction Restyler l’image qui utilise l’IA pour modifier le style d’une photo à l’aide de diverses techniques photographiques. Cela fonctionne de manière similaire aux filtres disponibles sur les smartphones. Il est aussi possible de fournir une description textuelle pour indiquer précisément comment vous souhaitez que l’image soit modifiée, notamment l’arrière-plan ou d’autres éléments spécifiques.
A cela s’ajoute l’outil Image Creator permettant de convertir une description textuelle en image. Cette fonctionnalité sur Copilot AI et le modèle DALL-E d’OpenAI.
Enfin l’application Photos bénéficiera bientôt du Super Résolution qui permettra de mettre à l’échelle et d’améliorer la qualité des images ( jusqu’à huit fois la taille d’origine tout en conservant un rendu visuel optimal). Cette fonction exploitera le NPU des PC Copilot+ pour restaurer des images de mauvaise qualité avec des détails supplémentaires.
Paint et Cocréateur
Microsoft introduit également Cocreator dans l’application Paint. Cet outil scanne les dessins et les complète pour créer des illustrations en utilisant une invite textuelle. Il est possible d’ajuster l’intensité de la créativité via un curseur. Cet outil repose sur un algorithme de diffusion pour générer des images de haute qualité avec peu d’effort.
Il est aussi prévu Remplissage et Effacement. La fonction Remplir génère un contenu correspondant à une description textuelle dans une zone sélectionnée d’une image. Quant à l’Effacement, il supprime des parties d’une image, comme la fonctionnalité Magic Eraser sur Android.
