Windows 11 24H2, le Top 5 des nouveautés “IA”

Windows 11 24H2 se démarque au travers d’une intégration de l’intelligence artificielle. Cette technologie se retrouve au cœur du système d’exploitation et concerne de nombreuses choses.

Elle introduit un large éventail de fonctionnalités IA qui fonctionnent majoritairement en local grâce au système « Windows Copilot Runtime**. Il s’agit d’une nouvelle infrastructure dédiée à l’IA qui intègre plus de 40 modèles d’IA capable de s’exécuter directement sur l’appareil sans nécessiter de connexion internet. Parmi eux, nous retrouvons le modèle Phi Silica accompagné d’outils comme la reconnaissance optique de caractères, l’analyse du langage naturel et l’encodage d’image.

Windows 11 24H2 et Copilot

Une des innovations majeures est « Retrouver » alias Recall ». Microsoft avait pour ambition d’offrir une fonctionnalité innovante, un outil permettant de retrouver des informations en faisant automatiquement des captures d’écran. L’IA serait alors capable de répondre à des questions telles que « Quel était le nom du site Web où j’ai acheté cette paire de chaussures ? », en exploitant les données visuelles enregistrées lors de l’utilisation de l’appareil.

Cependant, cette idée a rapidement suscité une vague d’inquiétudes, notamment concernant la protection de la vie privée. En effet, le fait que des captures d’écran soient prises en permanence, même lorsqu’un contenu hautement confidentiel était affiché, a alarmé de nombreux utilisateurs. Le problème a été exacerbé par le manque de sécurité de la base de données contenant ces captures d’écran.

En réponse aux critiques et au tollé général, Microsoft a décidé de reporter le lancement de Recall. L’entreprise a promis de renforcer les mesures de sécurité et de revoir l’implémentation de cette fonctionnalité avant de la proposer à nouveau au grand public. Des mesures de sécurité telles que le cryptage BitLocker et l’authentification Windows Hello ont été mises en place pour renforcer la protection des données.

L’IA et la création ou l’amélioration du contenu

Un autre aspect clé de cette mise à jour 24H2 est l’arrivée d’outils IA affectant divers applications multimédia comme Studio avec de nouveaux effets.  Grâce au NPU (Neural Processing Unit), l’IA peut appliquer des effets visuels et audio, comme le flou d’arrière-plan, le cadrage automatique de l’image, la correction du regard et la mise au point vocale, afin d’améliorer l’expérience lors des vidéoconférences.

Ces fonctionnalités ne sont pas complètement nouvelles, mais leur déploiement est désormais étendu aux appareils compatibles.

Nous avons aussi les sous-titres en direct une fonction connue mais désormais enrichie d’une mise à jour majeure avec l’intégration de la traduction en temps réel. Cela permet de traduire automatiquement n’importe quel contenu audio, comme des vidéos ou des appels vocaux, rendant les communications plus accessibles, quelles que soient les langues parlées.

L’IA, le Gaming et la photo

La super résolution automatique fait également partie des fonctionnalités attendues en particulier chez les joueurs. Inspirée de technologies comme le DLSS de Nvidia ou le FSR d’AMD, elle utilise l’IA pour améliorer automatiquement la qualité graphique et les performances des jeux sans nécessiter de modifications par les développeurs. Elle repose sur le NPU pour la mise à l’échelle, ce qui améliore non seulement les visuels mais aussi l’efficacité énergétique. Plusieurs jeux populaires comme The Witcher 3 et Resident Evil 2 prennent déjà en charge cette technologie.

En matière de traitement d’image, l’application Photos accueille une nouvelle fonction appelée « Restylage d’image » permettant de transformer les photos avec des descriptions textuelles. Il est ainsi possible de demander à l’IA de modifier un arrière-plan ou d’appliquer des effets artistiques comme vous le feriez avec des filtres sur un smartphone.

De con coté Paint profite également d’une mise à jour. Elle apporte Cocréateur, une IA qui analyse les croquis et aide à les transformer en œuvres d’art sophistiquées, en ajustant automatiquement les dessins selon des instructions.

Copilot qui était jusqu’à présent accessible via un panneau latéral, devient une application autonome. L’assistant propose une interface utilisateur semblable à celle de ChatGPT, avec un accès rapide à l’historique des conversations et aux plugins. Cette nouvelle version exploite GPT-4 afin de traiter des entrées sous forme de texte, d’image, d’audio et même de vidéo. Toutefois, il n’est pas possible de modifier directement les paramètres système, ce qui représente un changement notable par rapport aux versions précédentes.

Microsoft introduit aussi les suggestions Copilot qui font apparaître des recommandations basées sur l’IA directement dans les applications. Par exemple, lorsque vous survolez une image dans l’Explorateur de fichiers, Copilot peut proposer des actions telles que la suppression de l’arrière-plan ou la création d’une nouvelle image à partir de celle-ci.

Il est important de noter que certaines de ces nouveautés ne seront pas disponibles tout de suite tandis que d’autres nécessitent un NPU ou des optimisations supplémentaires. Par exemple, la fonction Retrouver alias Recall a été reportée et sera déployée plus tard.