Windows 11, comment fonctionne « Retrouver » ?

Microsoft enrichit son système d’exploitation de plusieurs fonctionnalités IA dont Recall alias Retrouver. Cette avancée enregistre tout ce qui est fait avec le PC afin de rendre ces données consultables pour trouver rapide des informations, un message, un fichier, un dossier, un site Web et de manière plus générale pratiquement n’importe quoi.

Retrouver fonctionne à l’aide de mots-clés, de phrases clés et surtout avec un langage naturel. Sa mission est de comprendre la nature du contenu et le contexte. Par exemple il est possible de demander de retrouver une image avec un certain véhicule que l’on a vu sur un site Web ou une photo prise dans le passé. La réponse est censée être très précise car le résultat n’est pas lié à quelques mots-clés dans le nom de fichier ou les métadonnées, mais parce que Retrouver est censé comprend l’objet dans l’image.

Comment fonctionne Retrouver sur Windows 11 ?

Pour parvenir à un tel résultat, Retrouver a besoin de prendre des instantanés de chaque activité à l’écran. Lorsque du contenu apparait, ces instantanés sont pris toutes les cinq secondes. Il n’y a pas d’enregistrement d’audio et de vidéo en continu. Les instantanés sont ensuite stockés localement afin d’être analysés par l’IA pour « comprendre » les contenus.

Retrouver est optimisé pour certaines langues, telles que l’anglais, le chinois simplifié, le français, l’allemand, le japonais et l’espagnol. Cela signifie qu’avec ces langues Retrouver fonctionne à pleine capacité. Microsoft prévoit d’étendre cette prise en charge linguistique à l’avenir.

Retrouver s’accompagne de quelques options comme la possibilité d’ouvrir l’application source pour le contenu, de copier du texte d’un message ou de n’importe quoi à l’écran, de supprimer des instantanés et d’accéder au menu contextuel pour accéder à d’autres actions.

Le stockage de ces instantanés demande localement une certaine capacité. Microsoft réserve automatique 256 Go sur l’appareil pour que Retrouver puisse fonctionner. Il s’agit cependant d’une recommandation capable de s’ajuster en fonction de l’équipement présent. Par exemple, si le PC dispose d’un SSD de 512 Go, l’allocation par défaut sera de 75 Go contre 150 Go avec un SSD de 1 To. Il est aussi possible de modifier cette configuration par défaut à partir de la page des paramètres.

L’appareil doit aussi disposer d’un équipement particulier. En plus des traditionnels CPU et GPU, il sera nécessaire d’avoir un NPU contraction de Neural Processing Unit dont la puissance est de 40 TOPs au minimal.  Cette puce assure les calculs d’analyses des instantanés à l’aide de plusieurs modèles de langage multimodaux, notamment le détecteur de région d’écran, la reconnaissance optique de caractères, l’analyseur de langage naturel, l’encodeur d’image et l’encodeur d’image.

Tous ces systèmes sont intégrés et exécutés simultanément sur Windows 11 pour détecter le texte, les images, les vidéos et l’audio. Ces opérations sont possibles grâce à « Windows Copilot Runtime », qui intègre plus de 40 modèles d’IA tout en assurant l’infrastructure nécessaire pour mettre à jour et maintenir la qualité des modèles en permanence.

Une fois l’instantané capturé, Retrouver analyse, combine, classe les données et leur nature pour comprendre le contenu et le contexte. Tout est alors enregistré dans une nouvelle base de données nommée « Windows Semantic Index ». Elle est différente de la base de données de l’index de recherche.

Retrouver et la sécurité

Concernant la sécurité, Retrouver fonctionne en local. Tout le processus se passe sur l’appareil. Microsoft parle de « Edge Computing ». Ainsi aucune donnée n’est téléchargée sur le cloud pour un traitement. Retrouver se connecte cependant de temps en temps à Internet pour télécharger et installer des mises à jour.

Soulignons aussi que Retrouver n’enregistre pas toutes les informations de toutes les activités. Cela concerne par exemple la navigation en “mode Privé” avec un navigateur Chromium comme Edge et Chrome ou le contenu avec la gestion des droits numériques (DRM).

Il est possible d’interdire à Retrouver d’enregistrer certaines informations pour des sites Web ou des applications spécifiques. Il faut dans ce cas configurer manuellement un filtre à partir de la page des paramètres. L’une des limites cependant est que si Retrouver est lancé et que l’option « Maintenant » est sélectionnée, un instantané de tout ce qui se trouve à l’écran est pris.

Il y a aussi quelques soucis de confidentialité dans les résultats. La chronologie de l’IA n’effectue aucune modération de contenu. En clair des informations telles que les mots de passe et les numéros de compte bancaire peuvent apparaitre suite à une simple recherche.

De son côté la base de données « Windows Semantic Index » est enregistrée en local et des précautions sont nécessaire pour la rendre privée. Par défaut il n’y a pas de protection particulière une fois l’utilisateur connecté. Une protection par mot de passe n’est possible que si l’utilisateur configure un mot de passe pour son compte Windows 11 tandis que le chiffrement des données n’est disponible que si BitLocker ou le chiffrement de l’appareil est activé.

Retrouver fera partie des nouveautés proposées par Windows 11 24H2.  Il ne sera cependant disponible (dans un premier temps) que sur les Copilot+ PC exécutant des processeurs Qualcomm Snapdragon X series en raison de la nécessité d’un NPU ayant une puissance de 40 TOPs au minimum, de 16 Go de RAM et de 256 Go de SSD.