Toute l'actualité de MS-Windows

Windows 11 reçoit sa troisième mise à jour de fonctionnalités, et cette nouvelle version se distingue des autres en introduisant une multitude d'innovations en matière d'IA que nous n'avons jamais vues auparavant. Dans le cadre de la version 24H2 (Mise à jour 2024), le système d'exploitation intègre le nouveau Windows Copilot Runtime, qui permet d'exécuter de nombreuses fonctionnalités d'IA, telles que Windows Recall, les sous-titres en direct, l'Auto Super Résolution, la Clarté de la Voix, les Effets Studio et d'autres fonctionnalités d'IA pour certaines des applications intégrées.

Dans ce guide, nous allons plonger dans les fonctionnalités d'IA qui devraient devenir disponibles dans le cadre de la mise à jour Windows 11 2024. (Au moment de la rédaction de cet article, il n'est pas encore clair quand ces fonctionnalités seront disponibles, mais la société indique que certaines d'entre elles devraient être déployées vers novembre 2024.)

Quoi de neuf avec l'IA dans Windows 11 version 24H2 (Mise à jour 2024)

Dans cette mise à jour de fonctionnalités, Microsoft ajoute près d'une douzaine de fonctionnalités alimentées par l'IA, dont la plupart fonctionnent localement sans connexion Internet.

Windows Copilot Runtime

Commençons par le Windows Copilot Runtime, qui est essentiellement le cœur de l'IA sur Windows 11. C'est une "couche" dans le système d'exploitation qui intègre plus de 40 modèles d'IA différents capables de fonctionner localement sur l'appareil.

Certains de ces modèles d'IA incluent Phi Silica, un Modèle de Langage Petit (SLM) de Microsoft qui offre de nombreux avantages que l'on trouve dans les Modèles de Langage de Grande Taille (LLMs). De plus, nous y trouvons des modèles comme le Détecteur de Région d'Écran, le Reconnaisseur de Caractères Optiques, le Parseur de Langage Naturel et l'Encodeur d'Image.

Dans le cadre de cette intégration, la société met également à disposition la Bibliothèque Windows Copilot, qui est une collection d'APIs (Interfaces de Programmation d'Applications) permettant aux développeurs d'intégrer facilement des capacités d'IA dans leurs applications. Cette bibliothèque est toujours prête, s'exécutant passivement sur l'ordinateur, pour activer les nouvelles fonctionnalités d'IA.

Windows Recall

Recall est peut-être la fonctionnalité la plus attendue et la plus controversée à venir sur Windows 11 (version 24H2). La fonctionnalité prend constamment des captures d'écran de tout ce que nous faisons et utilise plusieurs modèles d'IA exécutés sur l'appareil avec l'aide d'un NPU (Unité de Traitement Neuronal) pour enregistrer (littéralement). La fonctionnalité analyse ensuite le contenu et le contexte et stocke tout sur l'appareil à l'intérieur du nouveau Windows Semantic Index.

Chaque fois que nous devons trouver quelque chose, nous pouvons lancer l'application "Recall" pour rechercher avec un langage naturel ou utiliser le curseur de la timeline pour faire défiler le temps. En sélectionnant l'instantané, l'interface nous permettra d'interagir plus facilement avec le contenu et de copier du texte ou des images.

Nous pouvons également utiliser les contrôles disponibles pour ouvrir l'application ou le site web, partager, supprimer ou ouvrir l'instantané avec l'outil de capture.

La fonctionnalité nécessite du stockage pour conserver les instantanés et la base de données d'index. L'allocation de stockage par défaut est de 25 Go pour un ordinateur avec un disque dur de 256 Go, et l'allocation augmentera en fonction de la taille du disque de stockage.

Dans l'application Paramètres, le système ajoute une nouvelle page "Recall & snapshots" pour contrôler l'état de la fonctionnalité, le stockage et les filtres pour exclure les sites web et les applications de l'expérience Recall.

Il est important de noter que Windows Recall ne suivra pas les sites web lors de l'utilisation d'InPrivate ou d'Incognito sur les navigateurs basés sur Chromium, comme Microsoft Edge et Google Chrome, et nous pouvons utiliser les paramètres de filtre pour exclure certains sites que nous ne souhaitons pas que la fonctionnalité suive.

Bien que la fonctionnalité puisse être utile dans de nombreux cas, elle reste controversée car elle n'a pas réussi à gagner la confiance des utilisateurs. Il existe de nombreuses préoccupations douteuses en matière de sécurité et de confidentialité, dont certaines ont été abordées par Microsoft.

Lorsque la société a d'abord dévoilé la fonctionnalité, les données de Recall étaient stockées sur l'appareil sans cryptage, accessibles à quiconque, mais de nouveaux changements à la fonctionnalité crypteront ces données et exigeront une authentification pour utiliser l'application afin de rechercher des données avec Windows Recall.

Cette fonctionnalité sera disponible exclusivement pour les PC Copilot+ plus tard cette année.

Click to Do

Sur Windows 11, "Click to Do" est une nouvelle fonctionnalité d'IA qui peut comprendre le contenu à l'écran et proposer une action pertinente à tout moment, similaire à "Circle to Search" sur les appareils Android.

Pour activer "Click To Do", il suffit de maintenir la touche "Windows" et de cliquer n'importe où sur l'écran pour faire apparaître le superposé qui fournit des suggestions contextuelles basées sur ce qu'il voit. Par exemple, si nous avons sélectionné un texte, Click To Do pourrait proposer de le résumer ou de le réécrire. Si nous avons choisi une image, il pourrait suggérer de flouter l'arrière-plan ou d'effacer un objet.

Certaines fonctionnalités clés incluent des actions contextuelles basées sur ce qui est à l'écran. Nous pouvons rechercher n'importe quoi sur l'écran avec une barre de recherche dédiée, et cela utilise l'intégration de Windows Recall pour donner un sens au contenu affiché.

Cette fonctionnalité sera disponible exclusivement pour les PC Copilot+ plus tard cette année.

Windows Search avec IA

Microsoft prévoit également de mettre à jour la fonctionnalité de recherche de Windows, nous permettant d'utiliser un langage naturel pour rechercher dans l'expérience de recherche de Windows à partir de la barre des tâches, de l'Explorateur de fichiers et de l'application Paramètres.

En d'autres termes, nous ne devrons plus nous fier aux mots-clés du nom du fichier, des métadonnées ou du contenu. Nous pourrons décrire le fichier, la photo ou les paramètres, et la fonctionnalité devrait être en mesure de le trouver.

Cette fonctionnalité sera disponible exclusivement pour les PC Copilot+ plus tard cette année.

Effets Studio Windows

Windows Studio Effects est une collection de fonctionnalités qui utilise le NPU pour appliquer des effets spéciaux sur la webcam ou le microphone. Cette fonctionnalité n'est pas entièrement nouvelle, mais maintenant, à partir de la version 24H2, Microsoft commencera à la rendre largement disponible pour les appareils compatibles.

Dans le cadre des effets, en fonction du support disponible sur l'appareil, nous pourrons accéder au Flou de Fond, au Contact Visuel, au Cadre Automatique, à la Lumière de Portrait, aux Filtres Créatifs et à la Focalisation de Voix.

Nous pouvons accéder aux fonctionnalités depuis le volet de paramètres rapides en utilisant la page "Effets Studio" et en activant ou désactivant la fonctionnalité que nous souhaitons utiliser.

Nous pouvons également contrôler ces paramètres depuis Paramètres > Bluetooth & appareils > Caméra. Sélectionnons la caméra dans la liste, et les fonctionnalités disponibles apparaîtront dans les paramètres "Effets de Caméra".

Les effets d'arrière-plan incluent le flou standard et de portrait. Le Contact Visuel relie nos yeux pour donner l'impression que nous regardons la caméra, et nous pouvons choisir le mode standard ou prompteur.

Le cadrage automatique zoome et recadre le champ de vision pour garder la personne centrée à l'écran. La lumière de portrait améliore la condition d'éclairage pour améliorer la visibilité dans des environnements peu éclairés. Les filtres créatifs ajoutent des animations et des éclats amusants, et la focalisation de voix filtre le bruit de fond lors des appels vidéo.

Les effets disponibles sur notre appareil dépendront des périphériques et de la capacité du NPU.

Sous-titres en Direct

Les sous-titres en direct sont une autre fonctionnalité qui existe depuis un certain temps sur Windows 11. Avec la mise à jour de 2024, la fonctionnalité est désormais alimentée par l'IA et comprend des traductions en direct.

La traduction en direct est une fonctionnalité d'accessibilité qui vise à aider quiconque à comprendre l'audio grâce à la transcription et à la traduction automatiques de toute source audio sur Windows 11. Par exemple, la traduction en direct fonctionnera pour traduire une vidéo YouTube ou un appel vocal.

Cette fonctionnalité sera disponible exclusivement pour les PC Copilot+.

Auto Super Resolution

Cette fonctionnalité très attendue, Auto Super Resolution (Auto SR), utilise l'intelligence artificielle intégrée pour améliorer la qualité d'image et les taux de rafraîchissement des jeux. Elle fonctionne de manière similaire aux technologies comme NVIDIA DLSS Super Resolution, AMD FidelityFX Super Resolution et Intel XeSS, mais Auto SR se charge automatiquement de l'upscaling des jeux, sans nécessiter de mise à jour de la part des développeurs.

Lorsque cette option est activée, Auto SR utilise l'Unité de Traitement Neuronal (NPU) pour effectuer l'upscaling, au lieu de passer par l'Unité de Traitement Graphique (GPU). Cela signifie que les joueurs bénéficieront non seulement d'une expérience de jeu améliorée, mais également d'une efficacité énergétique accrue.

Les paramètres sont accessibles via la page "Graphiques", permettant une activation globale sur l'ordinateur ou au niveau de chaque application.

Si un jeu compatible avec Auto SR est lancé, le système affichera une notification pour indiquer que cette prise en charge est disponible, avec une option pour l'activer directement dans l'application Paramètres.

De plus, Microsoft a collaboré avec Qualcomm pour créer un site listant les jeux compatibles avec la version ARM de Windows 11. Ce site précisera également si le jeu est compatible avec Auto Super Resolution. Cependant, au lancement, moins d'une dizaine de titres seront pris en charge, parmi lesquels Borderlands 3, Control (DX11), Dark Souls III, God of War, Kingdom Come: Deliverance, Resident Evil 2, Resident Evil 3, Sekiro Shadows Die Twice, Sniper Ghost Warrior Contracts 2 et The Witcher 3.

Il est important de noter que Auto Super Resolution (Auto SR) ne doit pas être confondu avec Super Resolution (SR), qui fait généralement référence aux technologies d'upscaling proposées par Intel, AMD et Nvidia.

Concernant la fonctionnalité Auto SR, Microsoft, en collaboration avec Intel, AMD et Nvidia, a également développé DirectSR, une nouvelle technologie permettant aux développeurs de jeux d'intégrer les technologies d'upscaling existantes via un ensemble unique d'APIs, au lieu de devoir les intégrer manuellement une par une.

Cette fonctionnalité sera exclusivement disponible pour les PC Copilot+.

Restyle Image pour Photos

L'application Photos bénéficie maintenant d'une nouvelle fonctionnalité appelée "Restyle Image", qui utilise l'intelligence artificielle intégrée pour modifier le style de n'importe quelle photo en appliquant différentes techniques photographiques, similaires aux filtres utilisés sur les smartphones.

Vous pouvez même saisir une invite textuelle pour décrire comment vous souhaitez changer l'arrière-plan et d'autres éléments de l'image.

De plus, Microsoft intègre également l'"Image Creator" de l'application Paint dans Photos, permettant de transformer une invite textuelle en image grâce à l'IA. Cette fonctionnalité utilise la technologie Copilot AI pour créer des images dans le cloud, en s'appuyant sur le modèle linguistique DALL-E développé par OpenAI.

Photos avec Super Resolution
Dans le cadre des nouvelles fonctionnalités d'IA pour l'application Photos, Microsoft a annoncé que vous pourrez bientôt améliorer des images en utilisant l'IA sur votre ordinateur.

Selon l'entreprise, cette fonctionnalité exploitera la NPU de votre PC Copilot+ pour effectuer un upscaling et un affinage des images jusqu'à huit fois leur taille originale. Avec Super Resolution, il sera également possible de restaurer des photos de faible qualité.

Microsoft précise que cette fonctionnalité est capable d'enrichir l'image avec de nouveaux détails tout en préservant son contenu.

Ces fonctionnalités seront exclusivement disponibles pour les PC Copilot+ plus tard cette année.

Cocreator pour Paint

En plus de l'"Image Creator", l'application Paint introduit "Cocreator," une fonctionnalité innovante qui analyse vos dessins et vous aide à créer votre œuvre d'art.

Vous pouvez utiliser cette fonctionnalité avec une invite textuelle et ajuster l'intensité de la créativité grâce à un curseur.

Cette fonctionnalité utilise un algorithme basé sur la diffusion pour générer une image de haute qualité avec un minimum d'effort de votre part.

Elle sera disponible exclusivement pour les PC Copilot+.

Paint avec Generative Fill et Erase

Les utilisateurs de l'application Paint bénéficieront de deux nouvelles fonctionnalités : "Fill" et "Erase", qui tirent parti de l'IA pour simplifier l'édition et la manipulation des images.

La fonctionnalité "Fill" vous permet de sélectionner une partie de votre image et de saisir une invite textuelle, l'IA générant ensuite du contenu pour remplir l'espace désigné.

Initialement, cette fonctionnalité sera réservée aux PC Copilot+ équipés de processeurs Qualcomm plus tard cette année.

La fonctionnalité "Erase" vous permet de sélectionner et d'effacer une zone de l'image, semblable à l'outil Magic Eraser pour Android.

Cette fonctionnalité devrait être accessible à tous, quel que soit le type d'ordinateur, qu'il soit classique ou Copilot+.

Application Copilot

Avec la mise à jour Windows 11 2024 (ainsi que la version 23H2), Microsoft modifie l'intégration de l'IA Copilot en introduisant une nouvelle application, remplaçant le panneau latéral qui se glissait à droite.

Cette application est en fait la version Copilot.Microsoft.com du chatbot IA, intégrée dans un cadre d'application. L'expérience propose un nouveau design inspiré de l'interface web de ChatGPT, avec un panneau latéral à gauche pour votre historique de prompts et d'autres options, comme démarrer une nouvelle conversation, utiliser des plugins et consulter un carnet.

Vous pouvez toujours modifier le style de la conversation grâce à une option en haut de la page.

Avec ces changements, vous ne pourrez plus utiliser Copilot pour modifier les paramètres, le bouton "Copilot" n'étant plus présent dans la zone de notification, et Microsoft prévoit également de retirer le paramètre "Copilot" de l'application Paramètres.

L'entreprise envisage également d'améliorer l'intelligence de Copilot avec OpenAI GPT-4o, capable de traiter du texte, des images, de l'audio et de la vidéo comme entrées et sorties.

Puisque Copilot repose sur le cloud pour analyser et traiter les réponses, cette fonctionnalité sera accessible à tous, et ne sera pas réservée uniquement aux PC Copilot+.

Suggestions de Copilot

Bien que l'application Copilot ne puisse plus être utilisée pour modifier les paramètres système, Microsoft introduit également des "suggestions de Copilot."

Ces suggestions apparaîtront dans les applications lorsque le chatbot IA jugera cela utile. Par exemple, dans l'application Paramètres, vous pourriez trouver des suggestions en haut de la page pour résoudre des problèmes, activer des fonctionnalités, etc.

Dans l'Explorateur de fichiers, survoler une image peut faire apparaître une interface de prompt Copilot. Vous pouvez l'utiliser pour poser des questions sur l'image et effectuer des actions, comme supprimer l'arrière-plan, créer une image différente ou la redimensionner.