Windows 11 v24H2 : les nouvelles fonctionnalités IA Copilot+

Microsoft déploiera en novembre 2024 la version Windows 11 v24H2 qui introduit une multitude de nouvelles innovations en fonctionnalités d’IA, telles que Windows Recall, Live Captions, Auto Super Resolution, Voice Clarity et Studio Effects et dont la plupart fonctionnent sur les PC Copilot+ et sans connexion Internet.


C’est quoi Microsoft Copilot+ ?

Microsoft Copilot+ est un terme destiné à englober plusieurs fonctions d’IA de nouvelle génération différentes, disponibles localement sur les PC IA exécutant Windows. Ces fonctionnalités d’IA sont fournies avec les nouveaux « PC Copilot+ » et offrent des expériences d’IA améliorées, telles que la possibilité de faire défiler votre historique de visionnage pour voir les éléments que vous avez déjà consultés, de générer localement des images IA, d’effectuer des modifications avancées localement dans des logiciels de création comme Adobe Photoshop, et bien plus encore. Microsoft indique spécifiquement que « les PC Copilot+ sont optimisés pour exécuter des charges de travail d’IA localement avec de meilleures performances, avec 8 cœurs hautes performances et 4 cœurs optimisés en termes d’efficacité dans le processeur intégré du X Elite ». Seuls les PC Windows AI dotés d’une NPU (Neural Processing Unit) capable d’effectuer 40 TOPS (billion d’opérations par seconde) ou plus sont compatibles avec Copilot+. 

Comment accéder à Microsoft Copilot+ ?

Copilot+ est préinstallé seulement sur les « PC Copilot+ », qui seront lancés à partir de juin 2024. Vous devrez donc disposer de l’un de ces nouveaux PC IA exécutant Windows pour utiliser Copilot+. Les entreprises qui vendent des PC Copilot+ sont notamment Acer, ASUS, Dell, HP, Lenovo et Samsung.

Les nouvelles fonctionnalités IA de Microsoft Copilot+

Windows Recall

Windows Recall est la fonctionnalité la plus attendue de Windows 11 v24H2. La fonctionnalité prend constamment des captures d’écran de tout ce que vous faites et utilise plusieurs modèles d’IA exécutés sur l’appareil à l’aide d’une NPU (Neural Processing Unit) pour enregistrer (littéralement). Chaque fois que vous avez besoin de trouver quelque chose, vous pouvez lancer l’application « Recall » pour effectuer une recherche en langage naturel ou utiliser le curseur pour faire défiler le temps. Lorsque vous sélectionnez l’instantané, le screenray facilitera l’interaction avec le contenu et la copie de texte ou d’images. Vous pouvez également utiliser les commandes disponibles pour ouvrir l’application ou le site Web, partager, supprimer ou ouvrir l’instantané avec l’outil de capture.

Windows 11 v24H2

La fonctionnalité nécessite un espace de stockage pour stocker les instantanés et la base de données d’index. L’allocation de stockage par défaut est de 25 Go, et l’allocation augmentera en fonction de la taille du lecteur de stockage. Dans Paramètres Windows, le système ajoute une nouvelle rubrique « Rappel et instantanés » pour contrôler l’état des fonctionnalités, le stockage et les filtres pour exclure les sites Web et les applications de la participation à l’expérience Rappel. Cette fonctionnalité sera disponible exclusivement pour les PC Copilot+.

La fonctionnalité Click to Do

Click to Do est une nouvelle fonctionnalité d’IA qui peut comprendre le contenu de l’écran et proposer une action pertinente à tout moment, similaire à « Entourer pour rechercher » sur les appareils Android. Pour activer « Click to Do », maintenez la touche Windows enfoncée et cliquez n’importe où sur l’écran pour faire apparaître la superposition qui fournit des suggestions contextuelles en fonction de ce qui est affiché. Par exemple, si vous avez sélectionné du texte, « Click to Do » peut vous proposer de le résumer ou de le réécrire. Si vous avez choisi une image, il peut vous suggérer de flouter l’arrière-plan ou d’effacer un objet.

Windows 11 v24H2

Certaines fonctionnalités clés incluent des actions contextuelles basées sur ce qui est affiché à l’écran. Recherchez n’importe quoi sur l’écran avec une barre de recherche dédiée, et utilisez l’intégration de Windows Recall pour donner un sens au contenu de l’écran.  Cette fonctionnalité sera disponible exclusivement pour les PC Copilot+.

Windows Studio Effects

Windows Studio Effects est un ensemble de fonctionnalités qui utilisent le NPU pour appliquer des effets spéciaux sur la webcam ou le microphone. Cette fonctionnalité n’est pas entièrement nouvelle, mais à partir de la version 24H2, Microsoft va commencer à la rendre largement disponible pour les appareils compatibles. Dans le cadre des effets, en fonction du support disponible sur l’appareil, vous pouvez accéder au flou d’arrière-plan, au contact visuel, au cadrage automatique, à la lumière du portrait, aux filtres créatifs et à la mise au point vocale. Vous pouvez accéder aux fonctionnalités à partir du menu déroulant Paramètres rapides en utilisant la page « Effets de studio » et en activant ou en désactivant la fonctionnalité que vous souhaitez utiliser.

Vous pouvez également contrôler ces paramètres depuis Paramètres > Bluetooth et appareils > Appareil photo. Sélectionnez l’appareil photo dans la liste et les fonctionnalités disponibles apparaîtront dans les paramètres « Effets de l’appareil photo ». Les effets d’arrière-plan incluent le flou standard et le flou portrait. Le contact visuel relie vos yeux pour donner l’impression que vous regardez la caméra, et vous pouvez choisir le mode standard ou téléprompteur. Le cadrage automatique permet de zoomer et de recadrer le champ de vision pour garder la personne centrée sur l’écran. L’éclairage de portrait améliore les conditions d’éclairage pour améliorer la visibilité dans les environnements à faible luminosité. Les filtres créatifs ajoutent des animations et des reflets amusants, et la fonction Voice Focus filtre le bruit de fond pendant les appels vidéo.

Live Captions

Live Captions ou Les sous-titres en direct sont une autre fonctionnalité qui existe depuis un certain temps sur Windows 11. Avec la sortie de la mise à jour 2024, la fonctionnalité est désormais alimentée par l’IA et inclut des traductions en direct. La traduction en direct est une fonctionnalité d’accessibilité qui vise à aider quiconque à comprendre l’audio grâce à la transcription et à la traduction automatiques à partir de n’importe quelle source audio sur Windows 11.

Windows 11 v24H2

Par exemple, la traduction en direct fonctionnera pour traduire une vidéo YouTube ou un appel vocal. Cette fonctionnalité sera disponible exclusivement pour les PC Copilot+.

Voice Clarity

Microsoft ajoute également Voice Clarity, une nouvelle fonctionnalité qui utilise l’IA pour analyser et supprimer le bruit de fond en temps réel pendant les conversations ou les enregistrements. La fonctionnalité fonctionne automatiquement, il n’y a donc aucun paramètre pour la gérer. À l’origine, cette fonctionnalité était réservée aux appareils Surface , mais elle sera disponible dans le cadre de la mise à jour 2024 sans NPU. 

Auto Super Resolution

Il s’agit d’une autre fonctionnalité très attendue. La super résolution automatique (Auto SR) est une fonctionnalité qui utilisera l’IA de l’appareil pour améliorer les jeux afin d’améliorer la fréquence d’images et la qualité de l’image. Cette fonctionnalité fonctionne de manière similaire à NVIDIA DLSS Super Resolution, AMD FidelityFX Super Resolution et Intel XeSS, mais Auto SR met automatiquement à l’échelle les jeux sans que les développeurs aient besoin de mettre à jour leurs jeux. Lorsque la fonction est activée, Auto SR traitera le processus de mise à l’échelle vers le NPU (Neural Processing Unit) plutôt que vers le GPU (Graphic Processing Unit). Ainsi, vous bénéficierez non seulement d’une meilleure expérience de jeu, mais également d’une meilleure efficacité énergétique. Le paramètre est disponible via la page « Graphiques » et vous pouvez l’activer globalement sur l’ordinateur ou par application. Si vous lancez un jeu et qu’il est compatible avec Auto SR, le système affichera une notification toast vous informant que le support est disponible, avec une option pour l’activer depuis l’application Paramètres.

Microsoft a également créé un site Web avec Qualcomm pour lister les jeux compatibles avec la version ARM de Windows 11. La page indique également si le jeu est également compatible avec Auto Super Resolution. Cependant, au lancement, moins d’une douzaine de jeux seront pris en charge, notamment Borderlands 3, Control (DX11), Dark Souls III, God of War, Kingdom Come: Deliverance, Resident Evil 2, Resident Evil 3, Sekiro Shadows Die Twice, Sniper Ghost Warrior Contracts 2 et The Witcher 3. Cette fonctionnalité sera disponible exclusivement pour les PC Copilot+.

Restyle Image

L’application Photos inclut désormais une nouvelle fonctionnalité « Restyle Image » qui utilise l’IA de l’appareil pour vous aider à modifier le style de n’importe quelle photo à l’aide de différentes techniques photographiques, similaires aux filtres que vous avez l’habitude d’utiliser sur les téléphones. Vous pouvez même utiliser l’invite de texte pour décrire et indiquer à Photos comment vous souhaitez modifier l’arrière-plan et d’autres parties de l’image. De plus, Microsoft intègre également le « Créateur d’images » de l’application Paint à Photos pour convertir une invite de texte en image grâce à l’IA. Cette fonctionnalité particulière utilise la technologie Copilot AI pour utiliser le cloud afin de créer des images à l’aide du modèle de langage OpenAI DALL-E.

Cocreator pour Paint

En plus de la fonctionnalité « Créateur d’images », l’application Paint ajoute « Cocréateur », une nouvelle fonctionnalité qui numérise votre dessin et vous aide à créer votre œuvre. Vous pouvez utiliser cette fonctionnalité avec une invite de texte et utiliser l’option curseur pour ajuster l’intensité de la créativité.

Windows 11 v24H2

Cette fonctionnalité particulière utilise un algorithme basé sur la diffusion pour dessiner une image de haute qualité avec un minimum d’effort de votre part. Cette fonctionnalité sera disponible exclusivement pour les PC Copilot+.

Paint avec remplir et effacer

Si vous utilisez l’application Paint, vous bénéficierez de deux nouvelles fonctionnalités, notamment « Remplir » et « Effacer », qui exploitent la puissance de l’IA pour rendre l’édition et la manipulation d’images plus faciles que jamais. La fonction « Remplir » vous permet de sélectionner une partie de votre image et de saisir une invite de texte, et l’IA générera un nouveau contenu pour remplir la zone désignée. Dans un premier temps, cette fonctionnalité sera exclusive aux PC Copilot+ équipés de processeurs Qualcomm plus tard cette année. La fonction « Effacer » vous permet de sélectionner et d’effacer une zone de l’image, similaire à Magic Eraser pour Android. Cette fonctionnalité devrait être disponible pour tout le monde, que votre ordinateur soit un PC classique ou Copilot+.

Copilot Windows 11 v24H2

Microsoft modifie l’ intégration de Copilot AI avec une nouvelle application au lieu du panneau latéral qui glisse depuis le côté droit. L’application est en fait la version 
Copilot.Microsoft.com de l’IA du chatbot enroulée autour d’un cadre d’application. L’expérience introduit un nouveau design similaire à l’interface Web ChatGPT avec un panneau latéral gauche pour votre historique d’invites et d’autres options, telles que le démarrage d’une nouvelle conversation, les plugins et le bloc-notes.

Windows 11 v24H2

Suite à ces modifications, vous ne pouvez plus utiliser Copilot pour modifier les paramètres, le bouton « Copilot » ne fait plus partie de la barre d’état système et Microsoft supprime également le paramètre « Copilot » de l’application Paramètres. Microsoft prévoit également de mettre à jour l’intelligence Copilot avec OpenAI GPT-4o , qui peut traiter du texte, des images, de l’audio et de la vidéo en entrée et en sortie. Cette fonctionnalité est accessible à tous et n’est pas exclusive à Copilot+ PC.


En raison du déploiement progressif par Microsoft de nouvelles fonctionnalités et améliorations pour les versions 23H2 et 24H2 de Windows 11, toutes les modifications ne seront pas disponibles dès le premier jour de sortie de la mise à jour 2024. En octobre, la mise à jour des fonctionnalités sera plus largement disponible pour les appareils existants. Enfin, les fonctionnalités d’IA peuvent nécessiter un nouveau matériel (comme le NPU) pour être disponibles.