L'agent IA de Perplexity fonctionne désormais sur votre propre PC Windows, si vous possédez la bonne carte graphique
L'ordinateur portable est arrivé sur Windows pour les cartes RTX avec 24 Go de mémoire ou plus. Il exécute localement un modèle de 27 milliards de paramètres, se connecte à Outlook, Gmail, Slack et Drive et demande l'autorisation avant d'envoyer quoi que ce soit vers le cloud.
Perplexity a introduit lundi son agent Portable Computer sur Windows, en partenariat avec Nvidia. Il s’agit de la version locale du produit informatique de Perplexity : un assistant qui effectue des tâches en plusieurs étapes, sauf que la réflexion se déroule sur la machine devant vous plutôt que dans un centre de données. Jusqu’à présent, il fonctionnait sous Linux et les boîtiers DGX Spark de Nvidia. L’exigence de Windows est spécifique : une carte GeForce RTX ou RTX PRO avec au moins 24 Go de mémoire vidéo, ce qui signifie en pratique une carte de bureau haut de gamme plutôt que l’ordinateur portable que la plupart des gens possèdent.
Le modèle qui fait le travail est le Qwen 3.8 27B, réglé pour le matériel RTX, et vous pouvez échanger le PPLX 27B, la propre variante post-entraînée de Perplexity, avec le Nemotron 3.5 Lightning de Nvidia promis plus tard. La partie utile réside dans les connecteurs : Outlook, OneDrive, Word, Google Drive, Gmail, Slack et GitHub, afin que l’agent puisse travailler sur votre courrier et vos fichiers réels plutôt que sur des éléments que vous collez dans une boîte. Lorsqu’une tâche nécessite réellement plus de raisonnement que le modèle local, elle peut passer à un modèle cloud, mais seulement après avoir demandé. Le travail local ne consomme pas autant de crédits que l’utilisation du cloud, ce qui signifie que le coût de fonctionnement d’une heure de temps d’agent local constitue votre facture d’électricité. L’accès est livré avec un abonnement Perplexity Pro à 20 dollars par mois ou Max à 200.
Qu’est-ce qu’il y a derrière ça
Deux choses convergent. Les modèles à poids ouvert dans la plage de paramètres de 20 à 30 milliards sont devenus assez performants pour le travail ordinaire, et les cartes graphiques grand public disposent désormais de suffisamment de mémoire pour en contenir un. Les paramètres sont à peu près les nombres réglables qu’un modèle a appris pendant l’entraînement, et la mémoire dont dispose une carte détermine la taille d’un modèle qu’elle peut garder chargé, c’est pourquoi la ligne de 24 Go existe. Le pitch est la confidentialité, et ici c’est plus qu’un slogan, car un agent ayant accès à votre boîte de réception est exactement le cas où « les données ne quittent jamais cette machine » vaut quelque chose de concret. Ce qu’il faut garder en perspective, c’est la capacité. Un modèle de 27 milliards de paramètres sur votre bureau est compétent, pas frontière, et le bouton de passage au cloud existe parce que Perplexity le sait.
Ce que cela signifie pour vous : Vérifiez votre carte graphique avant de vous enthousiasmer, car l’exigence de 24 Go exclut la plupart des ordinateurs portables et une bonne partie des ordinateurs de bureau de jeu. Si vous videz la barre et payez déjà pour Perplexity, il s’agit de la configuration d’agent local la plus pratique livrée jusqu’à présent, et cela vaut la peine d’essayer d’abord les tâches ennuyeuses : trier une semaine de courrier, extraire des chiffres de vos propres documents, rédiger des réponses. Si vous ne videz pas la barre, les nouvelles sont toujours utiles comme orientation. Ce qui nécessitait un centre de données il y a deux ans nécessite désormais une bonne carte graphique, et les modèles deviennent de plus en plus petits pour la même qualité. Pour quiconque manipule des données de clients, des données de patients ou tout autre élément soumis à une obligation de confidentialité, c’est la catégorie qui mérite d’être surveillée, car c’est la seule où la question de la confidentialité a une réponse claire.
Sources
Sources: https://blogs.nvidia.com/blog/local-ai-perplexity-windows-pcs/
De vraies personnes lisent de vraies conversations ChatGPT, et la plupart des utilisateurs n'en ont aucune idée
404 Media a obtenu des documents internes décrivant le projet Lily, le programme d'OpenAI consistant à embaucher des centaines de sous-traitants pour lire les véritables invites des utilisateurs et noter les réponses. Les données personnelles passent à travers les filtres et le paramètre qui les contrôle est activé par défaut.