CourionAI
DE
Newsletter
← Alle News
local-ai 3 Min. Lesezeit

Der KI-Agent von Perplexity läuft jetzt auf Ihrem eigenen Windows-PC, wenn Sie die richtige Grafikkarte besitzen

Tragbare Computer sind unter Windows für RTX-Karten mit 24 GB Speicher oder mehr erhältlich. Es führt lokal ein 27-Milliarden-Parametermodell aus, stellt eine Verbindung zu Outlook, Gmail, Slack und Drive her und fragt um Erlaubnis, bevor es etwas an die Cloud sendet.

Ein Desktop-Turm mit einer leuchtenden Erweiterungskarte, um die sich Blätter Papier drehen

Perplexity hat am Montag in Zusammenarbeit mit Nvidia seinen Agenten für tragbare Computer auf Windows gebracht. Es handelt sich um die lokale Version des Computerprodukts von Perplexity: ein Assistent, der mehrstufige Aufgaben ausführt, mit der Ausnahme, dass das Denken auf der Maschine vor Ihnen und nicht in einem Rechenzentrum stattfindet. Bisher lief es auf Linux und Nvidias DGX Spark-Boxen. Die Windows-Anforderung ist spezifisch: eine GeForce RTX- oder RTX PRO-Karte mit mindestens 24 GB Videospeicher, was in der Praxis eher eine High-End-Desktop-Karte als den Laptop bedeutet, den die meisten Leute besitzen.

Das Modell, das die Arbeit erledigt, ist Qwen 3.8 27B, abgestimmt auf RTX-Hardware, und Sie können PPLX 27B, Perplexitys eigene nachtrainierte Variante, gegen Nvidias Nemotron 3.5 Lightning eintauschen, das später versprochen wird. Der nützliche Teil sind die Konnektoren: Outlook, OneDrive, Word, Google Drive, Gmail, Slack und GitHub, sodass der Agent an Ihren tatsächlichen E-Mails und Dateien arbeiten kann, anstatt an Dingen, die Sie in eine Box einfügen. Wenn eine Aufgabe wirklich mehr Begründung benötigt als das lokale Modell, kann sie an ein Cloud-Modell eskaliert werden, allerdings nur auf Anfrage. Für die lokale Arbeit werden nicht die Credits verbraucht, die für die Cloud-Nutzung erforderlich sind. Das bedeutet, dass die laufenden Kosten einer Stunde lokaler Agentenzeit Ihre Stromrechnung ausmachen. Access ist mit einem Perplexity Pro-Abonnement für 20 Dollar pro Monat oder Max für 200 Dollar erhältlich.

Was steckt dahinter

Zwei Dinge laufen zusammen. Modelle mit offenem Gewicht im Parameterbereich von 20 bis 30 Milliarden sind in aller Stille gut genug für normale Arbeiten geworden, und Consumer-Grafikkarten verfügen jetzt über genügend Speicher, um einen solchen Platz zu bieten. Parameter sind ungefähr die einstellbaren Zahlen, die ein Modell während des Trainings gelernt hat, und der Speicher einer Karte bestimmt, wie groß ein Modell geladen bleiben kann, weshalb es die 24-GB-Reihe gibt. Der Kernpunkt ist Privatsphäre, und hier ist es mehr als ein Slogan, denn ein Agent mit Zugriff auf Ihren Posteingang ist genau der Fall, bei dem „die Daten diese Maschine nie verlassen“ etwas Konkretes wert ist. Was man im Auge behalten muss, ist die Fähigkeit. Ein Modell mit 27 Milliarden Parametern auf Ihrem Schreibtisch ist kompetent, nicht grenzwertig, und die Schaltfläche „Zur Cloud eskalieren“ existiert, weil Perplexity das weiß.

Was das für Sie bedeutet: Überprüfen Sie Ihre Grafikkarte, bevor Sie sich aufregen, denn die 24-GB-Anforderung schließt die meisten Laptops und einen Großteil der Gaming-Desktops aus. Wenn Sie die Messlatte überschreiten und bereits für Perplexity bezahlen, ist dies das praktischste lokale Agenten-Setup, das bisher ausgeliefert wurde, und es lohnt sich, zuerst die langweiligen Aufgaben auszuprobieren: eine Woche Post sortieren, Zahlen aus Ihren eigenen Dokumenten ziehen, Antworten verfassen. Wenn Sie die Leiste nicht löschen, sind die Nachrichten immer noch als Richtung nützlich. Wo vor zwei Jahren ein Rechenzentrum nötig war, braucht es jetzt eine gute Grafikkarte, und die Modelle werden bei gleicher Qualität immer kleiner. Für jeden, der mit Kundendaten, Patientendaten oder irgendetwas anderem umgeht, das einer Geheimhaltungspflicht unterliegt, ist dies die Kategorie, die es wert ist, im Auge zu behalten, denn nur dort gibt es eine klare Antwort auf die Datenschutzfrage.

Quellen

Quellen: https://blogs.nvidia.com/blog/local-ai-perplexity-windows-pcs/

Nächster Artikel

Echte Menschen lesen echte ChatGPT-Gespräche und die meisten Benutzer haben keine Ahnung

404 Media erhielt interne Dokumente, die Project Lily beschreiben, das Programm von OpenAI, bei dem Hunderte von Auftragnehmern beauftragt werden, echte Benutzeraufforderungen zu lesen und die Antworten zu bewerten. Persönliche Daten passieren die Filter und die Einstellung, die sie steuert, ist standardmäßig aktiviert.

Ein Stapel versiegelter Umschläge, der obere offen und über dem Brief eine Lupe