CourionAI
IT
Newsletter
← Tutte le notizie
local-ai 3 min di lettura

L'agente AI di Perplexity ora funziona sul tuo PC Windows, se possiedi la scheda grafica giusta

Il computer portatile è arrivato su Windows per schede RTX con 24 GB di memoria o più. Esegue localmente un modello da 27 miliardi di parametri, si connette a Outlook, Gmail, Slack e Drive e chiede l'autorizzazione prima di inviare qualsiasi cosa al cloud.

Una torre da tavolo con una scheda di espansione luminosa inserita e fogli di carta che orbitano attorno ad essa

Lunedì Perplexity ha portato il suo agente per computer portatili su Windows, in collaborazione con Nvidia. È la versione locale del prodotto Computer di Perplexity: un assistente che svolge compiti in più fasi, tranne per il fatto che il pensiero avviene sulla macchina di fronte a te piuttosto che in un data center. Fino ad ora funzionava su Linux e sui box DGX Spark di Nvidia. Il requisito di Windows è specifico: una scheda GeForce RTX o RTX PRO con almeno 24 GB di memoria video, che in pratica significa una scheda desktop di fascia alta anziché il laptop che la maggior parte delle persone possiede.

Il modello che esegue il lavoro è Qwen 3.8 27B, ottimizzato per l’hardware RTX, e puoi scambiare PPLX 27B, la variante post-addestrata di Perplexity, con Nemotron 3.5 Lightning di Nvidia promesso in seguito. La parte utile sono i connettori: Outlook, OneDrive, Word, Google Drive, Gmail, Slack e GitHub, in modo che l’agente possa lavorare sulla posta e sui file effettivi anziché sugli elementi incollati in una casella. Quando un’attività necessita davvero di più ragionamenti rispetto al modello locale, può passare a un modello cloud, ma solo dopo averlo richiesto. Il lavoro locale non consuma i crediti consumati dall’utilizzo del cloud, il che significa che il costo di gestione di un’ora di lavoro dell’agente locale corrisponde alla bolletta elettrica. L’accesso avviene con un abbonamento Perplexity Pro a 20 dollari al mese o Max a 200.

Cosa c’è dietro tutto questo?

Due cose stanno convergendo. I modelli a peso aperto nell’intervallo di parametri compreso tra 20 e 30 miliardi sono diventati tranquillamente abbastanza buoni per il lavoro ordinario e le schede grafiche consumer ora hanno memoria sufficiente per contenerne uno. I parametri sono all’incirca i numeri regolabili che un modello ha appreso durante l’addestramento e la memoria di cui dispone una scheda determina quanto grande un modello può mantenere caricato, motivo per cui esiste la linea da 24 GB. La parola d’ordine è la privacy, e qui è più di uno slogan, perché un agente con accesso alla tua casella di posta è esattamente il caso in cui “i dati non lasciano mai questa macchina” vale qualcosa di concreto. La cosa da tenere in prospettiva è la capacità. Un modello da 27 miliardi di parametri sulla tua scrivania è competente, non di frontiera, e il pulsante di escalation al cloud esiste perché Perplexity lo sa.

Che cosa significa per te: Controlla la tua scheda grafica prima di emozionarti, perché il requisito di 24 GB esclude la maggior parte dei laptop e una buona parte di desktop da gioco. Se superi il livello e paghi già per Perplexity, questa è la configurazione dell’agente locale più pratica spedita finora, e vale la pena provare prima i lavori noiosi: smistare una settimana di posta, estrarre cifre dai tuoi documenti, redigere risposte. Se non si supera l’asticella, la notizia è comunque utile come direzione. Ciò che due anni fa aveva bisogno di un data center, ora ha bisogno di una buona scheda grafica e i modelli continuano a diventare più piccoli per avere la stessa qualità. Per chiunque gestisca dati di clienti, dati di pazienti o qualsiasi cosa con un obbligo di riservatezza, questa è la categoria che vale la pena tenere d’occhio, perché è l’unica in cui la domanda sulla privacy ha una risposta chiara.

Fonti

Fonti: https://blogs.nvidia.com/blog/local-ai-perplexity-windows-pcs/

Articolo successivo

Le persone reali leggono conversazioni ChatGPT reali e la maggior parte degli utenti non ne ha idea

404 Media ha ottenuto documenti interni che descrivono Project Lily, il programma di OpenAI che prevede l'assunzione di centinaia di collaboratori esterni per leggere i suggerimenti autentici degli utenti e valutare le risposte. I dettagli personali scivolano attraverso i filtri e l'impostazione che li controlla è attiva per impostazione predefinita.

Una pila di buste sigillate con quella superiore aperta e una lente d'ingrandimento sopra la lettera