Benchmark Redakcija
Polako, ali sigurno, tehnologija napreduje do tačke u kojoj aplikacije za ćaskanje sa veštačkom inteligencijom mogu da se instaliraju i pokreću lokalno, bez potrebe za internet vezom. Jedan od najpoznatijih dizajnera grafičkih procesora – Nvidia, sada donosi upravo to, oflajn Chat with RTX AI aplikaciju, koja je najavljena prvi put u januaru ove godine.
Aplikacija koristi RAG (Retrieval Augmented Generation) optimizaciju AI modela, tako da se poziva na bazu znanja izvan svojih izvora podataka za obuku, pre nego što generiše odgovor, u kombinaciji sa TensorRT-LLM modelom koji korisnici mogu da prilagode, omogućavajući im da odobre pristup određenim datotekama i folderima. Kada se pokrene lokalno, Chat withRTX može da izvlači informacije iz tekstualnih, PDF, doc i XML datoteka, čime omogućava brzo preuzimanje relevantnih podataka.
Jedna od značajnih funkcija je i mogućnost transkribovanja YouTube sadržaja, potom čega korisnici četbotu mogu postavljati pitanja o sadržaju kako bi pregladali ono što im je potrebno.
Instalacija aplikacije može potrajati neko vreme, do 20 minuta na sistemu sa AMD Ryzen 9 5900X procesorom i grafičkom kartom Nvidia GeForce RTX 4080, dok LLM instalacija traje najduže piše KitGuru. Generalno, vreme instalacije nije tačno definisano, nekada može trajati i do sat vremena u zavisnosti od internet veze i hardvera računara. Početno preuzimanje ima preko 30 GB, a konačna veličina instalacije može da ide i do 100 GB, u zavisnosti od izbora AI modela. Nakon što se instalacija, završi, učitavanje aplikacije može da potraje malo, ali radi impresivno brzo s obzirom na to da radi lokalno (oflajn).
Uzevši u obzir da aplikacija radi van mreže, nema rizika da izložite osetljive podatke na internet. Samim tim, korisnik ima veću kontrolu nad tim gde sve i čemu AI ima pristup. U svom osnovnom obliku, Chat with RTX ima pristup samo RAG folderu i omogućava osnovne funkcionalnosti, ali korisnici mogu usmeriti aplikaciju prema sopstvenim setovima podataka za prošireno korišćenje.
Najočigledniji vid upotrebe aplikacije Chat with RTX je kao kancelarijski pomoćnik, gde je prikaz informacija brz, bez potrebe za ručnom pretragom. Mogućnost da se precizno izvuku YouTube transkripcije takođe štede mnogo vremena. Transkribovanje jednog video zapisa traje manje od jednog minuta, ali pošto ovaj deo aplikacije zahteva kontakt sa serverom, brzina može varirati u zavisnosti od toga koliko ima aktivnih korisnika kao i od brzine samog interneta.
Važno je napomenuti da za razliku od ChatGPT, Chat with RTX nije zamena za zadatke koji zahtevaju dublje razumevanje konteksta. Aplikacija radi tako što razlaže podatke u delove koji se zatim biraju na osnovu relevantnosti za upit korisnika, ali, nema sposobnost pamćenja konteksta ili odgovaranja na dodatna pitanja na osnovu prvobitnog upita. To takođe znači i da ona ne funkcioniše dobro za radnje koji zahtevaju „razlaganje”, kao što je na primer, sumiranje skupa dokumenata ili tekstova u ključne teze.
Možda u budućnosti Nvidia proširi ove funkcionalnosti, ali svakako treba imati u vidu da lokalno pokretanje mašinskog učenja i velikih skupova podataka nije baš izvodljivo za veliki broj korisnika. Takođe, aplikaciju Chat with RTX moguće je preuzeti direktno sa Nvidia veb sajta, pri čemu je neophodno da imate grafičku kartu Nvidia GeForce serija RTX 3000 ili RTX 4000, kao i Windows 11 operativni sistem, da biste uopšte mogli da je pokrenete na svom računaru.
