Šta je NPU i zašto je čitava IT industrija odjednom opsednuta njime?

Postoji CPU. Postoji i GPU. Međutim, u poslednjih godinu dana, svaka tehnološka kompanija priča samo o NPU jedinicama. Ukoliko niste čuli za prva dva, verovatno ste zbunjeni oko trećeg i zašto cela tehnološka industrija hvali prednosti neuralne procesorske jedinice. Kao što ste možda pretpostavili, sve je zbog trenutnog „hajpa“ u vezi veštačke inteligencije tj AI. Ipak, tehnološke kompanije su do sada bile prilično loše u tumačenju šta NPU procesori/koprocesori zapravo rade i čemu služe.

Svi žele deo AI kolača. Google je rekao „AI“ više od 120 puta tokom ovog meseca na I/O konferenciji za programere, gde su mogućnosti novih AI aplikacija i asistenata praktično očarale njihove domaćine. Tokom nedavne Build konferencije, Microsoft je bio sav u vezi sa svojim novim ARM baziranim Copilot+ PC računarima koji koriste Qualcomm Snapdragon X Elite i X Plus. Svaki od pomenutih CPU čipova nudi NPU sa 45 TOPS performansi.

Šta to znači? Pa, novi PC-jevi bi trebali da budu sposobni da podrže izvršavanje AI funkcija na samom uređaju. Međutim, kada razmislite, to je tačno ono što su Microsoft i Intel obećali krajem prošle godine sa takozvanim „AI PC“ konceptom.

Kod NPU jedinica bitne su samo TOPS performanse

Ako ste kupili novi laptop sa Intel Core Ultra čipom ove godine uz obećanje da ćete dobiti AI na uređaju, verovatno niste baš zadovoljni. Microsoft kategorički tvrdi da će samo Copilot+ PC-jevi imati pristup funkcijama zasnovanim na AI asistenicji, poput Recall „zbog čipova koji ih pokreću“.

Međutim, došlo je do neslaganja kada je poznati leaker Albacore tvrdio da se Recall može pokrenuti i na drugom ARM64-baziranom PC računaru bez oslanjanja na NPU. Novi laptopovi još nisu dostupni, ali ćemo morati da sačekamo i vidimo koliko će opterećenje nove AI funkcije staviti kada je u pitanju izvršavanje na NPU jedinicama.

Ali ako ste zaista radoznali šta se dešava sa NPU koprocesorima i zašto svi, od kompanije Apple do Intel-a i malih PC startap kompanija, pričaju o njima, pripremili smo objašnjenje za vas.

Gizmodo

Prvo, trebali bismo ponuditi ljudima u pozadini kratak pregled mogućnosti računara. CPU, ili „centralni procesor“, je u suštini „mozak“ računara koji obrađuje većinu korisničkih zadataka. GPU, ili „grafički procesor“, je specijalizovan za obradu zadataka koji zahtevaju velike količine podataka, poput renderovanja 3D objekta ili igranja video igre. GPU mogu biti diskretne jedinice unutar PC-a kao zasebna komponenta ili mogu biti ugrađeni u vidu integrisanog grafičkog jezgra (iGPU) u sam CPU.

NPU je koprocesor kao što smo nekda imali matematički koprocesor

Na taj način, NPU je bliži GPU jedinici i zato ga rado nazivamo koprocesorom u smislu svoje specijalizovane prirode posla koji obavlja. Za sada nećete pronaći zaseban neuralni procesor izvan centralne ili grafičke procesorske jedinice. To je tip procesora dizajniran da obrađuje matematičke proračune specifične za algoritme mašinskog učenja, eto još jednog razloga zašto ga nazivamo koprocesorom. Ovi zadaci se obrađuju „paralelno“, što znači da će razbiti velike u manje zadatke i zatim ih obraditi istovremeno. Specijalno je projektovan da reši intenzivne zahteve neuralnih mreža bez korišćenja drugih procesora u sistemu.

Standard za procenu brzine NPU-a je u TOPS vrednostima, ili „trilion operacija u sekundi“. Trenutno, to je jedini način na koji velike tehnološke kompanije međusobno upoređuju mogućnosti svojih neuralnih procesora. Takođe je u pitanju veoma ograničen način za upoređivanje brzine NPU koprocesora. CPU i GPU nude mnoge različite reference za poređenje, od broja i tipova jezgara do brzine radnog takta ili čiste računske snage izražene u TFLOPS-ima. Qualcomm objašnjava da je TOPS matematički izraz koji kombinuje brzinu i tačnost neuralnih procesora.

Možda ćemo jednog dana videti NPU jedinice sa istom granularnošću kao što to trenutno činimo sa CPU ili GPU procesorima, ali to može doći tek nakon što prođe trenutni AI hajp. Postoji čak ideja o GPNPU čipovima, koji su u osnovi kombinacija mogućnosti GPU-a i NPU-a.

Često se ističe da GPU može da radi isto što i NPU, posebno ove tvrdnje stižu iz redova kompanije Nvidia i nisu daleko od istine. Navodno po njima je dovoljan uslov za lokalno izvršavanje AI funkcija ukoliko posedujete moderniji GeForce RTX 30 ili RTX 40 GPU. Međutim, istina je da su NPU jedinice energetski efikasnije prilikom izvršavanja alogritama mašinskog učenja od GPU procesora.  

NPU je efikasniji u potrošnji energije od GPU-a

Uskoro ćemo morati da podelimo mogućnosti manje AI sposobnih PC računara sa onim većim koji bi mogli isporučiti na stotine ili čak hiljade TOPS performansi.

Gizmodo

Telefoni su takođe koristili NPU koprocesore mnogo pre nego što je većina ljudi ili kompanija uopšte to shvatila. Google je pričao o NPU i AI mogućnostima još od Pixel 2 telefona. Kineski velikani poput kompanija Huawei i Asus, predstavili su NPU na telefonima poput Mate 10 iz 2017. i Zenphone 5 iz 2018. godine. Obe kompanije su tada pokušale da promovišu AI mogućnosti na oba uređaja, iako su kupci i recenzenti bili skeptični u vezi sa njihovim mogućnostima, mogo više nego danas.

Danas su NPU-ovi mnogo moćniji nego pre šest ili osam godina.

Čipovi za računare su već podržavali NPU koprocesore godinama pre 2023. Na primer, Apple procesori M-serije. Apple M1 čip je isporučivao 11 TOPS performansi, a M2 i M3 su imali 15,8 i 19 TOPS, respektivno. Tek sa M4 čipom unutar novog iPad Pro 2024, Apple je odlučio da se pohvali brzinom od 38 TOPS-a, svog najnovijeg NPU koprocesora. A koje iPad Pro AI aplikacije zaista koriste tu novu mogućnost? Ne mnogo, iskreno. Možda ćemo videti više aplikacija tek za nekoliko nedelja na WWDC 2024, ali ćemo morati da sačekamo i strpimo se, piše Gizmodo.

Trenutna opsesija sa NPU je delom hardver, delom hajp

Ideja koja stoji iza NPU koprocesora je da će moći da preuzme posao u vezi pokretanja AI zadataka i tako oslobodi u celosti ili delimično rad CPU ili GPU procesora, omogućavajući korisnicima da pokreću AI programe, bilo da su to AI generatori fotografija ili chatbot asistenti, bez usporavanja rada PC računara. Problem je što svi još uvek tražimo taj jedan pravi AI program koji može iskoristiti veće AI mogućnosti našeg hardvera.

Jedna stvar koja je prilično zanimljiva je da proizvođači hardvera osećaju da su, po prvi put, pretekli softversku industriju. Dugo vremena je bilo obrnuto. Proizvođači softvera bi gurali granice onoga što je dostupno na hardveru za krajnje korisnike, prisiljavajući proizvođače čipova da ih sustignu.

Ali od 2023. godine, videli smo samo neke marginalne AI aplikacije sposobne da rade na samom klijent uređaju. Većina demonstracija AI mogućnosti Qualcomm ili Intel čipova, obično uključuje pokretanje Zoom funkcije zamućenja pozadine. Naravno, možete pronaći neke aplikacije koje pokreću chatbot-ove sposobne za rad na uređaju, ali manje sposoban LLM ne deluje kao ogromna ubistvena aplikacija koja će naterati sve da trče i kupe najnoviji pametni telefon ili „AI PC“.

Umesto toga, ograničeni smo na relativno jednostavne aplikacije sa Gemini Nano na Pixel telefonima, poput tekstualnih i audio sažetaka. Najmanja verzija Google AI modela stiže i na Pixel 8 i Pixel 8a telefone. Samsung AI funkcije koje su nekada bile ekskluziva za Galaxy S24 flegšip, već su stigle do starijih telefona i uskoro će se naći čak i na Google nosivim uređajima. Sve to ukazuje na činjenicu da su i stariji uređaji, još od 2021. godine, već imali dosta snage za neuralnu obradu.