Nvidia najavila H200, novi najbolji AI GPU sa 141 GB HBM3e memorije

Najbolji AI grafički procesor više neće biti H100, jer je Nvidia najavila H200 koji će biti njen prvi AI GPU koji podržava HMB3e memoriju. Njegova primarna nadogradnja ogleda se u memoriji većeg propusnog opsega potrebnoj za ubrzavanje generativne veštačke inteligencije, velikih jezičkih modela i HPC aplikacija, pa će tako u odnosu na 80 GB koliko ima H100, novi AI GPU imati 141 GB i to HBM3e memorije.

Hopper H200 koristi pomenutu memoriju koja radi na 4,8 TB/s, što je otprilike dvostruko veći kapacitet i 2,4 puta veći propusni opseg nego što ima takođe jedan od najboljih grafičkih procesora Nvidia Ampere A100. Novi računarski akcelerator dobija i nadogradnju u odnosu na svog H100 prethodnika inovativnim softverskim unapređenjima kao što je Nvidia TensorRT-LLM.

Sve to, trebalo bi da omogući značajno povećanje performansi, uključujući utrostručenje brzine zaključivanja velikih jezičkih modela kao što je Llama 2, model veštačke inteligencije sa 70 milijardi parametara.

Uz novi AI GPU Nvidia je takođe predstavila HGX H200, AI platformu zasnovanu na sveže predstavljenim Tensor Core GPU-ovima. Tako bi ova platforma, radeći na novim grafičkim procesorima, trebalo da ponudi FP8 duboko učenje do 32 petaflopsa kao i 1,1 TB ukupne memorije velikog propusnog opsega.

Nvidia

Nvidia

Nvidia

Nove nadogradnje omogućavaju da se H200 instalira u bilo koji centar podataka, bilo lokalno ili u oblaku. Kompanija je saopštila da će Amazon Web Services, Google Cloud, Microsoft Azure i Oracle Cloud Infrastrucutre biti među prvima koji će u svoje usluge u oblaku implementirati H200 čipove već tokom 2024. godine.

Kompanijski parneri kao što su ASRock, Asus, Dell, Gigabyte, HPE, Lenovo i drugi navodno bi trebalo da lansiraju sopstvene sisteme sa H200 takođe tokom sledeće godine. Nvidia inače, kupuje memoriju od južnokorejskog partnera SK Hynix, koji je nedavno najavio i isporuku novog LPDDR5T DRAM čipa proizvođačima mobilnih telefona.