Sara Smolović
Nvidia već sada prodaje ogroman broj svojih H100 AI GPU-ova, a svaki od njih troši do 700 W električne energije, što je više od prosečnog američkog domaćinstva. Međutim, sa procenama prodaje od oko 3,5 miliona u narednoj godini, analize ukazuju da bi Nvidia H100 grafički procesori mogli da troše više energije nego pojedine male evropske države.
Ukupna potrošnja energije centara podataka korišćenih za AI aplikacije danas je uporediva sa potrošnjom energije na Kipru, objavila je francuska firma Schneider Electric još u oktobru ove godine. Međutim, šta je sa potrošnjom energije najpopularnijih AI grafičkih procesora – Nvidia H100 i A100?
Glavni elektroinženjer u Microsoft centrima podataka Pol Čurnok veruje da će Nvidia H100 grafički procesori do kraja 2024, kada milioni GPU-ova budu raspoređeni po svetu, trošiti više energije od svih domaćinstava u Feniksu u Arizoni. Ipak, ukupna potrošnja energije trebalo bi da bude manja od nekih većih gradova kao što je na primer, Hjuston u Teksasu.
„Pri 61 procentu godišnjeg korišćenja, Nvidia H100 AI GPU je ekvivalentan potrošnji energije prosečnog američkog domaćinstva. Nvidia procenjuje prodaju ovih računarskih akceleratora na 1,5 – 2 miliona u 2024. godini. U poređenju sa potrošnjom električne energije u domaćinstvima po gradovima, Nvidia H100 čipovi bi se rangirali kao peti najveći potrošači, što je odmah iza Hjustona u Teksasu, ali i ispred Feniksa u Arizoni“, objavio je Čurnok na svom LinkedIn profilu.
ShutterstockI zaista, pri 61 procentu godišnje upotrebe, Nvidia H100 grafički procesori bi trošili oko 3.740 kilovat-časova (kWh) električne enerigije. Uz pretpostavku da će Nvidia do kraja 2023. prodati ukupno 1,5 milion ovih čipova i dodatnih dva miliona u 2024. godini, to znači da će u upotrebi do kraja sledeće godine biti 3,5 miliona ovakvih procesora. To dalje znači da će svi oni zajedno trošiti ogromnih 13.091.820.000 kilovat-časova električne energije na godišnjem nivou, odnosno 13.091,82 GWh.
Da bismo stavili ovaj broj u kontekst, oko 13.092 GWh je godišnja potrošnja električne energije nekih zemalja kao što je Gruzija, Litvanija ili Gvatemala. To je fascinantna brojka, ali treba napomenuti i da se efikasnost GPU-ova za AI i HPC računarstvo povećava. Dakle, iako će verovatno Nvidia B100 zasnovan na Blackwell arhitekturi čak i nadmašiti potrošnju energije H100 čipova, on bi trebalo da ponudi veće performanse, što ujedno znači i više posla za svaku jedinicu potrošene energije.
35680$ košta JEDNA H100 kartica... :)))
Potreba za grafičkim procesorima se neverovatno ubrzava. Rudarenje je doprinelo ogromnoj i bezumnoj potrošnji skupog hardvera i ogromnu potrošnju energije. Koliko god da hardver poveća efikasnost biće pojačavane i performanse a to znači i potrošnju energije. To je takođe i ekološki problem ali ne verujem da će biti rešen u narednim decenijama.
Kakvo crno rudarenje - ovo su kartice namenjene za AI
The H100 boasts 10x higher performance of Nvidia Graphic card foray and HPC workloads compared to its predecessor, thanks to its new 4th generation Tensor Core architecture. This translates to faster training and inference times for AI models, as well as improved performance for scientific simulations and other compute-intensive tasks.