Hizli Yanit: Hangi GPU’yu Secmelisiniz?
Tek bir “AI icin en iyi GPU” yoktur. Dogru secim uc faktore baglidir: ne yaptiginiz (egitim, ince ayar veya cikarim), modeliniz ne kadar buyuk (1B parametre veya 70B+) ve ne kadar harcamak istediginiz (saat basina ve toplam).
Tek satirlik bir yanit istiyorsaniz: buyuk olcekli egitim icin H100 veya B200. Maliyet-etkin ince ayar icin RTX 4090 veya A100. Uretim cikarimi icin L40S veya L4. Ancak asil hikaye rakamlarda — ozellikle cogu GPU rehberinin gormezden geldigi metrikte: TFLOP basina maliyet.
Bu rehber bu metrige odaklanir. Kapsamli GPU rehberimizde bulunan ham ozellik tablolarini tekrarlamak yerine, belirli is yukunuz icin dolar basina en fazla AI performansini hangi GPU’nun verdigini analiz ediyoruz.
TFLOP Basina Maliyet: Gercekten Onemli Olan Metrik
Ham TFLOPS (saniyede trilyon kayan nokta islemi), bir GPU’nun ne kadar hizli hesap yaptigini soyler. Ancak hiz baglam olmadan bir anlam tasimaz. H200 ~1.000 FP16 TFLOPS sunar ama saati $3,80’dir. RTX 4090 ~330 FP16 TFLOPS sunar ve saati $0,60’dir. Hangisi aslinda daha iyi anlasmahir?
TFLOP basina maliyet bunu yanitlar: GPU’nun saatlik bulut kiralama fiyatini FP16 TFLOPS degerine bolun. Dusuk olan daha iyidir.
Sonuclar sezgiye aykiridir. RTX 4090 — bir tuketici oyun karti — tum serinin en iyi TFLOP basina maliyetini sunar. B200 — NVIDIA’nin en yeni veri merkezi amiral gemisi — ikinci sirada gelir. Populer H100 paketin ortasinda yer alir ve L40S TFLOP basina en az verimlidir.
Ancak TFLOP basina maliyet tum hikaye degildir. RTX 4090 yalnizca 24 GB GDDR6X VRAM’a sahiptir, bu da onu bellege sigan modellerle sinirlar. B200 192 GB HBM3e’ye sahiptir ve 8 kat daha buyuk modelleri tutabilir. Ham verimlilik, yetenekle dengelenmelidir.
| GPU | VRAM | FP16 TFLOPS | Bulut $/saat | Maliyet/TFLOP/saat | Satin Alma Fiyati | TDP |
|---|---|---|---|---|---|---|
| B200 | 192 GB HBM3e | ~2.500 | ~$4,70 | $0,0019 | $45-50K | 1.000W |
| H200 | 141 GB HBM3e | ~1.000 | ~$3,80 | $0,0038 | $30-40K | 700W |
| H100 | 80 GB HBM3 | ~1.000 | ~$3,15 | $0,0032 | ~$25K | 700W |
| A100 80GB | 80 GB HBM2e | ~312 | ~$0,72 | $0,0023 | ~$15K (kullanilmis) | 300W |
| L40S | 48 GB GDDR6X | ~366 | ~$1,50 | $0,0041 | ~$8K | 350W |
| RTX 4090 | 24 GB GDDR6X | ~330 | ~$0,60 | $0,0018 | ~$1.600 | 450W |
Onemli bilgi: Saat basina en pahali GPU, her zaman is birimi basina en pahali degildir. TFLOP basina maliyet, RTX 4090 ve B200’un verimlilik liderleri oldugunu ortaya koyar — yetenek yelpazesinin iki ucunda.
Is Yuku Onerileri: GPU’yu Goreve Eslestirme
Dogru GPU, en hizli veya en ucuz olan degildir — is yukunuze uyan olandir. Iste pratik bir karar cercevesi.
Kucuk-Orta Modelleri Ince Ayar (7B-13B Parametre)
En iyi secim: RTX 4090 ($0,60/saat) veya A100 40GB
LoRA veya QLoRA ile 7B parametreli bir modeli ince ayar yapmak yaklasik 14-20 GB VRAM gerektirir — RTX 4090’nin 24 GB’inin rahatca icinde. GPU pazaryerlerinde $0,60/saat ile 10 saatlik bir ince ayar calismasi yalnizca $6’ya mal olur. Ayni is $3,15/saat’lik bir H100’de $31,50’ye mal olur — H100’un ekstra VRAM’ina veya bant genisligine ihtiyac duymayan bir is yuku icin 5 kattan fazla.
13B modellerin tam ince ayari icin (LoRA olmadan), ~$0,72/saat’lik A100 40GB, H100 fiyatlandirmasinin bir kesriyle yeterli VRAM saglar.
Buyuk Model On-Egitim (70B+ Parametre)
En iyi secim: Coklu GPU kumelerinde H100 veya B200
70B+ parametreli bir modeli on-egitmek, yalnizca model icin 140+ GB VRAM gerektirir — aktivasyonlar, gradyanlar ve optimize edici durumlari dahil degil. B200 (192 GB) disinda hicbir GPU bunu bellekte tutamaz. Pratikte bu is yukleri, 8-128+ GPU arasinda model paralelligi ve veri paralelligi kullanan coklu GPU kumelerinde calisir.
H100’un NVLink 4.0 baglantisi (900 GB/s cift yonlu) verimli coklu GPU iletisimi saglar — GPU’larin her ileri/geri geciste gradyanlari paylasmassi gereken dagitik egitim icin kritiktir. B200, daha yuksek bant genisligi ve daha buyuk bellekle bunu ileri tasir, ancak kullanilabilirlik 2027’ye kadar kisitli kalmaya devam ediyor.
Olcekte toplam maliyet sasirticidir. GPT-4’un egitimi icin aylar boyunca calisan 10.000+ A100 GPU kullanildigi bildirilmistir. Pazaryeri fiyatlandirmasinda bile 30 gun calisan 1.000 GPU’luk H100 kumesi yaklasik 2,3 milyon dolara mal olur.
Uretim Cikarimi (Toplu Isleme)
En iyi secim: Maliyet verimliligi icin L40S ($1,50/saat)
Toplu cikarim — birden fazla istegi eszamanli olarak isleme — L40S’nin 48 GB GDDR6X VRAM’indan ve guclu FP16 performansindan yararlanir. TFLOP basina maliyeti RTX 4090’dan yuksek olsa da, iki kati VRAM kapasitesi daha buyuk modeller ve daha buyuk toplu boyutlar sunmasina izin verir, dolar basina verimi arttirir.
Modelin 24 GB’ye sigdigi cikarim is yukleri icin (niceleme sonrasi cogu 7B model), RTX 4090 en maliyet-etkin secenek olmaya devam eder.
Uretim Cikarimi (Dusuk Gecikme)
En iyi secim: Hiz icin H200, uc icin L4
Tek istek gecikmesinin verimden daha onemli oldugu durumlarda (chatbot’lar, gercek zamanli API’ler), H200’un 4.800 GB/s bellek bant genisligi en hizli token uretimini saglar. L4 ($0,30-$1,00/saat), ucta hafif cikarim icin butce secenegi olarak hizmet eder — maliyetin bir kesriyle 24 GB VRAM.
Guc Tuketimi ve Operasyonel Maliyetler
GPU secimi yalnizca bilisim ve bulut fiyatlandirmasi ile ilgili degildir. Donanim sahibiyseniz (veya bunu dusunuyorsaniz), elektrik maliyetleri zaman icinde onemli olcude birikir.
| GPU | TDP (Watt) | Yillik Elektrik Maliyeti* | Etkin $/saat (3 yillik sahiplik) |
|---|---|---|---|
| B200 | 1.000W | ~$526/yil | ~$1,80 |
| H100 / H200 | 700W | ~$368/yil | ~$1,05 |
| RTX 4090 | 450W | ~$237/yil | ~$0,25 |
| L40S | 350W | ~$184/yil | ~$0,40 |
| A100 | 300W | ~$158/yil | ~$0,55 |
%60 ortalama kullanim ve $0,10/kWh elektrik ucreti varsayilmistir.
B200’un 1.000W TDP’si, onu serinin en fazla enerji tuketen GPU’su yapar — ilimli kullaninda yalnizca elektrikte yilda $500’den fazla tuketir. Yuksek elektrik maliyetleri olan bolgelerdeki donanim sahipleri icin ($0,25/kWh’in uzerinde, Avrupa’nin buyuk bolumunde yaygin), bu GPU sahipligi ile bulut kiralamanin ekonomisini onemli olcude etkiler.
Basabasi Analizi: Satin Alma ve Kiralama
GPU satin alma veya kiralama karari, kullanim ve zaman ufkuna iner. Iste H100 icin matematik — en yaygin karar noktasi:
- H100 satin alma fiyati: ~$25.000
- Pazaryeri kiralama ucreti: ~$3,15/saat
- Basabasi saatleri: 25.000 / 3,15 = ~7.937 saat
- 7/24 calismada: ~11 ay basabasiya ulasmak icin
- %60 kullaninda: ~18 ay basabasiya ulasmak icin
Elektrik ($0,07/saat), sogutma yuku ($0,02/saat) ve bakimi ekleyin; 3 yil uzerinden etkin sahiplik maliyeti yaklasik $1,05/saat’tir — pazaryeri fiyatlandirmasiyla rekabetci ancak yalnizca surekli yuksek kullanim oraninda.
Kritik degisken kullanim oranidir. GPU’lariniz zamanin %50’sinde bosta durursa, etkin oran iki katina cikar. Bulut kiralama, bosta kalma maliyetlerini tamamen ortadan kaldirir — yalnizca bilisim calistiginda odersiniz.
Sogutma, tesis, personel ve amortismani icereen tam bir kiralama-satin alma cercevesi icin ayrintili maliyet karsilastirmamiza bakiniz.
2026 Gorunumu: Blackwell, Rubin ve Sirada Ne Var
GPU manzarasi hizla degisiyor. AI altyapinizi planlamak icin onemli olan sey:
NVIDIA B200 (Blackwell mimarisi) — Sinirli miktarda sevk edilmeye baslamistir; B200, H100’un yaklasik 4 kati egitim performansi sunar, 192 GB HBM3e ve 1.000W TDP ile. Yeni buyuk olcekli egitim kumeleri icin en iyi secimdir ancak 2027’ye kadar arz kisitli kalmaktadir. Bulut kullanilabilirligi hiper olcekleyiciler ve uzman saglayicilar arasinda genisliyor.
NVIDIA Rubin mimarisi — 2026 sonlari icin duyurulmustur; Rubin 336 milyar transistor icermekte ve 50 PFLOPS FP4 cikarim hedeflemektedir. Takvime uygun teslim edilirse, cikarim verimi icin Blackwell’e gore yaklasik 5 katlik bir sicaramayi temsil eder. Bu, TFLOP basina maliyet denklemini dramatik olarak degistirecektir — ancak tedarik sureleri cogu ekibin Rubin donanimine 2027’ye kadar erismeyecegi anlamina gelir.
AMD MI350X ve MI355X — AMD’nin Blackwell’e yaniti. MI355X, Llama 3.1 405B uzerinde B200’den %30 daha hizli cikarim gostermistir, rekabetci fiyatlandirmayla. AMD’nin buyuyen ROCm ekosistemi, cikarim is yukleri icin CUDA bagimliligini azaltiyor. Ayrintili bir karsilastirma icin NVIDIA ve AMD analizimize bakiniz.
Pratik cikarilar: Bugun 3+ yil boyunca ust duzey kalmasi beklenen donanim satin almayin. GPU nesilleri her 18-24 ayda bir degisiyor ve her nesil oncekinin 2-4 kati performans sunuyor. Cogu ekip icin kiralama, amortisman riski olmadan en yeni donanima erisim saglar.
Nasil Secilinir: Karar Kontrol Listesi
Bir GPU secmeden once su bes soruyu yanitin:
-
Is yukunuz nedir? Egitim, ince ayar veya cikarim mu? Her birinin farkli bilisim, bellek ve bant genisligi gereksinimleri vardir.
-
Modeliniz ne kadar buyuk? 13B parametrenin altindaki modeller 24 GB GPU’larda calisabilir. 70B’nin uzerindeki modeller GPU basina 80+ GB gerektiren coklu GPU kurulumlarini gerektirir.
-
Saat basina butceniz ne kadar? $1/saat’in altindaysa secenekleriniz RTX 4090, spot’ta A100 veya L4’tur. $3+/saat ise H100 veya B200’e erisebilirsiniz.
-
Ayda kac saat kullanacaksiniz? 100 saatin altinda -> her zaman kiralayin. 100-500 saat -> pazaryerlerinden kiralayin. 500 saatin uzerinde yuksek kullaninda -> sahipligi degerlendirin.
-
Bu donanima ne kadar sure ihtiyaciniz olacak? 18 aydan kisa -> kiralayin (amortismandan kacinir). 18+ ay yuksek kullaninda -> satin alma basabasiya ulasabilir. GPU mimarileri arasindaki daha derin bir karsilastirma icin, CPU’lar ve GPU’larin birbirini nasil tamamladigi dahil, GPU ve CPU rehberimize bakiniz.
Onemli bilgi: “En iyi” GPU, belirli is yukunuzu calistirabilen en ucuz olandir. 7B modeli ince ayar yapan bir RTX 4090, ayni isi yapan bir H100’den daha iyi bir yatirimdir — sonucun 1/5’i maliyetle ayni olur.
Sikca Sorulan Sorular
Buyuk dil modellerini egitmek icin en iyi GPU nedir?
70B parametrenin uzerindeki modeller icin NVIDIA H100 standart olmaya devam eder — 80 GB HBM3, coklu GPU olcekleme icin NVLink 4.0 ve en olgun yazilim ekosistemini sunar. B200, 192 GB HBM3e ve yaklasik 4 kat egitim performansiyla bir sonraki adimdir, ancak kullanilabilirligi sinirlidir. Daha kucuk modeller (7B-13B) icin RTX 4090 veya A100, maliyetin bir kesriyle mukemmel performans saglar. NVIDIA’nin Ampere neslinin ayrintili bir karsilastirmasi icin A100 ve A6000 ve A2000 incelememize bakiniz.
RTX 4090 AI icin iyi mi?
Evet — kucuk-orta modellerin AI ince ayar ve cikarimi icin en maliyet-etkin GPU’lardan biridir. 24 GB VRAM’i ~13B parametreye kadar modelleri karsilar (niceleme ile) ve TFLOP basina maliyeti sektordeki en iyisidir. Sinirlamasi VRAM’dir: 24 GB’yi asan modeller icin daha fazla bellege sahip bir veri merkezi GPU’suna ihtiyaciniz vardir. Ayrica NVLink’ten yoksundur, bu da coklu GPU olceklemeyi veri merkezi kartlarindan daha az verimli kilar.
AI icin GPU satin mi almaliyim yoksa mi kiralamaliyim?
Kullanim oraniniz %60’in altindaysa veya zaman ufkunuz 18 ayin altindaysa kiralayin. GPU pazari hizla hareket eder — her 2 yilda bir yeni mimari, satin alinan donaniminin hizla deger kaybetmesi anlamina gelir. GPU pazaryerlerinden kiralama, sermaye yatirimi olmadan $0,60-$3,15/saat’e en son donanima erisim saglar. Yalnizca 2+ yil boyunca ayda 500+ saat calisan surekli, onceden tahmin edilebilir is yukleriniz varsa satin alin.
TFLOP basina maliyet nedir ve neden onemlidir?
TFLOP basina maliyet, bir GPU’nun saatlik kiralama maliyetini TFLOPS cinsinden kayan nokta performansina boler. GPU modelleri arasindaki performansi normallestirir ve hangi kartin dolar basina en fazla AI bilisim verdigini ortaya koyar. Dusuk saatlik ucretli ancak dusuk performansli bir GPU, aslinda is birimi basina daha pahali, daha yuksek performansli bir GPU’dan daha pahali olabilir. GPU bilisimde “paranizin karsiligin en iyisi” icin en yakin tek metriktir.
AI icin ne kadar VRAM’a ihtiyacim var?
Kaba bir kural olarak: N milyar parametreli bir model, FP16’da cikarim icin yaklasik 2xN GB VRAM ve egitim icin 4xN GB gerektirir (gradyanlar ve optimize edici durumlari nedeniyle). 7B model cikarim icin ~14 GB, tam ince ayar icin ~28 GB gerektirir. Niceleme (INT8, INT4) VRAM gereksinimlerini 2-4 kat azaltabilir. ~13B nicelenmis modele kadar RTX 4090 (24 GB), ~40B’ye kadar modeller icin A100/L40S (48-80 GB) ve 70B+ modeller icin H100/H200/B200 (80-192 GB) kullanin.