Die schnelle Antwort: Welche GPU sollten Sie wählen?
Es gibt keine einzelne „beste GPU für KI”. Die richtige Wahl hängt von drei Faktoren ab: was Sie tun (Training, Fine-Tuning oder Inferenz), wie groß Ihr Modell ist (1 Mrd. Parameter oder 70 Mrd.+) und wie viel Sie ausgeben möchten (pro Stunde und insgesamt).
Wenn Sie eine Einzeiler-Antwort wollen: Für groß angelegtes Training die H100 oder B200. Für kosteneffektives Fine-Tuning die RTX 4090 oder A100. Für Produktions-Inferenz die L40S oder L4. Aber die wahre Geschichte steckt in den Zahlen — genauer gesagt in der Kennzahl, die die meisten GPU-Ratgeber ignorieren: Kosten pro TFLOP.
Dieser Leitfaden konzentriert sich auf diese Kennzahl. Anstatt Rohspezifikationstabellen zu wiederholen, die in unserem vollständigen GPU-Leitfaden verfügbar sind, analysieren wir, welche GPU Ihnen die meiste KI-Leistung pro Dollar für Ihren spezifischen Workload bietet.
Kosten pro TFLOP: Die Kennzahl, die wirklich zählt
Reine TFLOPS (Billionen Gleitkommaoperationen pro Sekunde) sagen Ihnen, wie schnell eine GPU rechnet. Aber schnell bedeutet nichts ohne Kontext. Eine H200 liefert ~1.000 FP16 TFLOPS, kostet aber 3,80 $/Std. Eine RTX 4090 liefert ~330 FP16 TFLOPS bei 0,60 $/Std. Welche ist tatsächlich das bessere Angebot?
Kosten pro TFLOP beantwortet das: Teilen Sie den stündlichen Cloud-Mietpreis durch die FP16-TFLOPS-Bewertung. Niedriger ist besser.
Die Ergebnisse sind kontraintuitiv. Die RTX 4090 — eine Consumer-Gaming-Karte — liefert die besten Kosten pro TFLOP in der gesamten Aufstellung. Die B200 — NVIDIAs neuestes Rechenzentrum-Flaggschiff — liegt auf Platz zwei. Die beliebte H100 liegt im Mittelfeld, und die L40S ist die am wenigsten effiziente pro TFLOP.
Aber Kosten pro TFLOP sind nicht die ganze Geschichte. Die RTX 4090 hat nur 24 GB GDDR6X VRAM, was sie auf Modelle beschränkt, die in diesen Speicher passen. Die B200 hat 192 GB HBM3e, die 8-mal größere Modelle aufnehmen können. Rohe Effizienz muss mit der Leistungsfähigkeit abgewogen werden.
| GPU | VRAM | FP16 TFLOPS | Cloud $/Std. | Kosten/TFLOP/Std. | Kaufpreis | TDP |
|---|---|---|---|---|---|---|
| B200 | 192 GB HBM3e | ~2.500 | ~4,70 $ | 0,0019 $ | 45.000–50.000 $ | 1.000 W |
| H200 | 141 GB HBM3e | ~1.000 | ~3,80 $ | 0,0038 $ | 30.000–40.000 $ | 700 W |
| H100 | 80 GB HBM3 | ~1.000 | ~3,15 $ | 0,0032 $ | ~25.000 $ | 700 W |
| A100 80GB | 80 GB HBM2e | ~312 | ~0,72 $ | 0,0023 $ | ~15.000 $ (gebraucht) | 300 W |
| L40S | 48 GB GDDR6X | ~366 | ~1,50 $ | 0,0041 $ | ~8.000 $ | 350 W |
| RTX 4090 | 24 GB GDDR6X | ~330 | ~0,60 $ | 0,0018 $ | ~1.600 $ | 450 W |
Wichtige Erkenntnis: Die teuerste GPU pro Stunde ist nicht immer die teuerste pro Arbeitseinheit. Kosten pro TFLOP zeigen, dass die RTX 4090 und B200 die Effizienzführer sind — an entgegengesetzten Enden des Leistungsspektrums.
Workload-Empfehlungen: GPU zur Aufgabe passend wählen
Die richtige GPU ist nicht die schnellste oder günstigste — sie ist diejenige, die zu Ihrem Workload passt. Hier ist ein praktischer Entscheidungsrahmen.
Fine-Tuning kleiner bis mittlerer Modelle (7B–13B Parameter)
Beste Wahl: RTX 4090 (0,60 $/Std.) oder A100 40GB
Das Fine-Tuning eines 7B-Parameter-Modells mit LoRA oder QLoRA erfordert etwa 14–20 GB VRAM — gut im Rahmen der 24 GB der RTX 4090. Bei 0,60 $/Std. auf GPU-Marktplätzen kostet ein 10-stündiger Fine-Tuning-Lauf nur 6 $. Derselbe Job auf einer H100 bei 3,15 $/Std. kostet 31,50 $ — über 5-mal mehr für einen Workload, der weder den zusätzlichen VRAM noch die Bandbreite der H100 benötigt.
Für vollständiges Fine-Tuning (ohne LoRA) von 13B-Modellen bietet die A100 40GB bei ~0,72 $/Std. ausreichend VRAM zu einem Bruchteil des H100-Preises.
Pre-Training großer Modelle (70B+ Parameter)
Beste Wahl: H100 oder B200 in Multi-GPU-Clustern
Das Pre-Training eines 70B+-Parameter-Modells erfordert 140+ GB VRAM allein für das Modell, plus Aktivierungen, Gradienten und Optimizer-Zustände. Keine einzelne GPU außer der B200 (192 GB) kann dies im Speicher halten. In der Praxis laufen diese Workloads auf Multi-GPU-Clustern mit Modellparallelismus und Datenparallelismus über 8–128+ GPUs.
Der NVLink 4.0-Interconnect der H100 (900 GB/s bidirektional) ermöglicht effiziente Multi-GPU-Kommunikation — entscheidend für verteiltes Training, bei dem GPUs jeden Forward-/Backward-Pass Gradienten teilen müssen. Die B200 geht mit höherer Bandbreite und größerem Speicher noch weiter, doch die Verfügbarkeit bleibt bis 2027 eingeschränkt.
Im großen Maßstab sind die Gesamtkosten enorm. Das Training von GPT-4 soll über 10.000 A100 GPUs erfordert haben, die monatelang liefen. Selbst zu Marktplatzpreisen kostet ein 1.000-GPU-H100-Cluster über 30 Tage etwa 2,3 Millionen Dollar.
Produktions-Inferenz (Batch-Processing)
Beste Wahl: L40S (1,50 $/Std.) für Kosteneffizienz
Batch-Inferenz — die gleichzeitige Verarbeitung vieler Anfragen — profitiert von den 48 GB GDDR6X VRAM und der starken FP16-Leistung der L40S. Obwohl ihre Kosten pro TFLOP höher sind als bei der RTX 4090, ermöglicht ihre doppelte VRAM-Kapazität die Verarbeitung größerer Modelle und Batch-Größen, was den Durchsatz pro Dollar verbessert.
Für Inferenz-Workloads, bei denen das Modell in 24 GB passt (die meisten 7B-Modelle nach Quantisierung), bleibt die RTX 4090 die kosteneffektivste Option.
Produktions-Inferenz (Niedrige Latenz)
Beste Wahl: H200 für Geschwindigkeit, L4 für Edge
Wenn die Latenz einzelner Anfragen wichtiger ist als der Durchsatz (Chatbots, Echtzeit-APIs), liefert die 4.800 GB/s Speicherbandbreite der H200 die schnellste Token-Generierung. Die L4 (0,30–1,00 $/Std.) dient als Budget-Option für leichtgewichtige Inferenz am Edge — 24 GB VRAM zu einem Bruchteil der Kosten.
Stromverbrauch und Betriebskosten
Die GPU-Auswahl betrifft nicht nur Rechenleistung und Cloud-Preise. Wenn Sie Hardware besitzen (oder erwägen), summieren sich Stromkosten über die Zeit erheblich.
| GPU | TDP (Watt) | Jährliche Stromkosten* | Effektive $/Std. (Besitz über 3 Jahre) |
|---|---|---|---|
| B200 | 1.000 W | ~526 $/Jahr | ~1,80 $ |
| H100 / H200 | 700 W | ~368 $/Jahr | ~1,05 $ |
| RTX 4090 | 450 W | ~237 $/Jahr | ~0,25 $ |
| L40S | 350 W | ~184 $/Jahr | ~0,40 $ |
| A100 | 300 W | ~158 $/Jahr | ~0,55 $ |
Angenommen 60 % durchschnittliche Auslastung und 0,10 $/kWh Strompreis.
Die 1.000 W TDP der B200 macht sie zur energiehungrigsten GPU der Aufstellung — sie verbraucht allein über 500 $/Jahr an Strom bei moderater Auslastung. Für Hardwarebesitzer in Regionen mit hohen Stromkosten (über 0,25 $/kWh, üblich in weiten Teilen Europas) beeinflusst dies die Wirtschaftlichkeit von GPU-Besitz gegenüber Cloud-Miete erheblich.
Break-Even-Analyse: Kaufen vs. Mieten
Die Entscheidung, GPUs zu kaufen oder zu mieten, hängt von Auslastung und Zeithorizont ab. Hier ist die Rechnung für die H100 — der häufigste Entscheidungspunkt:
- H100 Kaufpreis: ~25.000 $
- Marktplatz-Mietpreis: ~3,15 $/Std.
- Break-Even-Stunden: 25.000 ÷ 3,15 = ~7.937 Stunden
- Bei 24/7-Betrieb: ~11 Monate bis zum Break-Even
- Bei 60 % Auslastung: ~18 Monate bis zum Break-Even
Rechnen Sie Strom (0,07 $/Std.), Kühlungsaufwand (0,02 $/Std.) und Wartung hinzu, und die effektiven Besitzkosten über 3 Jahre betragen etwa 1,05 $/Std. — wettbewerbsfähig mit Marktplatzpreisen, aber nur bei anhaltend hoher Auslastung.
Die kritische Variable ist die Auslastung. Wenn Ihre GPUs 50 % der Zeit im Leerlauf stehen, zahlen Sie den doppelten effektiven Preis. Cloud-Miete eliminiert Leerlaufkosten vollständig — Sie zahlen nur, wenn die Berechnung läuft.
Für einen vollständigen Mieten-vs.-Kaufen-Rahmen, der Kühlung, Einrichtungen, Personal und Abschreibung einschließt, lesen Sie unseren detaillierten Kostenvergleich.
Ausblick 2026: Blackwell, Rubin und was als Nächstes kommt
Die GPU-Landschaft verändert sich rasant. Hier ist, was für die Planung Ihrer KI-Infrastruktur wichtig ist:
NVIDIA B200 (Blackwell-Architektur) — Bereits in begrenzten Mengen ausgeliefert, liefert die B200 etwa die 4-fache Trainingsleistung der H100 mit 192 GB HBM3e und 1.000 W TDP. Sie ist die beste Wahl für neue groß angelegte Trainingscluster, bleibt aber bis 2027 in der Lieferung eingeschränkt. Die Cloud-Verfügbarkeit wird bei Hyperscalern und spezialisierten Anbietern ausgebaut.
NVIDIA Rubin-Architektur — Angekündigt für Ende 2026, packt Rubin 336 Milliarden Transistoren und zielt auf 50 PFLOPS FP4-Inferenz. Wenn termingerecht geliefert, stellt sie einen etwa 5-fachen Sprung gegenüber Blackwell beim Inferenzdurchsatz dar. Dies wird die Kosten-pro-TFLOP-Gleichung dramatisch verändern — doch Beschaffungsvorlaufzeiten bedeuten, dass die meisten Teams erst 2027 auf Rubin-Hardware zugreifen können.
AMD MI350X und MI355X — AMDs Antwort auf Blackwell. Die MI355X hat 30 % schnellere Inferenz als die B200 bei Llama 3.1 405B demonstriert, mit wettbewerbsfähigen Preisen. AMDs wachsendes ROCm-Ökosystem reduziert die CUDA-Abhängigkeit für Inferenz-Workloads. Für einen detaillierten Vergleich lesen Sie unsere NVIDIA-vs.-AMD-Analyse.
Die praktische Auswirkung: Kaufen Sie heute keine Hardware in der Erwartung, dass sie 3+ Jahre erstklassig bleibt. GPU-Generationen wechseln alle 18–24 Monate, und jede Generation liefert 2–4-fache Leistung gegenüber der vorherigen. Für die meisten Teams gibt Mieten Zugang zur neuesten Hardware ohne Abschreibungsrisiko.
Entscheidungshilfe: Die Checkliste
Bevor Sie eine GPU auswählen, beantworten Sie diese fünf Fragen:
-
Was ist Ihr Workload? Training, Fine-Tuning oder Inferenz? Jeder hat unterschiedliche Anforderungen an Rechenleistung, Speicher und Bandbreite.
-
Wie groß ist Ihr Modell? Modelle unter 13B Parametern können auf 24-GB-GPUs laufen. Modelle über 70B erfordern Multi-GPU-Setups mit 80+ GB pro GPU.
-
Wie hoch ist Ihr Stundenbudget? Unter 1 $/Std. sind Ihre Optionen RTX 4090, A100 auf Spot oder L4. Ab 3+ $/Std. können Sie auf H100 oder B200 zugreifen.
-
Wie viele Stunden pro Monat werden Sie nutzen? Unter 100 Stunden → immer mieten. 100–500 Stunden → von Marktplätzen mieten. Über 500 Stunden bei hoher Auslastung → Kauf in Betracht ziehen.
-
Wie lange brauchen Sie diese Hardware? Unter 18 Monaten → mieten (vermeidet Abschreibung). 18+ Monate bei hoher Auslastung → Kauf könnte sich amortisieren. Für einen tieferen Vergleich zwischen GPU-Architekturen, einschließlich wie CPUs und GPUs sich ergänzen, lesen Sie unseren GPU-vs.-CPU-Leitfaden.
Wichtige Erkenntnis: Die „beste” GPU ist die günstigste, die Ihren spezifischen Workload ausführen kann. Eine RTX 4090 beim Fine-Tuning eines 7B-Modells ist eine bessere Investition als eine H100 für dieselbe Aufgabe — Sie erhalten dasselbe Ergebnis zu 1/5 der Kosten.
Häufig gestellte Fragen
Was ist die beste GPU für das Training großer Sprachmodelle?
Für Modelle über 70B Parameter bleibt die NVIDIA H100 der Standard — sie bietet 80 GB HBM3, NVLink 4.0 für Multi-GPU-Skalierung und das ausgereifteste Software-Ökosystem. Die B200 ist der nächste Schritt mit 192 GB HBM3e und etwa 4-facher Trainingsleistung, doch die Verfügbarkeit ist begrenzt. Für kleinere Modelle (7B–13B) bieten die RTX 4090 oder A100 hervorragende Leistung zu einem Bruchteil der Kosten. Für einen detaillierten Vergleich von NVIDIAs Ampere-Generationsoptionen lesen Sie unseren A100 vs. A6000 vs. A2000 Vergleich.
Ist die RTX 4090 gut für KI?
Ja — sie ist eine der kosteneffektivsten GPUs für KI-Fine-Tuning und Inferenz kleiner bis mittlerer Modelle. Ihre 24 GB VRAM bewältigen Modelle bis ~13B Parameter (mit Quantisierung), und ihre Kosten pro TFLOP sind die besten der Branche. Die Einschränkung ist VRAM: Für Modelle, die 24 GB übersteigen, brauchen Sie eine Rechenzentrum-GPU mit mehr Speicher. Ihr fehlt auch NVLink, was Multi-GPU-Skalierung weniger effizient macht als bei Rechenzentrumskarten.
Sollte ich eine GPU für KI kaufen oder mieten?
Mieten Sie, wenn Ihre Auslastung unter 60 % liegt oder Ihr Zeithorizont unter 18 Monaten. Der GPU-Markt bewegt sich schnell — alle 2 Jahre eine neue Architektur bedeutet, dass gekaufte Hardware schnell an Wert verliert. Mieten über GPU-Marktplätze gibt Ihnen Zugang zur neuesten Hardware bei 0,60–3,15 $/Std. ohne Kapitalinvestition. Kaufen Sie nur bei anhaltenden, vorhersehbaren Workloads mit 500+ Stunden/Monat über 2+ Jahre.
Was sind Kosten pro TFLOP und warum sind sie wichtig?
Kosten pro TFLOP teilen den stündlichen Mietpreis einer GPU durch ihre Gleitkommaleistung in TFLOPS. Sie normalisieren die Leistung über GPU-Modelle hinweg und zeigen, welche Karte Ihnen die meiste KI-Rechenleistung pro Dollar bietet. Eine GPU mit niedrigem Stundenpreis aber niedriger Leistung kann tatsächlich pro Arbeitseinheit mehr kosten als eine teurere, leistungsstärkere GPU. Es ist die nächstliegende Einzelkennzahl für „Preis-Leistungs-Verhältnis” im GPU-Computing.
Wie viel VRAM brauche ich für KI?
Eine Faustregel: Ein Modell mit N Milliarden Parametern benötigt ungefähr 2×N GB VRAM für Inferenz in FP16 und 4×N GB für Training (aufgrund von Gradienten und Optimizer-Zuständen). Ein 7B-Modell braucht ~14 GB für Inferenz, ~28 GB für vollständiges Fine-Tuning. Quantisierung (INT8, INT4) kann den VRAM-Bedarf um das 2- bis 4-Fache reduzieren. Verwenden Sie die RTX 4090 (24 GB) für Modelle bis ~13B quantisiert, die A100/L40S (48–80 GB) für Modelle bis ~40B und die H100/H200/B200 (80–192 GB) für 70B+-Modelle.