Główne liczby: ile naprawdę kosztują modele frontier
Trenowanie modelu AI frontier to jeden z najdroższych projektów inżynieryjnych w historii ludzkości. Oto rzeczywiste liczby:
| Model | Rok | Szacunkowy koszt treningu | Sprzęt GPU | Czas trwania treningu |
|---|---|---|---|---|
| GPT-3 (175B) | 2020 | ~4,6 mln USD | ~1000 GPU V100 | ~34 dni |
| PaLM (540B) | 2022 | ~12 mln USD | 6144 chipy TPU v4 | ~50 dni |
| GPT-4 (~1,8T MoE) | 2023 | ~79 mln USD | 10 000+ GPU A100 | ~100 dni |
| Gemini Ultra | 2024 | ~191 mln USD | 16 384 chipy TPU v5 | ~130 dni |
| Llama 3.1 405B | 2024 | ~60 mln USD | 16 384 GPU H100 | ~54 dni |
| DeepSeek R1 | 2025 | ~294 000 USD | ~2000 GPU H800 | ~55 dni |
Liczba DeepSeek R1 wyróżnia się. Podczas gdy laboratoria frontier wydają setki milionów, DeepSeek osiągnął konkurencyjną wydajność za mniej niż 300 000 USD dzięki agresywnym optymalizacjom wydajności — udowadniając, że koszt nie jest wyłącznie funkcją jakości modelu.
Rozkład kosztów treningu: obliczenia, dane i inżynieria
Koszt treningu to nie tylko wynajem GPU. Oto na co naprawdę idą pieniądze:
Obliczenia GPU (65%) to dominujący koszt. Dla przebiegu treningowego za 79 mln USD, około 51 milionów USD idzie na wynajem GPU lub zamortyzowane koszty sprzętu. To składnik kosztowy najbardziej wrażliwy na wybór dostawcy i wydajność sprzętu.
Przygotowanie danych (15%) obejmuje crawling webowy, filtrowanie, deduplikację, tokenizację i etykietowanie przez ludzi do RLHF. Dane wysokiej jakości są coraz droższe — dane syntetyczne i zautomatyzowane pipeline’y zmniejszają koszty, ale nie eliminują ich.
Inżynieria (12%) obejmuje badaczy ML, inżynierów infrastruktury i zespół wsparcia, którzy projektują, uruchamiają i debugują trening. Czołowi badacze AI zarabiają ponad 1 mln USD rocznej kompensacji. Przebieg treningowy frontier wymaga zespołu 20–50+ inżynierów przez miesiące.
Infrastruktura (8%) obejmuje storage (petabajty danych treningowych), szybką sieć (400 GbE między węzłami), oprogramowanie do orkiestracji i monitoring. Często niedoszacowana w początkowych budżetach.
Paradoks kosztów: dlaczego wydatki rosną, a koszty jednostkowe spadają
Oto nieintuicyjna rzeczywistość: całkowite koszty treningu rosną wykładniczo, podczas gdy koszt na jednostkę obliczeniową spada wykładniczo.
- Całkowite wydatki rosną o 2,4× rocznie — laboratoria trenują większe modele na większej ilości danych
- Koszt na FLOP spada o około 10× rocznie — lepszy sprzęt, lepsze algorytmy
- Koszty treningu jako procent przychodów rosną — nawet firmy o wartości biliona dolarów odczuwają presję
Ten paradoks istnieje, ponieważ laboratoria skalują się szybciej niż zyski wydajnościowe mogą zrównoważyć. Każda nowa generacja modelu jest 5–10× większa od poprzedniej, podczas gdy zyski wydajnościowe zmniejszają koszty na FLOP o 2–3× na generację. Efekt netto: więcej wydatków mimo tańszych obliczeń.
Co to oznacza dla popytu na GPU: Nawet gdy poszczególne GPU stają się bardziej wydajne i efektywne, całkowita liczba GPU wymaganych do treningu frontier nadal rośnie. To utrzymuje popyt — i siłę cenową — dla dostawców infrastruktury GPU.
Koszty treningu według rozmiaru modelu: od 7B do ponad 1T parametrów
Nie każdy trenuje modele frontier. Oto ile kosztuje trening w różnych skalach:
| Rozmiar modelu | Typowe obliczenia treningowe | Szacunkowy koszt (H100 marketplace) | Szacunkowy koszt (AWS) |
|---|---|---|---|
| 1B parametrów | ~1000 GPU-godzin | ~1500–2500 USD | ~4000–7000 USD |
| 7B parametrów | ~10 000 GPU-godzin | ~15 000–25 000 USD | ~40 000–70 000 USD |
| 13B parametrów | ~25 000 GPU-godzin | ~37 500–62 500 USD | ~100 000–175 000 USD |
| 70B parametrów | ~200 000 GPU-godzin | ~300 000–500 000 USD | ~800 000–1,4 mln USD |
| 405B parametrów | ~1 500 000 GPU-godzin | ~2,2–3,7 mln USD | ~6–10,5 mln USD |
| 1T+ (frontier) | ~10 000 000+ GPU-godzin | ~15–25 mln USD | ~40–70 mln USD |
Uwaga: To przybliżone szacunki. Rzeczywiste koszty różnią się znacznie w zależności od wydajności treningu, jakości danych, nieudanych prób dostrajania hiperparametrów i wykorzystania sprzętu.
2–3-krotna różnica w kosztach między marketplace’em a hiperscalerem jest konsekwentna we wszystkich skalach. Dla startupu trenującego model 7B to różnica między 15 tys. a 40 tys. USD — znacząca, ale do opanowania. Dla laboratorium frontier trenującego model 1T+ to dziesiątki milionów dolarów.
Jak wybór dostawcy wpływa na budżety treningowe
Gdzie wynajmujesz GPU to jedna z najbardziej wpływowych decyzji kosztowych w AI:
| Typ dostawcy | Miesięczny koszt H100 (24/7) | Roczny koszt | Oszczędności vs AWS |
|---|---|---|---|
| AWS (on-demand) | ~2800 USD | ~33 600 USD | — |
| Wyspecjalizowana chmura (Lambda) | ~2150 USD | ~25 800 USD | 23% |
| Marketplace (zweryfikowany host) | ~1150 USD | ~13 800 USD | 59% |
| Zarezerwowany/zobowiązany | ~1700 USD | ~20 400 USD | 39% |
Dla 1000 GPU-godzinnego przebiegu treningowego różnica między AWS on-demand a marketplace’em wynosi około 2000 USD. Skaluj to do 100 000 GPU-godzinnego przebiegu, a różnica to 200 000 USD. W skali frontier wybór dostawcy wpływa na budżety o miliony.
Szczegółowe porównania cen u wszystkich głównych dostawców znajdziesz w naszym przewodniku po cenach GPU w chmurze. Aby zrozumieć, który model GPU wybrać, zobacz nasz przewodnik po najlepszym GPU dla AI.
Kluczowa informacja: Wiele zespołów domyślnie wybiera istniejącego dostawcę chmury (AWS, GCP, Azure) do treningu, bo jest wygodny. Ta wygoda może kosztować 40–60% więcej niż alternatywy marketplace’owe. Dla przebiegów treningowych przekraczających 10 000 USD, 30 minut na założenie konta marketplace’owego zwraca się setki razy.
Przełomy wydajnościowe: trenowanie lepszych modeli za mniej
Przykład DeepSeek R1 (294 000 USD za konkurencyjną wydajność) ilustruje, że surowe wydatki nie są jedyną drogą. Kluczowe techniki wydajnościowe w 2026:
Mixture of Experts (MoE): Tylko podzbiór parametrów modelu aktywuje się na wejście, zmniejszając obliczenia na przebieg forward o 4–8×. GPT-4 podobno używa MoE — model o ~1,8T parametrach, gdzie na token aktywuje się tylko ~280B parametrów. To drastycznie zmniejsza wymagania treningowe FLOP na efektywny parametr.
Trening z uwzględnieniem kwantyzacji: Trening z niższą precyzją (BF16, FP8) od samego początku zmniejsza wymagania pamięciowe i obliczeniowe o 2–4× przy minimalnym wpływie na jakość. GPU NVIDIA Blackwell natywnie wspierają trening FP4.
Jakość danych ponad ilością: Badania OpenAI pokazują, że trening na mniejszych, wyższej jakości zbiorach danych może dorównać modelom trenowanym na 10× większej ilości danych niższej jakości. Inwestycja w kurację danych zmniejsza wymagania obliczeniowe.
Innowacje architektoniczne: Techniki takie jak Ring Attention (dla długiego kontekstu), FlashAttention (dla wydajności pamięci) i dekodowanie spekulatywne (dla szybszej inferencji) kumulują zyski wydajnościowe. Każda generacja technik zmniejsza obliczenia potrzebne dla danego poziomu jakości.
Destylacja: Trenowanie mniejszego modelu „ucznia”, aby naśladował większy model „nauczyciela”, może osiągnąć 80–95% wydajności nauczyciela przy 10–100× niższym koszcie treningu i inferencji.
Prognozy: dokąd zmierzają koszty treningu (2026–2028)
Górna granica ciągle rośnie. Dario Amodei z Anthropic stwierdził, że modele frontier mogą kosztować 10 miliardów USD w treningu do 2028 roku. Czy jakikolwiek pojedynczy model będzie naprawdę tyle kosztował, zależy od zysków wydajnościowych i ekonomii malejących zwrotów.
Dolna granica ciągle spada. Jednocześnie koszt wytrenowania modelu „równoważnego GPT-4” nadal maleje — z 79 mln USD w 2023 do szacowanych 5–10 mln USD w 2026 przy użyciu aktualnego sprzętu i technik wydajnościowych. Co było niedawno kosztowne na poziomie frontier, staje się osiągalne dla dobrze finansowanych startupów.
Implikacja dla popytu na GPU: Oba trendy utrzymują popyt na GPU. Laboratoria frontier potrzebują więcej GPU na większe modele. Mniejsze organizacje potrzebują GPU do trenowania tego, co niedawno było niemożliwe. Całkowity adresowalny rynek obliczeń treningowych rozszerza się w obu kierunkach.
Aby dowiedzieć się, jak koszty inferencji podążają za podobnym, ale jeszcze bardziej stromym spadkiem, zobacz naszą analizę ekonomii inferencji. Dla porad budżetowych specyficznych dla startupów zobacz nasz przewodnik po kosztach obliczeniowych startupów AI.
Najczęściej zadawane pytania
Ile kosztuje fine-tuning modelu?
Fine-tuning jest drastycznie tańszy niż pre-training. Fine-tuning modelu 7B kosztuje około 50–500 USD na marketplace’u GPU (kilkaset GPU-godzin). Fine-tuning modelu 70B kosztuje 500–5000 USD. Techniki LoRA i QLoRA zmniejszają te koszty o kolejne 5–10×. Fine-tuning jest dostępny dla praktycznie każdego zespołu z budżetem kilkuset dolarów.
Dlaczego trening GPT-4 jest tak drogi?
Skala. GPT-4 podobno był trenowany na 13 bilionach tokenów przy użyciu ponad 10 000 GPU A100 przez około 100 dni. Przy stawkach marketplace’owych A100 (~1,00 USD/godz.), 10 000 GPU przez 2400 godzin to 24 miliony USD samych obliczeń — a rzeczywiste koszty były wyższe ze względu na restarty treningu, dostrajanie hiperparametrów i overhead infrastrukturalny.
Czy mogę wytrenować użyteczny model AI za mniej niż 1000 USD?
Tak. Fine-tuning istniejących modeli open-source (Llama 3, Mistral) na danych specyficznych dla domeny można zrobić za 50–500 USD. Trenowanie małego modelu (1B–3B parametrów) od zera kosztuje 1000–5000 USD. Kluczem jest wykorzystanie pre-trenowanych modeli i wydajnych technik jak LoRA zamiast trenowania od zera.
Jak koszty treningu wpływają na rynek AI?
Wysokie koszty treningu tworzą bariery wejścia — tylko dobrze finansowane organizacje mogą trenować modele frontier. To koncentruje władzę wśród kilku laboratoriów (OpenAI, Anthropic, Google, Meta). Jednak modele open-source (Llama, Mistral, DeepSeek) i malejące koszty fine-tuningu demokratyzują dostęp do wydajnego AI. Bariera kosztów treningu jest wysoka dla modeli frontier, ale niska dla zastosowanego AI.
Czy koszty treningu będą nadal rosły?
Całkowite wydatki na trening frontier prawdopodobnie będą nadal rosły (w kierunku ponad 1 mld USD), ponieważ laboratoria dążą do większych, bardziej wydajnych modeli. Ale koszt osiągnięcia danego poziomu wydajności szybko spada — co kosztowało 79 mln USD w 2023, będzie kosztować poniżej 10 mln USD do 2026. Oba stwierdzenia są jednocześnie prawdziwe.
Jak oszacować koszty treningu dla mojego projektu?
Reguła: model o N miliardach parametrów trenowany na T tokenach wymaga około (6 × N × T) FLOP. Podziel przez szybkość FLOP/s GPU, aby uzyskać GPU-godziny. Pomnóż przez stawkę godzinową. Przykład: model 7B trenowany na 1T tokenach potrzebuje ~42 × 10^18 FLOP. H100 dostarcza ~990 TFLOPS (BF16). To około 11 800 GPU-godzin, czyli około 17 700 USD przy stawce marketplace’owej 1,50 USD/godz. Dodaj 30–50% na overhead (restarty, dostrajanie, ewaluacja).