클라우드 GPU 가격: 전체 그림
클라우드 GPU의 광고 시간당 요금은 실제 지불 금액이 아닙니다. 실제 클라우드 GPU 비용에는 숨겨진 수수료, 과금 단위 패널티, 인프라 오버헤드가 포함되어 헤드라인 가격 대비 20~40% 청구서를 부풀릴 수 있습니다.
세 가지 유형의 클라우드 GPU 공급자
하이퍼스케일러 (AWS, Google Cloud, Azure)
프리미엄: H100 온디맨드 $3.00~$6.98/시간. 예약 인스턴스(13년 약정)로 3050% 할인되지만 장기 잠금 필요.
전문 GPU 클라우드 (Lambda, CoreWeave)
GPU 인프라에 특화. H100 기준 $2.00~$3.00/시간의 경쟁력 있는 가격.
GPU 마켓플레이스 (GPUnex, Vast.ai, RunPod)
수백 개의 분산 데이터센터에서 GPU 용량을 집계. H100 기준 $1.49~$2.50/시간의 가장 경쟁력 있는 가격.
GPU 모델별 가격 비교
| GPU 모델 | 하이퍼스케일러 온디맨드 | 하이퍼스케일러 예약 | 전문 클라우드 | GPU 마켓플레이스 |
|---|---|---|---|---|
| H100 80GB | $3.00~$6.98/시간 | $2.00~$4.50/시간 | $2.00~$3.00/시간 | $1.49~$2.50/시간 |
| A100 80GB | $1.50~$3.50/시간 | $1.00~$2.50/시간 | $0.80~$1.50/시간 | $0.72~$1.50/시간 |
| L40S 48GB | $1.20~$2.50/시간 | $0.80~$1.80/시간 | $0.80~$1.50/시간 | $0.60~$1.20/시간 |
| L4 24GB | $0.50~$1.00/시간 | $0.30~$0.70/시간 | $0.30~$0.60/시간 | $0.20~$0.50/시간 |
| RTX 4090 24GB | N/A | N/A | $0.40~$0.80/시간 | $0.40~$0.80/시간 |
핵심 관찰: 하이퍼스케일러 온디맨드와 마켓플레이스 가격 간 차이는 동일 GPU 하드웨어에 대해 2~4.7배입니다.
GPU 청구서를 부풀리는 숨겨진 비용
1. 데이터 이그레스 수수료
클라우드 공급자 네트워크 외부로 데이터 이동에 GB당 $0.05~$0.12 비용.
2. 스토리지 비용
클라우드 스토리지 비용 월 $0.02~$0.08/GB. 5TB 데이터셋을 3개월 저장하면 $300~$1,200.
3. 네트워킹 및 로드 밸런싱
프로덕션 추론에는 로드 밸런서, API 게이트웨이, 노드 간 네트워킹이 필요. 월 $50~$200+ 추가.
4. 최소 약정 및 올림
일부 공급자는 시간 단위로 과금 — 35분 작업이 60분 작업과 같은 비용. 초 단위 과금으로 이 낭비를 제거.
5. API 및 관리 서비스 수수료
관리형 ML 서비스가 기본 GPU 비용 위에 10~30% 추가.
핵심 인사이트: GPU 컴퓨팅에 $3.15/시간인 워크로드가 이그레스, 스토리지, 네트워킹, 관리 수수료를 더하면 총 $4.00~$4.50/시간이 될 수 있습니다.
클라우드 GPU 비용을 40% 절감하는 방법
1. 스팟/선점 가능 인스턴스 사용 (15~20% 절약)
온디맨드 대비 40~60% 할인. 체크포인트가 있는 학습, 배치 데이터 처리에 최적.
2. GPU 적정 규모 설정 (8~12% 절약)
A100($0.72/시간)에서 잘 돌아가는 워크로드에 H100($3.15/시간)이 불필요합니다.
3. 스케줄링 및 자동 스케일링 (5~8% 절약)
팀이 하루 8시간 일하는데 GPU 인스턴스가 24/7 실행되면 2/3의 지출이 낭비.
4. 마켓플레이스로 워크로드 전환 (10~15% 절약)
컨테이너화된 워크로드를 GPU 마켓플레이스로 이동하면 컴퓨팅에 3~6배 절약.
5. 예약/약정 용량 사용 (추가 5~10% 절약)
예측 가능한 지속적 워크로드에 온디맨드 대비 30~50% 할인.
언제 어떤 공급자 유형을 사용할지
| 시나리오 | 최적 공급자 유형 | 이유 |
|---|---|---|
| 기업 프로덕션 추론 | 하이퍼스케일러 | SLA, 글로벌 가용성, 관리 서비스 |
| 대규모 학습 (1000+ GPU) | 하이퍼스케일러 또는 전문 클라우드 | 보장된 용량 |
| 비용 최적화 학습 | GPU 마켓플레이스 (스팟) | 최저 가격 |
| 개발 및 실험 | GPU 마켓플레이스 | 초 단위 과금, 무약정 |
| 소규모 팀/스타트업 | GPU 마켓플레이스 | 최저 진입 장벽 |
| 규제 워크로드 | 하이퍼스케일러 | 컴플라이언스 인증 |
자주 묻는 질문
H100을 가장 싸게 렌탈하는 방법은?
GPU 마켓플레이스가 $1.49~$2.50/시간으로 가장 낮은 H100 요금을 제공합니다. 하이퍼스케일러 스팟이 $1.50~$2.50/시간으로 그 다음이지만 중단될 수 있습니다.
숨겨진 비용이 정말 그렇게 크나요?
네. 일반적인 학습 워크로드에서 숨겨진 비용(이그레스, 스토리지, 네트워킹)이 GPU 컴퓨팅 청구서 위에 **20~40%**를 추가합니다.
GPU 가격은 지난 1년간 어떻게 변했나요?
H100 가격은 2024년 6월~2025년 6월 사이 44% 하락했으며, 공급 확대와 마켓플레이스 경쟁이 요인입니다.