빠른 답변: 렌탈 vs 구매?
렌탈: GPU 가동률 60% 미만, 프로젝트 기간 18개월 미만, 스케일업/다운 유연성 필요, 감가 리스크 없이 최신 하드웨어 접근을 원하는 경우.
구매: 24/7 지속 가동률 60% 이상, 2년 이상 안정적이고 예측 가능한 워크로드, 물리적 인프라 관리 자본과 인력 보유, 18~24개월 감가 주기를 감수할 수 있는 경우.
대부분의 조직에 대한 답은 하이브리드입니다: 예측 가능한 워크로드에는 기본 용량을 소유하고, 스파이크, 실험, 신규 하드웨어 접근에는 클라우드 공급자나 GPU 마켓플레이스에서 렌탈.
GPU 서버 구매의 실제 비용
하드웨어 비용
| 구성 요소 | 비용 범위 |
|---|---|
| GPU (×8 H100 SXM) | $200,000~$320,000 |
| 서버 섀시 + CPU | $10,000~$25,000 |
| 시스템 RAM | $3,000~$8,000 |
| NVMe 스토리지 | $2,000~$10,000 |
| 고속 네트워킹 | $5,000~$15,000 |
| 하드웨어 합계 | $222,000~$383,000 |
연간 운영 비용
| 비용 | 연간 추정 |
|---|---|
| 전력 | $45,000~$75,000 |
| 냉각 | $10,000~$25,000 |
| 시설/코로케이션 | $20,000~$60,000 |
| 인력 | $30,000~$80,000 |
| 네트워크/대역폭 | $5,000~$15,000 |
| 보험/보증 | $5,000~$15,000 |
| 연간 OpEx 합계 | $115,000~$270,000 |
3년 TCO: $570,000~$120만 (단일 8×H100 노드).
핵심 인사이트: 대부분의 “구매 vs 렌탈” 분석은 하드웨어 가격과 클라우드 시간당 요금만 비교합니다. 전기료, 냉각, 인력, 시설, 감가상각을 무시하면 소유 비용을 크게 과소평가하게 됩니다 — 3년간 하드웨어 비용 자체에 필적하거나 초과합니다.
GPU 컴퓨팅 렌탈의 실제 비용
| 공급자 유형 | H100 가격/시간 | 월간 | 연간 | 3년 합계 |
|---|---|---|---|---|
| 하이퍼스케일러 온디맨드 | $3.00~$6.98 | $2,190~$5,095 | $26,280~$61,140 | $78,840~$183,420 |
| 하이퍼스케일러 예약 | $2.00~$4.50 | $1,460~$3,285 | $17,520~$39,420 | $52,560~$118,260 |
| 전문 클라우드 | $2.00~$3.00 | $1,460~$2,190 | $17,520~$26,280 | $52,560~$78,840 |
| GPU 마켓플레이스 | $1.50~$2.50 | $1,095~$1,825 | $13,140~$21,900 | $39,420~$65,700 |
손익분기 분석
단일 H100 계산:
- 구매 + 3년 운영 비용/GPU: 약 $67,000
- 100% 가동 시 실효 시간당 요금: $2.55/시간
- 60% 가동 시 실효 시간당 요금: $4.25/시간 — 마켓플레이스 렌탈보다 비쌈
- 마켓플레이스 렌탈 요금: 약 $1.50~$3.15/시간
60% 가동률에서 손익분기 타임라인: 약 18~22개월. 2년 이상 60% 이상 가동률을 유지할 확신이 없다면, 렌탈이 재무적으로 안전한 결정입니다.
대부분의 분석이 놓치는 숨겨진 비용
1. GPU 감가상각
GPU 세대는 18~24개월마다 교체됩니다. 각 신세대는 전세대 대비 24배 성능. 구매한 $25,000 H100은 30개월 후 $5,000$7,500 가치. 클라우드 렌탈은 감가 리스크 제로.
2. 자본의 기회비용
GPU 하드웨어에 묶인 $300,000는 제품, 팀, 시장 기회에 투자되지 않는 $300,000입니다.
3. 배포 시간
주문, 배송, 랙킹, 설정에 4~12주 소요. 클라우드 GPU 인스턴스는 몇 분 만에 사용 가능.
4. 스케일링 마찰
클라우드에서는 몇 분 만에 10배 GPU로 스케일업하고 완료 후 스케일다운. 소유하면 10배 서버의 구매, 배포, 유지보수가 필요.
하이브리드 접근법: 양쪽의 장점
예측 가능한 정상 워크로드에 GPU 용량을 소유. 피크 수요, 실험, 신규 하드웨어 접근에는 클라우드 공급자나 마켓플레이스에서 렌탈.
| 워크로드 유형 | 권장 접근법 | 이유 |
|---|---|---|
| 프로덕션 추론 (24/7) | 소유 (가동률 60% 초과 시) | 예측 가능, 높은 가동률 |
| 모델 학습 (수시) | 렌탈 | 간헐적, 최신 하드웨어 혜택 |
| R&D/실험 | 렌탈 (스팟) | 예측 불가, 낮은 가동률 |
| 피크 스케일링 | 렌탈 (온디맨드) | 일시적 |
결정을 위한 5가지 질문
1. 평균 GPU 가동률은?
- 40% 미만 → 항상 렌탈
- 40~60% → 렌탈, 스케줄링 최적화
- 60~80% → 하이브리드
- 80% 이상 → 소유가 재무적으로 합리적
2. 프로젝트 기간은?
- 12개월 미만 → 렌탈
- 12~24개월 → 렌탈 또는 하이브리드
- 24개월 이상 안정 워크로드 → 소유 검토
3. 인프라 전문성은?
- 데이터센터 운영 팀 없음 → 렌탈
- 제한된 팀 → 관리형 호스팅 또는 하이브리드
- 전담 인프라 팀 → 소유 가능
판단이 서지 않으면 렌탈부터 시작하세요. 클라우드 렌탈로 수주 내에 실제 가동률 데이터를 얻을 수 있습니다. 그 데이터로 정보에 기반한 구매 결정을 나중에 하세요.
자주 묻는 질문
GPU 서버 구매가 합리적인 때는 언제인가요?
평균 GPU 가동률이 60% 이상이고 18개월 이상 유지 가능한 경우. 60% 미만에서는 유휴 시간으로 렌탈이 더 저렴. 18개월 미만에서는 감가상각이 하드웨어 가치를 침식하기 전에 초기 투자를 회수할 수 없습니다.
GPU 서버의 월간 운영 비용은?
8×H100 노드는 부하 시 약 10,000와트를 소비합니다. $0.10/kWh로 24/7 가동하면 월 약 $730 전기료만. 냉각, 코로케이션, 유지보수를 더하면 월간 운영 비용은 $3,000~$8,000 — 하드웨어 구매비 미포함.