云GPU定价：全面概览
云GPU的广告小时费率并不是您实际支付的价格。真实的云GPU成本包括隐藏费用、计费粒度惩罚和基础设施开销，这些可能使您的账单在标价基础上膨胀20-40%。
本指南重点关注其他定价比较所遗漏的内容：运行GPU工作负载的总成本，而不仅仅是标价。我们比较三种类型的提供商，揭露隐藏成本，并提供五种具体策略来减少您的GPU支出。
有关GPU规格比较和工作负载推荐，请参阅我们的最佳AI GPU指南。本文重点关注提供商和定价——您在哪里租赁，而不是租什么。
三种类型的云GPU提供商
云GPU市场有三个不同的层级，每个层级都有不同的定价结构、权衡和目标客户。
超大规模运营商（AWS、Google Cloud、Azure）
主要云提供商将GPU实例作为其广泛基础设施平台的一部分提供。您可以获得企业SLA、全球区域、与托管服务（存储、ML平台、监控）的深度集成以及预留实例的保证可用性。
溢价：H100按需**$3.00-$6.98/小时**。预留实例（1-3年承诺）可降低30-50%，但需要长期锁定。
专业GPU云（Lambda、CoreWeave）
专注于GPU基础设施。这些提供商提供有竞争力的定价（H100 $2.00-$3.00/小时）、针对AI工作负载优化的配置和AI专注的支持——但托管服务少于超大规模运营商。
GPU市场（GPUnex、Vast.ai、RunPod）
从数百个分布式数据中心聚合GPU容量。通过汇集众多提供商的供应，市场提供最具竞争力的定价（H100 $1.49-$2.50/小时），并具有灵活的计费方式——通常按秒而非按小时。权衡包括可靠性不一和集成工具较少。
各GPU型号定价比较
以下是2026年初各GPU在不同提供商类型中的实际成本：
| GPU型号 | 超大规模按需 | 超大规模预留 | 专业云 | GPU市场 |
|---|---|---|---|---|
| H100 80GB | $3.00–$6.98/小时 | $2.00–$4.50/小时 | $2.00–$3.00/小时 | $1.49–$2.50/小时 |
| A100 80GB | $1.50–$3.50/小时 | $1.00–$2.50/小时 | $0.80–$1.50/小时 | $0.72–$1.50/小时 |
| L40S 48GB | $1.20–$2.50/小时 | $0.80–$1.80/小时 | $0.80–$1.50/小时 | $0.60–$1.20/小时 |
| L4 24GB | $0.50–$1.00/小时 | $0.30–$0.70/小时 | $0.30–$0.60/小时 | $0.20–$0.50/小时 |
| RTX 4090 24GB | 不提供 | 不提供 | $0.40–$0.80/小时 | $0.40–$0.80/小时 |
关键发现： 超大规模按需价格与市场定价之间的差距为2-4.7倍，硬件完全相同。对于H100，$6.98/小时（AWS按需）和$1.49/小时（市场竞价）之间的差异是**$5.49/小时**——对于单个24/7运行的GPU，每月累计达**$4,008**。
使您GPU账单膨胀的隐藏成本
每小时GPU费率只是故事的一部分。五类隐藏成本经常让团队措手不及：
1. 数据出站费用
将数据移出云提供商的网络需要付费——通常**$0.05-$0.12/GB**。训练一个下载1 TB训练数据并定期导出检查点的模型可能会增加**$50-$120**的出站费用。多云工作流（在一个提供商上训练，在另一个上推理）会倍增这些成本。
2. 存储成本
GPU实例需要磁盘空间用于数据集、模型检查点和日志。云存储成本**$0.02-$0.08/GB/月**。5 TB数据集存储3个月花费**$300-$1,200**——在GPU小时费率中不可见，但在账单上非常显眼。
3. 网络和负载均衡
生产推理需要负载均衡器、API网关和节点间网络。这些服务根据流量额外增加**$50-$200+/月**。多GPU训练集群会产生高速节点间网络的额外成本。
4. 最低承诺和计费舍入
一些提供商按小时增量计费——35分钟的任务与60分钟的任务花费相同。按秒计费（部分市场提供）消除了这种浪费。对于有很多短任务的突发工作负载，按小时计费可能浪费15-30%的支出在未使用的时间上。
5. API和管理服务费
托管ML服务（SageMaker、Vertex AI）在GPU计算之上收取额外费用。为了托管训练和部署流水线的便利性，这些可能在基础GPU成本上增加10-30%。
关键洞察： 一个GPU计算成本$3.15/小时的工作负载，加上出站、存储、网络和管理费后实际可能花费$4.00-$4.50/小时。始终计算工作负载的总成本，而不仅仅是GPU项。
如何将云GPU成本降低40%
五种经过验证的策略，结合使用可以将您的总GPU支出减少30-40%：
1. 使用竞价/可抢占实例（节省15-20%）
竞价实例提供比按需价格40-60%的折扣。代价是：它们可能会被短时间通知中断（通常2分钟到2小时）。对于容错工作负载——带检查点的训练、批量数据处理、非紧急推理——竞价实例是最大的单一成本杠杆。
最适合： 带定期检查点的模型训练、数据预处理、批量推理、实验。
不适合： 服务实时用户的生产推理、时间关键型任务、无法容忍中断的工作负载。
2. 正确选择GPU规格（节省8-12%）
许多团队默认选择最强大的GPU”以防万一”。一个在A100（$0.72/小时）上运行良好的工作负载不需要H100（$3.15/小时）。我们的最佳AI GPU指南提供了工作负载决策框架——将GPU型号与任务匹配可以为过度配置的工作负载降低50%以上的成本。
常见错误： 推理时使用H100而L40S就够了。微调小模型时使用A100而RTX 4090就行。在竞价实例可用时用按需实例跑批量推理。
3. 调度和自动扩缩（节省5-8%）
当您的团队每天工作8小时时，GPU实例24/7运行会浪费三分之二的支出。自动扩缩策略可以为训练任务启动GPU并在闲置时终止它们，从而回收大量浪费。即使是简单的调度——“上午8点开机，晚上8点关机”——也能为开发实例节省50%。
4. 将工作负载迁移到市场（节省10-15%）
对于不需要超大规模运营商特定托管服务的工作负载，迁移到GPU市场可以在计算上节省3-6倍。关键要求：您的工作负载必须是容器化的（Docker），且不依赖于特定提供商的API（SageMaker、Vertex AI）。
5. 使用预留/承诺容量（额外节省5-10%）
对于可预测的持续工作负载（生产推理、持续训练），预留容量承诺提供比按需价格30-50%的折扣。权衡是承诺——通常1-3年。将预留容量用于基线负载，竞价/市场用于可变负载。
各提供商详细分析
AWS（Amazon Web Services）
GPU实例： P5（H100）、P4（A100）、G5（A10G）、G6（L4）。
定价： H100按需：$4.50-$6.98/小时。预留（1年）：$3.00-$4.50/小时。竞价：~$1.50-$2.50/小时。
优势： 最广泛的托管服务生态系统（SageMaker、EKS、S3）、全球可用性、企业支持。
注意： 出站费（$0.09/GB）、复杂的定价层级、按需实例可用性波动。
Google Cloud Platform
GPU实例： A3（H100）、A2（A100）、G2（L4）。
定价： H100按需：$3.50-$5.50/小时。承诺（1年）：$2.50-$3.50/小时。竞价：~$1.50-$2.00/小时。
优势： 强大的TPU替代方案、出色的JAX/TensorFlow集成、Vertex AI托管平台、有竞争力的竞价定价。
注意： GPU队列规模小于AWS，部分地区可用性较少。
Microsoft Azure
GPU实例： ND H100（H100）、NC A100（A100）、NC T4（T4）。
定价： H100按需：$3.00-$5.00/小时。预留（1年）：$2.00-$3.50/小时。
优势： OpenAI集成（Azure OpenAI Service）、强大的企业身份/安全、混合云能力。
注意： GPU在热门地区可用性可能受限。
GPU市场
可用GPU： H100、A100、L40S、L4、RTX 4090等。 定价： H100：$1.49-$2.50/小时。A100：$0.72-$1.50/小时。RTX 4090：$0.40-$0.80/小时。 优势： 最低价格、灵活计费（部分平台按秒计费）、无承诺、广泛的GPU选择包括消费级显卡。 注意： 可靠性因提供商而异、托管工具较少、可能需要更多自助配置。
何时使用哪种提供商类型
| 场景 | 最佳提供商类型 | 原因 |
|---|---|---|
| 企业生产推理 | 超大规模运营商 | SLA、全球可用性、托管服务 |
| 大规模训练（1000+ GPU） | 超大规模或专业云 | 保证容量、NVLink网络 |
| 成本优化训练 | GPU市场（竞价） | 最低价格，检查点处理中断 |
| 开发和实验 | GPU市场 | 按秒计费、无承诺、低成本迭代 |
| 小团队/初创公司 | GPU市场 | 最低门槛、灵活扩展、无最低消费 |
| 批量推理 | GPU市场或竞价 | 容忍中断、价格敏感 |
| 监管工作负载（金融、医疗） | 超大规模运营商 | 合规认证、审计跟踪 |
有关租赁还是购买的问题——云租赁是否比拥有硬件更有意义——请参阅我们的详细成本比较。对于初创公司预算其首次GPU支出，请参阅我们的AI初创公司计算成本指南。
常见问题
租赁H100最便宜的方式是什么？
GPU市场提供最低的H100费率，$1.49-$2.50/小时。超大规模竞价实例紧随其后，$1.50-$2.50/小时，但可能被中断。最便宜的可靠选项是具有高正常运行时间评分的市场提供商。对于非时间关键型工作负载，任何平台上的竞价定价都提供最深的折扣。
隐藏成本真的那么重要吗？
是的。对于典型的训练工作负载，隐藏成本（出站、存储、网络）在GPU计算账单基础上增加20-40%。一个每小时$3.15的H100实例运行带2 TB数据传输和500 GB检查点存储的训练任务，总有效成本可能为$4.00-$4.50/小时。始终估算总工作负载成本，而不仅仅是GPU每小时费率。
我应该使用一个还是多个提供商？
多个。对成本敏感的工作负载（开发、批处理、推理）使用GPU市场。对生产推理和监管工作负载使用超大规模运营商。对容错任务在所有提供商中使用竞价定价。多元化可以防止锁定，让您在每个层级优化成本。
什么是按秒计费，它重要吗？
按秒计费仅对GPU实际活跃的精确时间收费。按小时计费会向上取整——35分钟的任务与60分钟花费相同。对于有很多短任务的工作负载（推理、实验、CI/CD），按秒计费节省15-30%。对于长时间运行的训练任务，差异可以忽略。
过去一年GPU价格如何变化？
H100价格在2024年6月至2025年6月间下降了44%，受供应扩大和市场竞争推动。A100价格随GPU老化下降更多。预计价格将随着NVIDIA和AMD增加产能而继续逐步下降，但新一代GPU（B200、Rubin）在发布时将维持溢价定价。有关更广泛的市场背景，请参阅我们的OpenAI-NVIDIA市场分析。