快速回答：您应该选择哪款GPU？
没有单一的”最佳AI GPU”。正确的选择取决于三个因素：您在做什么（训练、微调还是推理）、您的模型有多大（1B参数还是70B+）以及您愿意花多少钱（每小时和总计）。
如果您需要一句话的答案：对于大规模训练，选H100或B200。对于高性价比微调，选RTX 4090或A100。对于生产推理，选L40S或L4。但真正的关键在于数字——具体来说，是大多数GPU指南忽略的指标：每TFLOP成本。
本指南聚焦于该指标。我们不重复完整GPU指南中已有的原始规格表，而是分析哪款GPU能为您的特定工作负载提供每美元最多的AI性能。
每TFLOP成本：真正重要的指标
原始TFLOPS（每秒万亿次浮点运算）告诉您GPU的计算速度。但速度脱离了背景就毫无意义。H200提供约1,000 FP16 TFLOPS，但每小时花费$3.80。RTX 4090提供约330 FP16 TFLOPS，每小时仅$0.60。哪个才是真正更划算的？
每TFLOP成本回答了这个问题：用每小时云租赁价格除以FP16 TFLOPS评级。越低越好。
结果出乎意料。RTX 4090——一款消费级游戏显卡——在整个产品线中提供了最佳的每TFLOP成本。B200——NVIDIA最新的数据中心旗舰——排名第二。流行的H100处于中间位置，而L40S是每TFLOP效率最低的。
但每TFLOP成本并不是全部。RTX 4090只有24 GB GDDR6X显存，这将其限制在该内存范围内的模型。B200拥有192 GB HBM3e，可以容纳大8倍的模型。原始效率必须与能力平衡考虑。
| GPU | 显存 | FP16 TFLOPS | 云端$/小时 | 每TFLOP成本/小时 | 购买价格 | TDP |
|---|---|---|---|---|---|---|
| B200 | 192 GB HBM3e | ~2,500 | ~$4.70 | $0.0019 | $45–50K | 1,000W |
| H200 | 141 GB HBM3e | ~1,000 | ~$3.80 | $0.0038 | $30–40K | 700W |
| H100 | 80 GB HBM3 | ~1,000 | ~$3.15 | $0.0032 | ~$25K | 700W |
| A100 80GB | 80 GB HBM2e | ~312 | ~$0.72 | $0.0023 | ~$15K（二手） | 300W |
| L40S | 48 GB GDDR6X | ~366 | ~$1.50 | $0.0041 | ~$8K | 350W |
| RTX 4090 | 24 GB GDDR6X | ~330 | ~$0.60 | $0.0018 | ~$1,600 | 450W |
关键洞察： 每小时最贵的GPU并不一定是每单位工作成本最高的。每TFLOP成本揭示了RTX 4090和B200是效率领先者——分别处于能力谱的两端。
工作负载推荐：将GPU与任务匹配
合适的GPU不是最快或最便宜的——而是与您的工作负载匹配的那个。以下是一个实用的决策框架。
微调中小模型（7B-13B参数）
最佳选择：RTX 4090（$0.60/小时）或A100 40GB
使用LoRA或QLoRA微调7B参数模型需要大约14-20 GB显存——完全在RTX 4090的24 GB范围内。在GPU市场上每小时$0.60，一次10小时的微调任务仅花费**$6**。同样的工作在H100上每小时$3.15花费**$31.50**——对于一个不需要H100额外显存或带宽的工作负载，成本高出5倍以上。
对于13B模型的全量微调（不使用LoRA），~$0.72/小时的A100 40GB以H100定价的一小部分提供充足的显存。
大模型预训练（70B+参数）
最佳选择：多GPU集群中的H100或B200
预训练70B+参数模型仅模型本身就需要140+ GB显存，再加上激活值、梯度和优化器状态。除了B200（192 GB）之外，没有单个GPU可以将此容纳在内存中。实际上，这些工作负载使用模型并行和数据并行在8-128+ GPU的多GPU集群上运行。
H100的NVLink 4.0互连（900 GB/s双向）实现了高效的多GPU通信——这对于GPU必须在每次前向/反向传播中共享梯度的分布式训练至关重要。B200通过更高的带宽和更大的内存更进一步，但到2027年供应仍然受限。
在大规模部署中，总成本是惊人的。据报道，训练GPT-4使用了10,000+块A100 GPU运行了数月。即使按市场定价，一个1,000 GPU的H100集群运行30天的成本约为230万美元。
生产推理（批处理）
最佳选择：L40S（$1.50/小时）最具成本效益
批量推理——同时处理多个请求——受益于L40S的48 GB GDDR6X显存和强大的FP16性能。虽然其每TFLOP成本高于RTX 4090，但其双倍的显存容量让它可以服务更大的模型和更大的批次大小，提高每美元的吞吐量。
对于模型适合24 GB的推理工作负载（大多数7B模型量化后），RTX 4090仍然是最具成本效益的选择。
生产推理（低延迟）
最佳选择：H200追求速度，L4用于边缘
当单个请求的延迟比吞吐量更重要时（聊天机器人、实时API），H200的4,800 GB/s内存带宽提供最快的token生成。L4（$0.30-$1.00/小时）作为边缘轻量级推理的经济选择——24 GB显存，成本仅为其他选项的一小部分。
功耗和运营成本
GPU选择不仅仅是关于计算和云端定价。如果您拥有硬件（或正在考虑），电力成本会随时间显著累积。
| GPU | TDP（瓦特） | 年电力成本* | 有效$/小时（3年所有权） |
|---|---|---|---|
| B200 | 1,000W | ~$526/年 | ~$1.80 |
| H100 / H200 | 700W | ~$368/年 | ~$1.05 |
| RTX 4090 | 450W | ~$237/年 | ~$0.25 |
| L40S | 350W | ~$184/年 | ~$0.40 |
| A100 | 300W | ~$158/年 | ~$0.55 |
假设60%的平均利用率和$0.10/kWh的电费。
B200的1,000W TDP使其成为产品线中最耗电的GPU——在中等利用率下仅电力一项年花费就超过$500。对于电力成本较高地区（超过$0.25/kWh，在欧洲大部分地区很常见）的硬件所有者来说，这显著影响了GPU拥有与云租赁的经济性对比。
盈亏平衡分析：购买vs.租赁
购买还是租赁GPU的决策归结为利用率和时间范围。以下是H100的计算——最常见的决策点：
- H100购买价格： ~$25,000
- 市场租赁费率： ~$3.15/小时
- 盈亏平衡小时数： 25,000 ÷ 3.15 = ~7,937小时
- 24/7运行时： ~11个月达到盈亏平衡
- 60%利用率时： ~18个月达到盈亏平衡
加上电力（$0.07/小时）、散热开销（$0.02/小时）和维护费用，3年的有效所有权成本约为**$1.05/小时**——与市场定价具有竞争力，但仅在持续高利用率下才成立。
关键变量是利用率。如果您的GPU有50%的时间闲置，您实际上支付了双倍的有效费率。云租赁完全消除了闲置成本——您只在计算运行时付费。
有关包含散热、设施、人员和折旧的完整租赁vs.购买框架，请参阅我们的详细成本比较。
2026年展望：Blackwell、Rubin及未来趋势
GPU格局正在快速变化。以下是规划AI基础设施时需要关注的内容：
NVIDIA B200（Blackwell架构）——已开始限量发货，B200提供大约H100四倍的训练性能，配备192 GB HBM3e和1,000W TDP。它是新建大规模训练集群的最佳选择，但到2027年供应仍然受限。云端可用性正在超大规模运营商和专业提供商中扩展。
NVIDIA Rubin架构——宣布将于2026年底推出，Rubin集成3,360亿个晶体管，目标是50 PFLOPS的FP4推理。如果按时交付，它代表了比Blackwell大约5倍的推理吞吐量飞跃。这将极大地改变每TFLOP成本等式——但采购前置时间意味着大多数团队要到2027年才能访问Rubin硬件。
AMD MI350X和MI355X——AMD对Blackwell的回应。MI355X在Llama 3.1 405B上展示了比B200快30%的推理速度，定价具有竞争力。AMD不断发展的ROCm生态系统正在减少推理工作负载对CUDA的依赖。有关详细比较，请参阅我们的NVIDIA vs. AMD分析。
实际影响： 不要指望今天购买的硬件能保持3年以上的顶级水平。GPU世代每18-24个月更新一次，每一代都提供前一代2-4倍的性能。对于大多数团队来说，租赁可以让您获得最新硬件而无需承担折旧风险。
如何选择：决策清单
在选择GPU之前，回答以下五个问题：
-
您的工作负载是什么？ 训练、微调还是推理？每种都有不同的计算、内存和带宽需求。
-
您的模型有多大？ 13B参数以下的模型可以在24 GB GPU上运行。70B以上的模型需要每GPU 80+ GB的多GPU设置。
-
您每小时的预算是多少？ 如果低于$1/小时，您的选择是RTX 4090、A100竞价实例或L4。如果$3+/小时，您可以使用H100或B200。
-
您每月使用多少小时？ 低于100小时→始终租赁。100-500小时→从市场租赁。超过500小时且利用率高→考虑自购。
-
您需要这套硬件多长时间？ 低于18个月→租赁（避免折旧）。18个月以上且利用率高→购买可能达到盈亏平衡。有关GPU架构之间的更深入比较，包括CPU和GPU如何互补，请参阅我们的GPU vs. CPU指南。
关键洞察： “最佳”GPU是能够运行您特定工作负载的最便宜的那个。一块RTX 4090微调7B模型是比H100做同样工作更好的投资——您以1/5的成本获得了同样的结果。
常见问题
训练大型语言模型的最佳GPU是什么？
对于70B参数以上的模型，NVIDIA H100仍然是标准——它提供80 GB HBM3、用于多GPU扩展的NVLink 4.0以及最成熟的软件生态系统。B200是下一个台阶，配备192 GB HBM3e和约4倍的训练性能，但可用性有限。对于较小的模型（7B-13B），RTX 4090或A100以极低的成本提供出色的性能。有关NVIDIA Ampere代产品的详细比较，请参阅我们的A100 vs A6000 vs A2000评测。
RTX 4090适合AI吗？
是的——它是中小模型AI微调和推理中最具成本效益的GPU之一。其24 GB显存可以处理最多约13B参数的模型（经量化处理），其每TFLOP成本是业界最佳。限制在于显存：对于超过24 GB的模型，您需要具有更多内存的数据中心GPU。它也缺少NVLink，使得多GPU扩展不如数据中心卡高效。
我应该为AI购买还是租赁GPU？
如果您的利用率低于60%或时间范围不到18个月，则租赁。GPU市场变化很快——每2年一个新架构意味着购买的硬件会快速折旧。从GPU市场上以$0.60-$3.15/小时的价格租赁可以让您获得最新硬件而无需资本投入。只有在您有持续、可预测的工作负载每月运行500+小时且持续2年以上时才考虑购买。
什么是每TFLOP成本，为什么它重要？
每TFLOP成本将GPU的每小时租赁成本除以其浮点性能（TFLOPS）。它标准化了不同GPU型号之间的性能，揭示了哪张卡能给您带来每美元最多的AI计算。每小时费率低但性能也低的GPU实际上每单位工作可能比更贵但性能更高的GPU成本更高。它是GPU计算中最接近”性价比”的单一指标。
AI需要多少显存？
一个粗略的经验法则：具有N十亿参数的模型在FP16推理时大约需要2×N GB显存，训练时需要4×N GB（由于梯度和优化器状态）。7B模型推理需要约14 GB，全量微调需要约28 GB。量化（INT8、INT4）可以将显存需求降低2-4倍。对于最多约13B量化模型使用RTX 4090（24 GB），对于最多约40B模型使用A100/L40S（48-80 GB），对于70B+模型使用H100/H200/B200（80-192 GB）。