Lepton AI：NVIDIA DGX Cloud Lepton，GPU 云 + 无服务器推理，预置 Llama 低至 $0.03/M token

官方背景

Lepton AI 是 GPU 云 + 无服务器推理平台，2023 年成立、2025 年 3 月被 NVIDIA 收购，并入 DGX Cloud Lepton 产品线。开发者几行代码即可部署任意开源 / 自定义模型并拿到生产端点，享受 NVIDIA 的 GPU 供给与新一代硬件。

核心能力

① 无服务器推理：预置 Llama 等开源模型，Llama 3.2 3B 低至 $0.03 / 百万 token；② 自定义模型部署：从 Hugging Face / PyTorch 一键推送拿端点；③ OpenAI 兼容 API（api.lepton.ai/api/v1）；④ Scale-to-zero：空闲不计费；⑤ 提供 Blackwell / H100 / H200 / A100 GPU；⑥ Python SDK + REST API，SOC 2 / HIPAA。

应用场景

创业团队用无服务器推理跑开源模型、零运维；做细调模型托管（fine-tuned Llama）；突发 / 低流量负载借 scale-to-zero 省成本；多模态（视觉 / 语音 / 推荐）统一部署；替代 SageMaker / Azure ML 的轻量推理栈。它把「租卡 + 调模型」合成了一条最简路径。

定价与可及性

预置 Llama 3.1 8B 约 $0.07 / 百万 token；GPU 实例 A100 $2.58 / hr 起、H100 等随 NVIDIA 供应；按量付费无最低承诺；新账号有免费额度。现经 NVIDIA DGX Cloud Lepton 控制台（dashboard.dgxc-lepton.nvidia.com）接入。

立即体验 Lepton AI →

Lepton AI · Lepton AI 是 GPU 云 + 无服务器推理平台，2023 年成立、2025 年 3 月被 …