Anyscale：基于 Ray 的 serverless 推理平台，开源大模型按 token 计费

官方背景

Anyscale 是 Ray 背后的商业化公司，提供面向大模型推理与训练的托管平台。其旗舰 Anyscale Endpoints 是 serverless 推理服务，提供 OpenAI 兼容 API，统一调度 Llama、Mistral、Qwen、DeepSeek 等 100+ 开源权重。采用 Anyscale Credits（AC） 按量计费，新用户赠 $100 免费额度，支持 Hosted 与 BYOC（自带云）两种部署。

核心能力

① Serverless 推理：免运维 GPU，按 token 计费；② OpenAI 兼容 API：几行改动从 OpenAI 切过来；③ 100+ 开源模型：LLM、Embedding 全覆盖；④ 高吞吐 + 低延迟；⑤ BYOC 把数据留在自家云；⑥ Ray 生态：训练、微调、分布式计算一体；⑦ 按需专属算力（A100 等）。

应用场景

想用前沿开源模型又不想养 GPU 集群的产品；对成本与可控性敏感的推理业务；RAG 的 Embedding；用最新权重快速做原型。对「既要开源模型的灵活、又要托管平台的省心」的团队尤其合适。

定价与可及性

按 token 计费，起价低至 $0.15/百万 token，新用户赠 $100 免费额度。算力按 AC 计费：CPU 约 $0.0135/小时，A100 约 $4.96/实例小时。提供 REST API 与多语言 SDK，注册即用，Hosted 与 BYOC 可平滑切换。

立即体验 Anyscale →

Anyscale · Anyscale 是 Ray 背…