Xorbits共1篇
Xinference:一条命令部署开源模型,vLLM/llama.cpp 通吃、OpenAI 兼容接口-圈圈AI一站式AI资源分享平台

Xinference:一条命令部署开源模型,vLLM/llama.cpp 通吃、OpenAI 兼容接口

官方背景 Xinference(Xorbits Inference)是 Xorbits 团队开源的分布式模型推理框架,一条命令即可部署大语言、语音识别与多模态模型。它把 vLLM、llama.cpp、Transformers、SGLang、MLX 等推...
圈圈的头像-圈圈AI一站式AI资源分享平台钻石会员圈圈8月11日 09:52
024385