GPU推理加速共1篇
FriendliAI:自研连续批处理、吞吐领先 vLLM 3 倍的前沿推理云-圈圈AI一站式AI资源分享平台

FriendliAI:自研连续批处理、吞吐领先 vLLM 3 倍的前沿推理云

官方背景 FriendliAI 是一家总部位于首尔(另设旧金山办公室)的前沿 AI 推理云公司,其团队正是连续批处理(continuous batching)技术的发明者——这套方法如今已成为整个推理行业的标配。它...
圈圈的头像-圈圈AI一站式AI资源分享平台钻石会员圈圈8月16日 13:02
0361120