Higress:阿里巴巴开源的 AI 原生 API 网关,已入驻 CNCF Sandbox,统一代理 100+ 大模型

Higress

官方背景

Higress 是阿里巴巴开源的 AI 原生 API 网关,内核基于云原生大名鼎鼎的 Envoy 与 Istio,2026 年已正式入驻 CNCF Sandbox,成为受基金会中立托管的项目,采用 Apache 2.0 协议。它不是从头造轮子,而是把「南北向流量入口 + AI 流量治理」合二为一——既能当 K8s Ingress、微服务网关,又能作为统一的 AI Gateway 来调度大模型流量。最新 v2.2.3 版本在主仓库做了 48 项更新,并配套 8 项控制台优化,是 production-grade 级别的云原生网关。

核心能力

多模型统一代理:一套入口协议转换 100+ 常见大模型(OpenAI / Claude / 国产模型等),支持模型级 Fallback,某个供应商挂了自动切到备用;② MCP 托管:提供 REST-to-MCP 转换与 MCP Server 托管,把内部能力一键暴露给智能体;③ Token 级限流与额度管理:追踪每个模型的 Token 消耗,超量即拦截,配套 Redis 额度;④ 语义缓存:基于向量数据库缓存相似问答的推理结果,省 Token 又降延迟;⑤ 内容安全护栏:对接阿里云内容安全,对输入输出双向过滤;⑥ 基于 WASM 插件体系,ai-proxy / ai-security-guard / ai-load-balancer 等可热插拔。

应用场景

企业想用同一个网关同时扛住 Ingress、微服务与 AI 流量,避免多套系统割裂;在网关层做多模型路由与灰度,业务代码不感知底层模型差异;给内部大模型做统一鉴权、限流与成本看板;把自建 vLLM / 智谱 / 通义等推理服务收敛到统一协议入口;用 MCP 托管把既有 API 快速改造成智能体可调用的工具。对已在阿里云 / K8s 体系内的团队,它是把 AI 能力「接进来、管起来」的最低摩擦方案。

定价与可及性

开源版完全免费(Apache 2.0),一条 Docker 命令 5 分钟本地起一套、零注册即可验证核心能力,代码与文档在 GitHub(alibaba/higress)与 higress.io 同步开放。需要 SLA 与专家支持可选阿里云企业版:99.95% 可用性保障、宣称 90%+ 性能提升与 50% 成本节省、7×24 支持。想先体验,直接打开 higress.ai 按其「5 分钟快速开始」跑通 OpenAI / Claude / 本地模型代理即可。

立即体验 Higress →

Higress · Higress 是阿里巴巴开源的 AI 原生 API 网关,内核基于云原生大名鼎鼎的 Envoy 与…

© 版权声明
THE END
喜欢就支持一下吧
点赞100 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容