Seldon Core

Seldon Core 提供模型打包、灰度发布（A/B 测试、金丝雀发布）、流量切分、推理图编排（Inference Graph，将预处理、模型、后处理串联）、请求日志与监控指标暴露（Prometheus），并支持任意 Python/Java 模型通过标准化 API 部署为微服务。

可通过自定义 Server 类封装 vLLM、TGI、Text Generation Inference 等推理引擎，配合 Inference Graph 实现多模型路由、Prompt 模板预处理与缓存层。对于 LLM 场景，建议结合 Knative 实现 GPU Pod 自动伸缩（0 到 N），避免常驻占用显存。

Seldon Core 本身采用 Apache 2.0 开源协议，完全免费。商业支持由 Seldon Technologies 提供付费的 Enterprise 版（包含 Drift Detector 高级模块、Alibi Explain 集成、SLA 保障）。企业还可选择 Seldon Deploy 商业平台，按节点数订阅。

依赖 Kubernetes 1.20+ 集群，需安装 Helm 3 和 Istio（用于流量路由）。生产环境建议至少 3 个节点、每个节点 4 核 16GB。GPU 推理需配置 NVIDIA Device Plugin 并预装对应 CUDA 驱动。最小部署仅需一条 helm install 命令，5 分钟内完成。

相比 Kubeflow Serving 的 KFServing，Seldon Core 抽象更轻量，不绑定 Kubeflow 生态，可独立部署。对比 Triton，Seldon Core 不只做模型服务，还覆盖部署编排、流量管理、可观测性全流程；但单机推理性能上 Triton 优化更深，复杂 LLM 场景建议两者结合使用（Triton 做推理，Seldon 做编排）。