您发送了一款人工智能产品。
客户 11 发出提示,导致运行时崩溃。
这就是运行共享人工智能运行时发生的情况。
共享运行时基本上是一种负担
大多数团队一开始都是在所有租户中共享一个人工智能运行时。一个容器、一个端点、一套环境变量,然后继续前进。
除了 "发货并继续前进",一旦你的租户开始做真正的工作,"发货并继续前进 "就会变成 "凌晨 3 点调试"。
下面是出错的地方,我经常看到这种情况:
***租户 A 制作了一个会扰乱运行时行为的提示,租户 B 继承了这个被破坏的状态。共享运行时意味着它们之间实际上没有墙。
资源争用会降低性能。 一个租户在运行繁重的工作负载,而其他所有人都在挨饿。你最好的付费客户响应缓慢,因为一些免费层用户在敲打 API。
*** 环境变量、应用程序接口密钥、模型配置 - 在共享运行时,一个配置错误的端点可能会将租户 B 的机密暴露给租户 A。
*** 不同的客户需要不同的模型版本、不同的系统提示、不同的费率限制。共享运行时间迫使每个人使用相同的配置。
隔离并不是什么 "锦上添花 "的东西,而是 "桌面赌注"。
当每个租户都有自己的运行时,所有这些问题都会迎刃而解。
*** "租户作为 "提示注入保留在 "租户作为 "容器中。
**每个租户都有自己的 CPU、内存和存储空间,没有吵闹的邻居。
**每个容器都有自己的环境变量,租户 A 无法访问租户 B 的配置。
*** 每个客户有不同的型号版本、系统提示、费率限制和功能标志。
稍后再隔离 "的实际成本
更多的容器、更多的基础设施、更多的复杂性。
但不隔离的代价要高得多。
一次跨租户崩溃,你的服务水平协议(SLA)就失去了意义;一次邻居吵闹事件,你的企业潜在客户就会夺门而出。
现在在多租户人工智能领域获胜的公司?
ShipClaw 如何处理
ShipClaw为每个客户自动提供一个独立的OpenClaw运行时,无需人工操作。
每个客户都能得到:
- 他们自己的 Docker 容器,配备专用计算器
- *在
/data处一个持久卷,用于保存重启后的状态 - 用于应用程序接口密钥、模型配置和机密的隔离环境变量
- unique URL at
slug.agents.shipclaw.io@,自动 SSL - 独立扩展,因此一个租户的使用量永远不会影响另一个租户的使用量
你不需要编写 Dockerfile,不需要管理 Kubernetes 清单,只需要将节点拖到画布上,连接它们,然后部署,仅此而已。
可视化生成器负责拓扑结构,平台负责隔离。
底线
共享人工智能运行时是一条捷径,会造成长期的责任。
如果您要为多个客户构建人工智能产品,隔离就不是一项功能,而是一项要求。
