老實說
當我們剛開始建立 AI 產品時，我們認為共用運行時間是沒問題的。一個大容器，所有客戶使用相同的端點。輕而易舉。星期五出貨，之後就是啤酒。
我們大錯特錯。
前 10 位顧客？一切都很美好
您部署。客戶註冊。API 反應快速。日誌乾淨。您覺得自己是個天才。
您告訴您的共同創辦人 「看吧，我就說我們不需要 kubernetes」。擊掌。生活多美好。
然後客戶 11 加入。他們有一個您意想不到的使用情況。他們每分鐘會發送 400 個請求。其他 10 個客戶呢？現在全部都超時了。您的緩衝區正在爆炸。
但沒問題，對吧？只需添加速率限制。快速解決方案。
錯了這只是個開始。
50 位顧客的實際損壞情況
讓我帶您了解我們的遭遇，因為我真希望之前有人告訴我這些。
*** 我們有一個共用的運行時間，所有客戶 API 金鑰都在 env 中。一個錯誤處理程式將完整的 env 記錄到我們的監控工具。我們有三個星期都沒有注意到。三個星期的客戶機密都在 Datadog 中。我至今還為此失眠。
*** 客戶 34 發現他們可以傳送一個提示，讓模型輸出無限的代幣。運行時間 OOM'd。50 位客戶全部癱瘓。時間是星期二凌晨 2:47。問我怎麼知道的？
*** 客戶 A 在 200 毫秒內獲得回應。客戶 B 的相同要求則需要 4 秒。為什麼？因為客戶 C 正在執行批次作業，佔用了所有 CPU。您甚至無法在共用運行時間中除錯這個問題，因為每個人的流量都混在一起。
***企業客戶想要 GPT-4。另一個要 Claude。第三個客戶需要自訂系統提示。在共用的運行時？祝你好運。您基本上需要基礎架構的功能旗標。那是不可能的。
沒人會做的數學
以下是我希望在開始之前計算出來的結果：
建立共用運行時間的成本： 2 週
東西損壞後，將 50 位客戶遷移至隔離運行時間的成本： 3 個月
因跨租戶資料洩漏而失去兩家企業客戶的代價： 無價 (而且不是好的方面)
遷移過程非常殘酷。我們必須建立配置系統、容器協調、容量管理、DNS 路由、SSL 證書、環境隔離。同時還要維持 50 位客戶的運作。這就像在飛行途中更換飛機引擎一樣。
與此同時，以孤立起家的人正在打造真正的產品
當我們沉溺於移轉工作時，其他團隊從第一天起就在獨立的執行時間上推出實際的產品：
ClawField 在獨立運行時間上建立了一個實時交易機器人掃描器。每筆交易都在 30 秒內完成，精確執行到秒。他不是在調試跨租戶問題。他是在建立賺錢的功能。
Max Blade 推出了一整套 iOS 應用程式，可啟動獨立的 OpenClaw 代理。不需要 Telegram、API 金鑰，也不需要設定。只要登入即可啟動您的代理程式。他之所以建立這個應用程式，是因為他不需要維護共用的基礎架構。
這些都是真正的產品，來自真正的建商。他們從隔離開始，因此可以把時間花在產品上，而不是管道上。
為何在太遲之前沒有人會切換
我和許多打造 AI 產品的創辦人交談過。他們都說同樣的話：
「等我們有更多顧客時再隔離」
這就是陷阱。當您有足夠的客戶來證明隔離的合理性時，您也有太多的客戶無法安全地遷移。轉換容易嗎？就是現在。在您遇到問題之前。
就像備份一樣。在丟失資料之前，沒有人會關心備份。然後突然之間它就變成了世界上最重要的事情。
每戶隔離實際上是什麼樣子
我們花了 3 個月的時間進行遷移，結果如下：
- 每位客戶都有自己的 Docker 容器
- 每個容器在
/data都有自己的持久卷。 - 每個租戶的環境變數是完全獨立的
- 每位客戶都會得到一個獨特的 URL，如
customer.agents.shipclaw.io - 一位客戶當機不會影響其他人
- 您可以自訂每個客戶的型號、設定、費率限制
日以繼夜的差異。支援單下降了 80%。不再有凌晨 3 點的頁面。企業客戶不再威脅要離開。
"但獨立運行時間很昂貴
這是我聽到最多的反對意見。更多的貨櫃 = 更多的錢，對吧？
算是吧。但讓我們來做真正的計算：
** 共用運行時間成本：**
- 基礎建設：$200/月
- 凌晨 3 點事件回應：您的理智
- 客戶因可靠性問題而流失：每個月損失 5,000 美元以上的收入
- 企業交易因「我們無法保證隔離」而失敗：???
- 調試跨租戶問題的工程時間：20 小時/週
獨立運行時間：
- 基礎建設：$400/月（是的，它更多）
- 凌晨 3 點發生的事件：基本上為零
- 客戶流失率：大幅下降
- 企業交易：您現在就能真正達成交易
- 處理基礎建設問題的工程時間：2 小時/週
基礎設施成本較高。其他一切成本都遠低於此。淨成本？你賺了很多。
我們現在使用 ShipClaw 的方式
在經歷了這麼多的痛苦之後，我們建立了 ShipClaw，讓其他人也不必這麼做。
開啟視覺化建立器。將 Runtime 節點拖曳到畫布上。連接一個閘道用於路由。為持久性儲存新增 Volume。新增 Env Config 用於保密。按下部署。
就是這樣。每個客戶都可以得到完全獨立的 OpenClaw runtime。擁有自己的容器、自己的儲存空間、自己的環境參數、自己的 URL。您不需要寫任何 Dockerfile 或 Kubernetes 清单。
我們花了 3 個月時間手動建立的整個系統？現在可以拖曳部署。
我給您免費建議的部分
如果您要為多個客戶建立 AI 產品，請從第一天開始就使用隔離功能。我不在乎您是否使用 ShipClaw 或自行建置，或是完全使用其他東西。只要不做共享運行時間的事情。
技術債務會快速累積。安全風險是真實存在的。凌晨 3 點的頁面將會出現。而且後續移植比一開始就移植要難上 10 倍。
相信我。我是用昂貴的方式學到的，所以你不必這樣做。