7月11日，網宿科技宣布推出一項全新的AI服務——邊緣AI閘道器，為企業使用者提供安全、可靠、高效能、易觀察的一體化模型服務管理方案，助力開發者的AI構建之旅。
網宿科技CDN產品研發總監曾智全表示，AI已經成為新一輪創新的焦點，很多企業都想要使用AI，但缺乏相關的技術或經驗，網宿在業內率先推出邊緣AI閘道器，希望幫助企業更好、更簡單、更安全地套用AI。
據悉，網宿邊緣AI閘道器旨在為企業在模型服務與AI套用之間搭建橋梁，無論是個人開發者還是企業，都可以借助網宿邊緣AI閘道器，更加簡易地管理和整合模型服務，從而更好地開展AI套用創新。
近年來，GPT大模型的橫空出世，在全球掀起了大模型競賽，隨之而來的，AI在各行各業的套用加速湧現。如今，在應用程式開發中，整合大模型已經成為提升套用體驗和功能深度的普遍趨勢。
在這種背景下，業界誕生了一種新的服務模式，即MaaS（Model as a Service，模型即服務）。模型提供商透過API介面，將大模型能力出租給第三方企業使用，允許企業透過HTTP請求或其他方式與之互動。服務提供商負責模型的更新和維護，企業可以直接享受到最新的模型改進。
不過，當企業使用多個模型或提供商時，面臨著高昂的AI套用成本。而為了最優成本地利用各個AI服務商的模型服務，企業又面臨著管理、運維難題。如何更好的管控模型使用，降低成本支出，同時清晰地洞察AI使用現狀和服務問題，成為各個企業構建AI套用的內在訴求。
另外，需要註意的是，在使用模型服務的過程中，企業還面臨著敏感數據泄露、內容不合規等風險。目前，大多企業組織還未著手解決AI相關風險，或是正在解決中。
「針對以上種種挑戰，業界亟需一種可以降低管理和擴充套件模型服務難度，提升AI可用性和安全性的方案。網宿邊緣AI閘道器可以解決這一需求，讓企業和開發人員專註於構建AI應用程式，而不是管理復雜的整合。」 曾智全表示。
曾智全表示，網宿科技在歷次的互聯網套用叠代中，為各類新興套用的規模落地提供了重要的支撐，為全球企業提供了一站式、高效、安全的服務保障，我們所沈澱的完備技術能力以及深厚的場景經驗，可以復用於眼下的AI創新浪潮中，與企業一起在AI時代起跑。
基於對企業需求的洞察，網宿科技在業內率先打造了網宿邊緣AI閘道器，在行業中開創了新的服務範式。
具體來看，在一般情況下，企業管理其所接入的多個大模型，需要提前做一些整合開發。網宿邊緣AI閘道器則提供了一個通用、一體化的解決方案。企業可透過統一的控制平台，建立邊緣AI閘道器，添加通道，實作與多AI服務商模型對接，並且平台支持多模型服務的可管、可控、可觀察。
其中，在接入層面，網宿邊緣AI閘道器提前完成了與多個主流AI服務商的整合，企業開發人員無需頻繁修改程式碼，只需在控制台進行閘道器配置，一次接入，即可使用多個模型服務，大大提升接入效率。
在管理層面，網宿邊緣AI閘道器支持特殊配置，企業可以在AI閘道器上靈活定義優先級、負載均衡、限速等策略，按需配置不同模型服務，實作成本可控或減少濫用，並且企業可在請求失敗情況下實作無縫切換，提升AI服務的可靠性。另外，企業還可以啟用緩存功能，一旦請求在AI緩存中命中，則不必回到模型提供商，減少模型提供商tokens數的消耗，降低成本，提高響應速度。
在營運層面，網宿邊緣AI閘道器提供數據視覺化功能，聚合來自多個模型提供商的指標，支持請求數、tokens數、緩存數、錯誤數等的分析展示，並提供即時日誌記錄，讓企業可以觀測和控制模型服務的使用情況，以最佳化模型服務策略。
曾智全進一步介紹，在實作多模型服務的高效接入與管理的同時，網宿邊緣AI閘道器的核心價值，還在於確保模型服務的安全性、高效能，以及可客製化。
安全性對AI套用至關重要。在安全性方面，企業可在網宿邊緣AI閘道器上配置提示詞過濾規則或執行內容安全審計，以確保互動內容安全、合規且尊重使用者。
在服務效能上，依托網宿強大的全球資源網路，使用者就近接入邊緣分布式AI閘道器，可以確保存取的穩定性和速度，減少因跨國網路波動等異常因素對使用者體驗的影響。
尤為值得一提的是，網宿可以支持開發人員在離使用者最近的邊緣位置實作一定程度的無服務化開發。透過將網宿邊緣AI閘道器和網宿邊緣函式結合使用，靈活客製一些模型呼叫或中間處理邏輯，1小時內即可上線服務，大幅節省研發人員時間。
據悉，目前，網宿邊緣AI閘道器已開放限時免費測試，以支撐使用者的AI體驗。而除此之外，網宿深入企業套用，聚焦特定的AI場景，還打造了邊緣向量資料庫、邊緣模型推理服務等，計劃下一步面向公眾開放。
屆時，企業可輕松整合公共或自有模型，透過邊緣AI閘道器，合理管控模型套用，獲知多模型執行數據，或是與邊緣函式、邊緣KV儲存、套用引擎等組合使用，靈活構建和擴充套件邊緣AI套用，執行智慧問答、內容創作、檢索增強、圖片辨識等AI任務。（禦風）
