雷遞網 樂天 2月16日
在OpenAI釋出影片生成模型sora之際，谷歌也公布在大模型領域的進展。
谷歌今日宣布推出下一代型號：Gemini 1.5。谷歌稱，釋出用於早期測試的第一個Gemini 1.5型號是Gemini 1.5 Pro。它是一種中型多模式模型，針對多種任務的擴充套件進行了最佳化，其效能水平與迄今為止最大的模型1.0 Ultra 類似。Gemini 1.5還引入了長上下文理解方面的突破性實驗特征。
Gemini 1.5 Pro配備標準的128,000 令牌上下文視窗。
從今天開始，少數開發人員和企業客戶可以透過AI Studio和Vertex AI的私人預覽版在最多100萬個代幣的上下文視窗中進行嘗試。
據介紹，Gemini 1.5建立在谷歌對Transformer和MoE架構的領先研究之上。傳統Transformer充當一個大型神經網絡，而MoE模型則分為更小的「專家」神經網絡。
根據給定輸入的類別，MoE 模型學會選擇性地僅啟用其神經網絡中最相關的專家路徑。這種專業化提高了模型的效率。
人工智能模型的「上下文視窗」由令牌組成，令牌是用於處理資訊的構建塊。令牌可以是文字、影像、影片、音訊或程式碼的整個部份或子部份。模型的上下文視窗越大，它在給定提示中可以接收和處理的資訊就越多，從而使其輸出更加一致、相關和有用。
透過一系列機器學習創新，Gemini 1.5 Pro增加了1.5 Pro的上下文視窗容量，超出Gemini 1.0 最初的32,000 個令牌。Gemini 1.5 Pro現在可以在生產環境中執行多達100萬個代幣。
這意味著1.5 Pro 可以一次性處理大量資訊，包括 1 小時的影片、11 小時的音訊、超過30,000 行程式碼或超過700,000 個單詞的程式碼庫。
谷歌和 Alphabet 行政總裁桑達爾·皮查伊說，上周，谷歌推出了功能最強大的模型Gemini 1.0 Ultra，並從Gemini Advanced 開始，在讓Google產品變得更加有用方面向前邁出了重要一步。今天，開發人員和雲客戶也可以開始使用1.0 Ultra 進行構建——使用AI Studio 和Vertex AI 中的 Gemini API。
「我們的團隊以安全為核心，繼續推動最新型號的發展。他們正在快速進步。事實上，我們已經準備好推出下一代產品：Gemini 1.5。它在多個維度上都顯示出顯著的改進，並且 1.5 Pro 實作了與 1.0 Ultra 相當的質素，同時使用更少的計算。」
皮查伊稱，「我們已經能增加模型可以處理的資訊量——持續執行多達100 萬個令牌，實作迄今為止任何大型基礎模型中最長的上下文視窗。更長的上下文視窗向我們展示了可能性的希望。它們將實作全新的功能，並幫助開發人員構建更有用的模型和應用程式。」
———————————————
雷遞由媒體人雷建平創辦，若轉載請寫明來源。
