Liquid AI釋出非Transformer的AI模型
在科技浪潮的推動下，Liquid AI，這家初創公司，正在挑戰深度學習領域的統治者——Transformer架構。如今，Transformer就如同一位無可匹敵的皇帝，自OpenAI的GPT到Google的T5，幾乎所有大家耳熟能詳的AI模型都是它手下的臣仆。然而，正如歷史總會有起義者，Liquid AI用它獨樹一幟的「非Transformer」架構，力圖撼動這似乎牢不可破的統治。
Liquid AI的名字充滿了意義——「液體」，象征著變化與適應。這個團隊由四位來自麻省理工學院電腦科學與人工智能實驗室的科學家組成，他們著手從基本原理構建新一代的基礎模型。他們不甘於平庸，毅然選擇了一條與主流截然不同的道路，即「非Transformer」架構。
他們的核心武器是Liquid基礎模型（LFMs），這與Transformer使用的自我註意力機制截然不同，深受動力系統、訊號處理和數值線性代數的啟發。Liquid AI聲稱，LFMs在基準測試中，尤其是在處理長文本輸入上，展現出了超越同規模Transformer模型的驚人效率。
值得註意的是，Transformer模型一大痛點，就是對記憶體的高需求。為了捕捉輸入中詞語之間的關系，Transformer需要儲存大量的鍵值緩存，這樣的需求會隨著序列的增加而直線上升，仿佛是個貪婪的怪獸在吞吃硬件資源。相比之下，LFMs就像是一個精於管理的管家，能夠高效壓縮輸入數據，從而減輕記憶體負擔，處理更長的序列。如同耐力卓越的馬拉松選手，他們能夠在相同條件下跑得更遠。
根據官方公布的數據，LFM-1.3B在多個基準測試中實作了對等規模Transformer模型的壓制，甚至超過了一些大型的Transformer，如谷歌的Gemma 2和微軟的Phi-3.5。這樣的成績讓Transformer的霸權地位開始出現動搖。
LFMs的潛力不僅僅體現在記憶體和效率上。由於其架構的靈活性，LFMs相容多種數據類別，如影片、音訊、文本等，向通用人工智能模型邁進。它們在邊緣計算領域也展現出了良好的套用前景。邊緣計算意味著在靠近資料來源的地方進行處理，降低延遲、節約成本。LFM-3.1B經過最佳化，尤其適合在智能電話、物聯網器材等邊緣器材上執行。
面對挑戰與機遇，LFMs雖然表現出色，但仍有待提高的空間。在零樣本程式碼生成和精確數值計算等方面，它們的能力還需加強。同時，Liquid AI也坦言，目前在完成某些特定任務時，LFMs仍無法與Transformer抗衡。就如同任何新興技術一樣，LFMs的上位之路終究需時拭目以待。
我認為，LFMs的出現，是深度學習領域發展到某個階段後的自然結果。雖然Transformer架構的能力毋庸置疑，但也存在許多限制。在資訊量不斷增長以及套用場景多樣化的今天，對於更高效、更靈活的AI模型需求愈發迫切。LFMs恰恰是對這種需求的回應。
LFMs和Transformer並非簡單的擠位關系，而是互為補充。兩者都有各自的優缺點，適用的環境並不相同。未來的AI生態中，或許會見到這兩種架構和諧共存，甚至互相融合作為一種新的發展形態。正如生物界的演化，多樣性才是生生不息的動力。此外，史丹福大學的研究也表明，不同模型在不同硬件環境下表現各異。
Liquid AI的成敗不僅依賴於其技術實力，也與商業策略息息相關。一項優秀的技術若沒有合適的商業模式，也難以得到市場的青睞。Liquid AI需尋找合適的套用場景，與夥伴建立良好關系，才能轉化LFMs的潛力為商業價值。
展望未來，LFMs或將從以下幾個方面取得突破。多模態學習的可能性可將影像、音訊和文本數據組合，創造更加強大的模型。個人化AI的開發則因為LFMs的輕量化可以更容易地在智能電話、智能手錶等個人器材上實作。這為我們平常的生活提供了無窮的可能。
Liquid AI的到來為深度學習領域註入了新的活力，如同從天空中升起的新星，沖擊著曾經的格局，也揭示出未來的無盡可能。這場科技的叛逆，究竟會引領我們走向何方，值得我們拭目以待。
