當前位置: 華文世界 > 科技

「平替版Midjourney」,上線1年超700萬使用者,生成圖片超7億張

2024-02-21科技

作者丨臨風

編輯丨海腰

題圖丨midjourney

澳洲AI初創公司Leonardo.ai因其整合了多項AI生圖產品功能,並允許創作者每天免費使用,被使用者稱為「平替版Midjourney」和「簡易版Stable Diffusion」。

據報道,該公司產品釋出1年,使用者突破700萬人,平台共生成超過7億張影像,並獲得投資者青睞。

2023年12月7日,Leonardo.ai宣布獲得3100萬美元種子輪融資,投資方包括 Blackbird、Side Stage Ventures、Smash Capital、TIRTA Ventures、高榕資本和Samsung Next,截至目前共計融資2輪,金額3880萬美元。

2022年,JJ Fiasson、Jachin Bhasme、Sami Ede、Ethan Smith、Chris Gillis聯合創立Leonardo.ai。Fiasson曾擔任過兩家公司的高管,做過托管服務、貸款抵押平台、Web3遊戲公司,前一家公司經營12年後被Spirit Telecom收購。2021年,他創立了遊戲公司Raini Studios,探索了2年但失敗,過程中積累了生成式AI和開源工具的經驗,因此轉向AI工具平台。

富比士澳洲,左Jachin Bhasme、中JJ Fiasson、右Chris Gillis

據了解,Leonardo.ai當前主要針對遊戲、廣告、時尚和建築行業的使用者群,使用者能線上建立和保存多個資產。Fiasson表示:「我們還將做更多工作,使AI創作在可控性和保真度方面更加強大,而且開箱即用。」

「簡易版Stable Diffusion」

當前,AI生圖主流產品使用需跨過付費訂閱或技術裝置兩個門檻,如Midjourney每個月10-60美元限次數生成,Stable Diffusion對電腦的顯卡配置要求是專業級別的。

一部份「平替版」AI工具滿足了部份使用者既能每天免費試用,又不需要軟體安裝的輕量需求,其中就包括Leonardo.ai。

價格方面,Leonardo.ai較Midjourney優惠,價格在10-48美元區間,也提供給遊客使用者免費試用的機會,每日登入贈送150代幣,約能滿足5-8張AI生圖需求。

Leonardo.ai官網

功能方面,Leonardo.ai是基於Stable Diffusion開源模型建立,整合外掛程式支持AI生圖、改圖、擴圖和3D素材生成。因操作簡單,界面友好,使用者評價它是「簡單版Stable Diffusion」,具有較高的價效比。

Leonardo.ai精選模型(Finetuned Models)一欄與CivitAI社群調性一致,有由社群創作者和平台官方提供的微調模型36類,風格包含夢幻、超現實、像素風、卡通等。

Leonardo.ai精選模型界面

使用者選用微調模型後進入編輯界面,選定跑圖風格後用提示詞生成圖片。此外,Leonardo.ai上線新功能「Add elements」由 LoRA支持,允許使用者選取多種元素調整權重後獲得更好的風格效果。使用者一次跑圖可產生1-8張圖片,自行調整圖片大小、畫質和背景無縫接圖(Tiling)。

光是模版生圖還不足以讓Leonardo.ai短時間內吸引百萬使用者,它在提示詞、動態調整、模型訓練等方面集合了其他AI產品的實用優勢。

使用者可以像擲骰子一樣隨機生成提示詞。風格模型裏,使用者可以讓平台任意生成提示詞,並在此基礎上修改微調,也可以輸入基礎描述讓系統生成2-8句提示詞選用。獲得影像後,使用者可透過反向題詞去掉圖中內容。這一功能與Stable Diffusion WebUI的提示詞外掛程式相似。

Leonardo.ai,左為提示詞隨機生成界面,右為Dynamic生成效果

除文字提示詞外,Leonardo.ai也搬運了Stable Diffusion的圖片提示功能,結合controlNET解析,用「pose to image」「edge to image」「depth to image」讓圖中角色與例圖姿勢、形狀或深度保持一致。

Discord社群Siloa教學,左為提示圖,右為Leonardo.ai AR1.6模型生成

Leonardo.ai影像動態調整自由度高。使用者獲得生成影像後能繼續微調,如影像放大增強、去除背景。另有兩項即時修改功能,「即時生成」允許使用者一邊輸入提示詞,一邊生成新圖。「即時畫布(Realtime Canvas)」可以讓使用者一邊更改草圖一邊生成高品質渲染圖。Magnific AI創始人Javi在試用時展示了Leonardo.ai即時將一張草圖變為成品圖。

此外,其運動視訊(Motion)允許使用者上傳靜態影像後生成炫酷的動態視訊,需付費使用。

它另一項畫布編輯(Canvas Editor)跟Runway補全畫布內容功能相似,允許使用者在範圍內擴圖。並且,畫布中可以一鍵塗抹消除人物、背景,這類似Stable Diffusion的塗鴉畫筆。

除了集合其他產品優勢,Leonardo.ai也有獨特優勢——允許使用者自行訓練微調模型來生成客製風格影像。據Discord介紹,使用者上傳8-15張定向風格圖片,可供AI學習。自訓練模型將根據使用者的關鍵提示詞生成影像,訓練時間約30分鐘。Fiasson表示:「這個模型是私有模型,除非你想在平台公開它。你可以用大模型的語意理解繼續訓練,來貼合你想要的風格特征。」

當前,Leonardo.ai開放了影像生成、即時畫布、畫面編輯、運動鏡頭與即時編輯5項功能,還有一項3D紋理生成功能尚在Alpha階段,每生成一組圖片依據不同使用模型、功能花費4-20代幣不等。

使用者能在Leonardo.ai以相同的風格和功能集保存、編輯和構建多種素材,如風格圖片、遊戲資產和3D建模。並且,這些素材可以在平台反復使用,吸引眾多遊戲設計或視訊制作的創作者。

1年使用者超700萬

最初,Leonardo.ai專註於遊戲素材的內容建立,後來才擴大到各個垂直領域。這是因為Fiasson在探索生成式AI時最先打造的是Web3遊戲公司。

Fiasson於2013年本碩畢業於澳洲雪梨大學。他大學畢業後在雪梨創立過一家托管服務IT公司Cloud Business Technology,後被上市公司Spirit Telecom 收購。碩士畢業後他聯合創立了Loan Base,開發智慧技術改變房主申請抵押貸款的方式,據稱,該公司幫助解決了近10億澳元的貸款,在2021年被Exit Solutions Pty Ltd收購。

2015年6月,Google釋出了建立在人工神經網路(Artificial Neural Network)演算法基礎上的Deep Dream,最初是源於工程師對視覺分類技術的研究,其生成影像往往由動物的臉、令人眩暈的色彩和錯綜復雜的建築合成。後期,部份懂技術的藝術家利用Deep Dream創作效果出眾的作品並用於展覽,這表明人工智慧網路可能創造獨特價值的藝術作品——這吸引了Fiasson研究AI生圖。

「無論個人還是專業用途,探索尋求創造力的使用者群體正在迅速擴大,而人工智慧的出現讓你不需要非得去學習一門技術,這就是人工智慧革命真正有趣的地方。」

Fiasson在播客中回憶,當時他沒有藝術創作能力,只會簡單的拍攝照片。但他用Deep Dream創作的作品迷幻有趣,還賣了個好價錢,他從中看到了AI生圖的商業潛力。經過觀察,他首先看中的是缺乏體驗感的Web3遊戲領域,於2021年建立Raini Studios遊戲工作室深入探索,在其中擔任遊戲營運。

在Midjourney問世後,Fiasson帶領團隊開始嘗試生成式AI。營運期間,他需要接觸藝術內容創作,在保證遊戲作品的交付時間與品質時遇到難題。

「我們看到了潛力,也看到了限制。」

遊戲領域需統一風格與主視覺,而當時以文本提示詞生成的影像不穩定,也不能批次生成滿意作品。而且,遊戲叠代時需要新的概念圖和創意視覺,超出文本提示的控制,Fiasson第一次對AIGC的探索不算成功。

2022年8月,Fiasson在網路上研究谷歌AI繪畫工具Disco Diffusion。藝術家Ethan Smith彼時在Latent Space釋出的【潛在空間旅行者指南】一文被稱為Disco Diffusion的經典教程,他在其中探索如何用人工智慧構建一種藝術形式,Sami Ede助其將Disco Diffusion發散出MathRock Diffusion分支。Fiasson透過網路與他們搭線,發現對方有興趣探索利用生成式AI專註於遊戲素材創作,一拍即合。

圖源:Ethan Smith Latent Space

Fiasson叫上此前Loan Base的聯合創始人Jachin Bhasme、Chris Gillis,原工作室的軟體工程師Peter Runham,和Sami Ede、Ethan Smith一起創立了Leonardo.ai,旨在縮短AI內容創作與使用者創造力之間的「距離」。

早期階段,Leonardo.ai團隊研究並建立了一個完整的二維創作流程,支持向量圖素材輸出。Fiasson用視訊展示在10分鐘內完成了一款水果軟糖元素的俄羅斯方塊遊戲所需的視覺素材,並用測試中的畫布功能編輯了遊戲背景。這一次,AI跑圖的顏色和質感均保持一致。

2022年12月,他們的產品剛好與ChatGPT同時間推出,放出了2萬個名額的搶先體驗名單。2023年2月,幾位YouTube博主做了推薦視訊,播放量可觀,尤其是標題帶有「Midjourney VS leonardo.ai」、「Midjourney免費版」的視訊超10萬次播放。這讓Leonardo.ai的流量滾雪球式增長。

「那時,我們每天大約有5-6萬的日活使用者。」

據Writerbuddy截至2023年8月的數據統計,9個月內Leonardo.ai平均每月流量增長220萬,凈增長1750萬,排在全球存取量最大的AI工具TOP50第7名。同期,Midjourney流量下降870萬。

圖源:writerbuddy

1年時間,他們的使用者從初期數千名發展到超700萬人。據similarweb,Leonardo.ai在2023年12月網站存取量為1516萬次。

隨著平台用例增多,Fiasson發現,「盡管我們的主推是遊戲內容生產,但我們的AI工具也許適用於更廣泛的領域。」他繼續向平台整合其他AI產品功能,添加畫布編輯器做繪制區域,增加文本提示生成3D紋理等。

圖源:Naver

「顯然,我們在平台上利用了很多開源技術來包裝套用,但我們也想構建自己的壁壘。」Fiasson認為,現有企業的產品面向大眾化市場,缺乏使用者對影像的可控性和可客製性,所以他在Leonardo.ai整合了自有模型和SDXL0.9、Stable Diffusion2.1、Dream ShaperV7等影像模型。據稱,Leonardo.ai透過給予使用者充分的創作控制權將其與Midjourney、Adobe Firefly、BlueWillow等軟體區分開來。

此外,在建立團隊方面,Fiasson從全世界搜集人才。「澳洲不像矽谷,沒有那麽多精巧的初創,所以我們的計畫引起了雪梨多數AI人才的興趣。」他也認為遠端辦公很有效。據悉,Leonardo.ai開發團隊在澳洲,行銷團隊在中美洲,聯合創始人兼主要工程師Ethan和Sami分別在美國佛羅裏達和德國漢堡遠端辦公。

Fiasson是CEO也是產品負責人,他明白遠端工作需要和設計師、工程師密切的線上聯系以促進計畫開發,但他強調Leonardo.ai不是老派的管理模式,不提倡加班也不過度管理員工,並以此氛圍留住優秀人才。

已生成超7億張影像

自推出以來,Leonardo.ai平台內已生成超7億張影像,並與娛樂、時裝設計、廣告、建築等行業的創作者合作,聲稱目前正在被一些頂尖的 3A 遊戲工作室以及 Razer Axon使用。

Fiasson表示:「Leonardo.ai的用途是無盡的,我們在設法減少構思和創作之間的摩擦,激發創造力。」

2023年4月,Leonardo.ai經歷第一次大量使用者增長後,Fiasson開始重視使用者的入門教學流程。他認為,教使用者如何與AI技術打交道才能讓他們發掘平台的有更多可能性。

AI影像增強公司Magnific AI創始人Javi和Emilio是這家公司的天使投資人(詳見:【2個人的AI公司,1個半月吸引使用者40萬,馬斯克都來點贊】)。Javi表示:「他們不僅開發了一個非常好的使用者介面,還聚集了一個龐大的社群。」

Discord是該公司業務增長的核心社群,其中約有18萬活躍創作者,Leonardo.ai在內邀請多國創作者共創新手教程,分享使用素材和教學連結,吸引更多使用者垂直入坑。

Leonardo.ai讓使用者透過社群教學熟悉平台不無道理,其整合的功能逐月增多,還在持續測試更新。

結合其社群公告來看,Leonardo.ai在2023年12月測試的Realtime Canva在次月正式推出,並更新上線了Motion這一重要功能,且在2024年1月又推出Realtime Gen即時生成影像。

圖源:Leonardo.ai