當前位置: 華文世界 > 科技

FancyTech以「垂直模型」引領AIGC商業化落地

2024-08-25科技
在最近的技術變革浪潮中,AIGC(AI生成內容)正成為人們自我表達和創作的重要工具。與傳統的大規模模型不同,推動這次革命的是針對特定領域的深度客製解決方案。過去兩年間,AIGC的發展速度遠超預期,其套用已從文本生成擴充套件到影像與影片各個方面。
最近,【機器之心】報道了一家名為FancyTech的中國創業公司,該公司透過提供標準化的商業視覺內容生成產品,快速擴張市場,並早於競爭對手證明了垂直模型在實際套用中的優勢。
【機器之心】詳細介紹了FancyTech最新釋出的影片垂直模型DeepVideo,該模型透過解決核心挑戰—如何讓商品自然融入背景並確保其在影片中運動時不失真—來提高生成質素。
00:20
FancyTech 的垂直模型基於開源的底層演算法框架,疊加自有的數據標註重新訓練,僅需幾百張 GPU 持續訓練叠代即可取得好的生成效果。相比之下,「商品數據」和「訓練方式」這兩個因素對於最終的落地效果更為關鍵。
FancyTech 在積累海量 3D 訓練數據的前提下,引入了空間智能的思路指導模型的 2D 內容生成。在影像內容生成方面,團隊提出了「多模態特征器」以確保商品的還原,並透過特殊的數據采集保證商品與背景的自然融合。在影片內容生成方面,團隊重新構建了影片生成的底層鏈路,定向設計框架和進行數據工程,以商品為中心生成影片。
此外,【機器之心】深入探討了FancyTech如何將「空間智能」的研究思路套用於視覺生成模型的構建。與傳統生成模型不同,空間智能透過分析大量傳感器數據,進行精確的標定,從而使模型能夠感知和理解現實世界。
FancyTech采用激光雷達掃描代替傳統的攝影棚拍攝技術,積累了大量的高質素3D數據對,這些數據在模型訓練中與2D數據結合使用,以增強模型的現實世界理解能力。
對於視覺內容生成中的光影效果塑造這一挑戰性任務,FancyTech在每個環境中部署了可調節亮度和色溫的多盞燈,收集盡可能多的自然光影數據,以提高生成影像的空間層次感。
這種高強度的數據收集模擬了真實拍攝場景的燈光,使其更加符合電商場景的特點。結合高質素的 3D 數據積累,FancyTech 在演算法框架上進行了一系列創新,將空間演算法與影像、影片演算法有機結合,讓模型更好地理解核心物體與環境的互動。
在AIGC領域內,探索商業化路徑的過程中雖有共識亦有分歧。【機器之心】的報道揭示了FancyTech如何透過其「多模態特征器」在多維度上提取商品特征,並利用這些特征生成融合後的場景圖,展現了演算法的創新和套用的成效。
無論是通用模型還是垂直模型,其終極目標都在於商業化的實作。FancyTech憑借其獨有的數據和行業專知,在國內外市場廣獲認可,與全球多家知名公司建立了合作關系,證明了其垂直模型的商業價值。
FancyTech不僅在核心的垂直模型上取得成功,還提供了AI短影片的全鏈路自動釋出和數據反饋功能,推動產品銷量持續增長。
00:52
這一切都表明,AIGC技術正在讓普通人透過提升生產力來實作自我創作的夢想,預示著一個全新產業的崛起。