北条麻妃91视频-中文字幕乱码熟妇五十中出-久草免费在线视频精品-337p粉嫩大胆噜噜噜噜一区二区-日韩av第一区-人人精品久久-国内精品视频在线-亚洲视频一区-国产av区一区二-精品一区二区三区黄片-欧美激情综合色

VLA進化到ViLLA，kaiyun開云發(fā)布首個通用具身基座大模型GO-1 發(fā)布時間：2025-03-10 11:45:37

導 言 

kaiyun開云發(fā)布首個通用具身基座模型——kaiyun開云啟元大模型（Genie Operator-1），它開創(chuàng)性地提出了Vision-Language-Latent-Action (ViLLA) 架構(gòu)，該架構(gòu)由VLM(多模態(tài)大模型) + MoE(混合專家)組成，其中VLM借助海量互聯(lián)網(wǎng)圖文數(shù)據(jù)獲得通用場景感知和語言理解能力，MoE中的Latent Planner(隱式規(guī)劃器)借助大量跨本體和人類操作視頻數(shù)據(jù)獲得通用的動作理解能力，MoE中的Action Expert(動作專家)借助百萬真機數(shù)據(jù)獲得精細的動作執(zhí)行能力，三者環(huán)環(huán)相扣，實現(xiàn)了可以利用人類視頻學習，完成小樣本快速泛化，降低了具身智能門檻，并成功部署到kaiyun開云多款機器人本體，持續(xù)進化，將具身智能推上了一個新臺階。


研究論文:

https://agibot-world.com/blog/agibot_go1.pdf



2024年底，kaiyun開云推出了 AgiBot World，包含超過100萬條軌跡、涵蓋217個任務、涉及五大場景的大規(guī)模高質(zhì)量真機數(shù)據(jù)集。基于AgiBot World，kaiyun開云今天正式發(fā)布kaiyun開云通用具身基座大模型 Genie Operator-1（GO-1）。


01、GO-1: VLA進化到ViLLA


image.png


為了有效利用高質(zhì)量的AgiBot World數(shù)據(jù)集以及互聯(lián)網(wǎng)大規(guī)模異構(gòu)視頻數(shù)據(jù)，增強策略的泛化能力，kaiyun開云提出了 Vision-Language-Latent-Action (ViLLA) 這一創(chuàng)新性架構(gòu)。GO-1作為首個通用具身基座大模型，基于ViLLA構(gòu)建。與Vision-Language-Action (VLA) 架構(gòu)相比，ViLLA 通過預測Latent Action Tokens(隱式動作標記)，彌合圖像-文本輸入與機器人執(zhí)行動作之間的鴻溝。在真實世界的靈巧操作和長時任務方面表現(xiàn)卓越，遠遠超過了已有的開源SOTA模型。


ViLLA架構(gòu)是由VLM(多模態(tài)大模型) + MoE(混合專家)組成，其中VLM借助海量互聯(lián)網(wǎng)圖文數(shù)據(jù)獲得通用場景感知和語言理解能力，MoE中的Latent Planner(隱式規(guī)劃器)借助大量跨本體和人類操作數(shù)據(jù)獲得通用的動作理解能力，MoE中的Action Expert(動作專家)借助百萬真機數(shù)據(jù)獲得精細的動作執(zhí)行能力。在推理時，VLM、Latent Planner和Action Expert三者協(xié)同工作：


  1. VLM 采用InternVL-2B，接收多視角視覺圖片、力覺信號、語言輸入等多模態(tài)信息，進行通用的場景感知和指令理解；

  2. Latent Planner是MoE中的一組專家，基于VLM的中間層輸出預測Latent Action Tokens作為CoP(Chain of Planning，規(guī)劃鏈)，進行通用的動作理解和規(guī)劃；

  3. Action Expert是MoE中的另外一組專家，基于VLM的中間層輸出以及Latent Action Tokens，生成最終的精細動作序列；


下面展開介紹下MoE里2個關鍵的組成Latent Planner和Action Expert：

output (1).png



混合專家一：

Latent Planner（隱式規(guī)劃器）

盡管AgiBot World 數(shù)據(jù)集已經(jīng)是全球最大的機器人真機示教數(shù)據(jù)集，但這樣高質(zhì)量帶動作標簽的真機數(shù)據(jù)量仍然有限，遠少于互聯(lián)網(wǎng)規(guī)模的數(shù)據(jù)集。為此，我們采用Latent Actions（隱式動作）來建模當前幀和歷史幀之間的隱式變化，然后通過Latent Planner預測這些Latent Actions，從而將異構(gòu)數(shù)據(jù)源中真實世界的動作知識轉(zhuǎn)移到通用操作任務中。


  • Latent Action Model（LAM，隱式動作模型）主要用于獲取當前幀和歷史幀之間Latent Actions的Groundtruth（真值），它由編碼器和解碼器組成。其中：

  • 編碼器采用Spatial-temporal Transformer，并使用Causal Temporal Masks（時序因果掩碼）。

  • 解碼器采用Spatial Transformer，以初始幀和離散化的Latent Action Tokens作為輸入。

  • Latent Action Tokens通過VQ-VAE的方式進行量化處理。


  • Latent Planner負責預測這些離散的Latent Action Tokens，它與VLM 主干網(wǎng)絡共享相同的 Transformer 結(jié)構(gòu)，但使用了兩套獨立的FFN(前饋神經(jīng)網(wǎng)絡)和Q/K/V/O(查詢、鍵、值、輸出)投影矩陣。Latent Planner這組專家會逐層結(jié)合 VLM 輸出的中間信息，通過Cross Entropy Loss（交叉熵損失）進行監(jiān)督訓練。


混合專家二：

Action Expert（動作專家）

為了實現(xiàn) High-frequency（高頻率）且 Dexterous（靈活）的操控，我們引入Action Expert，其采用Diffusion Model作為目標函數(shù)來建模低層級動作的連續(xù)分布。


  • Action Expert結(jié)構(gòu)設計上與Latent Planner類似，也是與 VLM 主干網(wǎng)絡共享相同的 Transformer 結(jié)構(gòu)，但使用兩套獨立的FFN和Q/K/V/O投影矩陣，它通過Denoising Process（去噪過程）逐步回歸動作序列。

  • Action Expert與VLM、Latent Planner分層結(jié)合，確保信息流的一致性與協(xié)同優(yōu)化。


實驗效果


output (2).png


通過Vision-Language-Latent-Action (ViLLA) 創(chuàng)新性架構(gòu)，我們在五種不同復雜度任務上測試 GO-1，相比已有的最優(yōu)模型，GO-1成功率大幅領先，平均成功率提高了32%(46%->78%)。其中 “Pour Water”（倒水）、“Table Bussing”（清理桌面） 和 “Restock Beverage”（補充飲料） 任務表現(xiàn)尤為突出。此外我們還單獨驗證了ViLLA 架構(gòu)中Latent Planner的作用，可以看到增加Latent Planner可以提升12%的成功率(66%->78%)。


02、GO-1具身智能的全面創(chuàng)新


GO-1大模型借助人類和多種機器人數(shù)據(jù)，讓機器人獲得了革命性的學習能力，可泛化應用到各類的環(huán)境和物品中，快速適應新任務、學習新技能。同時，它還支持部署到不同的機器人本體，高效地完成落地，并在實際的使用中持續(xù)不斷地快速進化。


這一系列的特點可以歸納為4個方面：


  • 人類視頻學習：GO-1大模型可以結(jié)合互聯(lián)網(wǎng)視頻和真實人類示范進行學習，增強模型對人類行為的理解，更好地為人類服務。

  • 小樣本快速泛化：GO-1大模型具有強大的泛化能力，能夠在極少數(shù)據(jù)甚至零樣本下泛化到新場景、新任務，降低了具身模型的使用門檻，使得后訓練成本非常低。

  • 一腦多形：GO-1大模型是通用機器人策略模型，能夠在不同機器人形態(tài)之間遷移，快速適配到不同本體，群體升智。

  • 持續(xù)進化：GO-1大模型搭配kaiyun開云一整套數(shù)據(jù)回流系統(tǒng)，可以從實際執(zhí)行遇到的問題數(shù)據(jù)中持續(xù)進化學習，越用越聰明。


kaiyun開云通用具身基座大模型GO-1的推出，標志著具身智能向通用化、開放化、智能化方向快速邁進：


  • 從單一任務到多種任務：機器人能夠在不同場景中執(zhí)行多種任務，而不需要針對每個新任務重新訓練。

  • 從封閉環(huán)境到開放世界：機器人不再局限于實驗室，而是可以適應多變的真實世界環(huán)境。

  • 從預設程序到指令泛化：機器人能夠理解自然語言指令，并根據(jù)語義進行組合推理，而不再局限于預設程序。



GO-1大模型將加速具身智能的普及，機器人將從依賴特定任務的工具，向著具備通用智能的自主體發(fā)展，在商業(yè)、工業(yè)、家庭等多領域發(fā)揮更大的作用，通向更加通用全能的智能未來。


上一篇
下一篇