北条麻妃91视频-中文字幕乱码熟妇五十中出-久草免费在线视频精品-337p粉嫩大胆噜噜噜噜一区二区-日韩av第一区-人人精品久久-国内精品视频在线-亚洲视频一区-国产av区一区二-精品一区二区三区黄片-欧美激情综合色

為加速機(jī)器人技術(shù)的發(fā)展，開拓更豐富的具身智能應(yīng)用，kaiyun開云機(jī)器人今天正式宣布推出自主研發(fā)的大型仿真框架AgiBot Digital World，為機(jī)器人操作提供靈活的仿真數(shù)據(jù)生成方案、預(yù)訓(xùn)練的大規(guī)模仿真數(shù)據(jù)和統(tǒng)一的模型評(píng)測(cè)標(biāo)準(zhǔn)，同步開源海量仿真數(shù)據(jù)！

▎關(guān)于AgiBot Digital World：https://agibot-digitalworld.cn

AgiBot Digital World作為一款專為機(jī)器人操作技能研究與應(yīng)用設(shè)計(jì)的仿真框架，集成了海量的逼真三維資產(chǎn)、多樣化的專家軌跡生成機(jī)制和全面的模型評(píng)估工具。通過(guò)高保真地模擬訓(xùn)練場(chǎng)景，全鏈自動(dòng)化地生成數(shù)據(jù)，AgiBot Digital World可以實(shí)現(xiàn)一系列的具身仿真服務(wù)。

具體來(lái)說(shuō)，憑借豐富多樣的物體、場(chǎng)景和機(jī)器人模型所構(gòu)建的大規(guī)模、高精度的三維資產(chǎn)庫(kù)，結(jié)合高度逼真的視覺渲染和精確的物理模擬，以及任務(wù)與場(chǎng)景的自動(dòng)化生成，AgiBot Digital World可以惟妙惟肖地模擬各種機(jī)器人訓(xùn)練場(chǎng)景。同時(shí)，仿真框架打造的多種專家軌跡生成策略，配合域隨機(jī)化、數(shù)據(jù)增強(qiáng)等手段，能夠自動(dòng)生成多樣、魯棒的大規(guī)模專家軌跡數(shù)據(jù)，并且建立了貫穿專家軌跡生成、模型訓(xùn)練、基準(zhǔn)測(cè)試、部署驗(yàn)證的完整評(píng)估流程。

同時(shí)，kaiyun開云機(jī)器人開源上線海量規(guī)模的仿真數(shù)據(jù)集AgiBot Digital World Dataset，涵蓋5大類場(chǎng)景、180+品類具體物品、9種常見材質(zhì)、12種核心技能，具有質(zhì)量高、泛化快、任務(wù)多樣、應(yīng)用靈活的特點(diǎn)！這是繼去年12月份百萬(wàn)真機(jī)數(shù)據(jù)集開源項(xiàng)目AgiBot World之后，kaiyun開云機(jī)器人在具身智能數(shù)據(jù)方面的又一開源行動(dòng)，助力全球具身智能機(jī)器人領(lǐng)域發(fā)展！

▎數(shù)據(jù)開源地址：https://huggingface.co/datasets/agibot-world/AgiBotDigitalWorld

01、高保真模擬訓(xùn)練場(chǎng)景，幫助機(jī)器人預(yù)訓(xùn)技能

高度真實(shí)、多樣的三維資產(chǎn)

生動(dòng)自然的視覺效果

除了照片般真實(shí)細(xì)膩的觀感外，還有真實(shí)世界的物理效應(yīng)。比如當(dāng)黃色小車被輕輕放到盒子里的一瞬，碰到的籃子和藍(lán)色小車也隨之晃動(dòng)。尤其在腕部相機(jī)視角下，這樣的交互細(xì)節(jié)特色尤為明顯。

細(xì)膩傳神的物理效應(yīng)

3.自動(dòng)生成任務(wù)與場(chǎng)景

AgiBot Digital World引入多模態(tài)大模型，支持基于資產(chǎn)庫(kù)自動(dòng)生成操作任務(wù)，以及基于指定任務(wù)自動(dòng)生成操作場(chǎng)景和物體布局。此功能可以根據(jù)實(shí)際訓(xùn)練需求，靈活創(chuàng)建多樣化、復(fù)雜度可調(diào)的仿真任務(wù)與仿真環(huán)境，實(shí)現(xiàn)數(shù)據(jù)閉環(huán)。
比如在書房中，想從桌面任務(wù)轉(zhuǎn)向立面操作，那么可以一鍵召喚取書任務(wù)，系統(tǒng)將自動(dòng)捕捉到環(huán)境中的書架。

桌面任務(wù)轉(zhuǎn)向立面操作

如果當(dāng)前環(huán)境無(wú)法滿足任務(wù)需求，比如缺少特定物體，那么系統(tǒng)也可自動(dòng)調(diào)用資產(chǎn)庫(kù)補(bǔ)充物體，或切換至適配場(chǎng)景。

自動(dòng)調(diào)用資產(chǎn)庫(kù)補(bǔ)充物體

02、全鏈路自動(dòng)化生成數(shù)據(jù)，提供海量學(xué)習(xí)資料

AgiBot Digital World致力于實(shí)現(xiàn)全鏈路自動(dòng)化的數(shù)據(jù)生產(chǎn)，具身智能數(shù)據(jù)生成引擎可以提供包括真機(jī)操作數(shù)字孿生、具身智能體自動(dòng)生成和仿真遙操作等多元化的專家軌跡生成策略，同時(shí)結(jié)合域隨機(jī)化和數(shù)據(jù)增強(qiáng)技術(shù)生成多樣、魯棒的專家軌跡數(shù)據(jù)，提升模型泛化能力。

1.多元化專家軌跡生成策略

真機(jī)操作數(shù)字孿生：支持真實(shí)機(jī)器人操作軌跡數(shù)據(jù)1:1映射到仿真環(huán)境中，用于生成更豐富的數(shù)據(jù)標(biāo)簽以及為數(shù)據(jù)增廣提供專家示例軌跡。

具身智能體自動(dòng)生成：在大規(guī)模機(jī)器人專家軌跡數(shù)據(jù)驅(qū)動(dòng)的端到端操作之前，主流機(jī)器人學(xué)習(xí)領(lǐng)域普遍通過(guò)專用的模塊化小模型解決特定的問題，AgiBot Digital World將多模態(tài)大模型與模塊化機(jī)器人操作小模型結(jié)合構(gòu)造機(jī)器人操作智能體，自動(dòng)化生成機(jī)器人操作軌跡。 

仿真遙操作：對(duì)于智能體難以處理的復(fù)雜任務(wù)，提供人機(jī)交互界面，允許操作者在仿真環(huán)境中通過(guò)遙操作的方式獲取專家演示數(shù)據(jù)。

2.域隨機(jī)化與數(shù)據(jù)增強(qiáng)提升泛化性

仿真過(guò)程中，具身智能數(shù)據(jù)生成引擎可以進(jìn)行豐富的環(huán)境光照、物體材質(zhì)、物理屬性域隨機(jī)化，同時(shí)支持多種操作軌跡增強(qiáng)方式，以生成具有多樣性和魯棒性的專家軌跡數(shù)據(jù)，增強(qiáng)模型在真實(shí)環(huán)境中的泛化能力。
通過(guò)調(diào)整任務(wù)、物體實(shí)例、場(chǎng)景、布局、光照、紋理、物理參數(shù)等多樣數(shù)據(jù)標(biāo)簽，數(shù)據(jù)生成引擎可以調(diào)整被操作物體及環(huán)境的紋理、光照、遮擋物密度等設(shè)置，生成涵蓋各類分布外情形的增強(qiáng)數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)分布的實(shí)時(shí)監(jiān)測(cè)和控制。

生成各種情形增強(qiáng)泛化

3.自動(dòng)化生成大規(guī)模數(shù)據(jù)集

數(shù)據(jù)生成引擎可以支持包括多視角RGB-D圖像、觸覺信息、機(jī)器人狀態(tài)信息在內(nèi)的等多模態(tài)數(shù)據(jù)，用于策略學(xué)習(xí)。

生成多模態(tài)數(shù)據(jù)

依托自動(dòng)化的任務(wù)和場(chǎng)景生成機(jī)制，AgiBot Digital World可以快速構(gòu)建大規(guī)模、可擴(kuò)展的機(jī)器人操作專家軌跡數(shù)據(jù)，與真實(shí)機(jī)器人操作軌跡數(shù)據(jù)互補(bǔ)，提升數(shù)據(jù)的多樣性和模型的泛化性，并降低數(shù)據(jù)成本。 

快速構(gòu)建大規(guī)模、可擴(kuò)展專家軌跡數(shù)據(jù)

同時(shí)，作為一款具身智能大型仿真框架，AgiBot Digital World建立了貫穿專家軌跡生成、模型訓(xùn)練、基準(zhǔn)測(cè)試、部署驗(yàn)證的完整評(píng)估流程，支持對(duì)機(jī)器人的端到端模型進(jìn)行全面測(cè)試。尤其在有了海量數(shù)據(jù)后，虛實(shí)交織的數(shù)據(jù)飛輪將極大程度地加速具身智能的開發(fā)和應(yīng)用。

仿真Benchmark中驗(yàn)證端到端Policy

03、開源海量仿真數(shù)據(jù)，加速具身智能發(fā)展

AgiBot Digital World可以高效支持機(jī)器人在多元化場(chǎng)景的應(yīng)用，仿真數(shù)據(jù)涵蓋5大類型場(chǎng)景：家居、商超、辦公、餐飲和工業(yè)。

AgiBot Digital World Dataset物體數(shù)字資產(chǎn)分布

AgiBot Digital World Dataset操作任務(wù)分布

其中，家居場(chǎng)景最為豐富，占比36%；商超緊隨其后，占比21%；其余場(chǎng)景各占14.3%。當(dāng)中，物體細(xì)分為家用電器、衣物配飾、日雜用品等9大品類，包含超過(guò)180種具體物品，充分滿足多樣化需求。材質(zhì)方面則是涵蓋木質(zhì)、地毯、石制等9種主要材料，提供豐富的選擇。此外，數(shù)據(jù)還囊括12種核心技能，如抓、放、插、倒等，靈活應(yīng)對(duì)各種任務(wù)。

kaiyun開云機(jī)器人此次開源的海量仿真數(shù)據(jù)具有一系列特點(diǎn)：

質(zhì)量高：提供的機(jī)器人操作數(shù)據(jù)質(zhì)量高，可供端到端模型可靠訓(xùn)練。

泛化快：可支持實(shí)現(xiàn)光照、干擾物、平面位置、高度、背景和物體類別的快速泛化，提升模型在各種環(huán)境下表現(xiàn)。

任務(wù)多樣：包含多個(gè)步驟的長(zhǎng)程任務(wù)以及多技能組合的短程任務(wù)，適用于多技能訓(xùn)練和多任務(wù)泛化執(zhí)行。

應(yīng)用靈活：通過(guò)12種核心技能組合，數(shù)據(jù)集能靈活應(yīng)對(duì)各種復(fù)雜任務(wù)，提升機(jī)器人操作的適應(yīng)性和效率。

這些數(shù)據(jù)為各類場(chǎng)景應(yīng)用提供了堅(jiān)實(shí)的開發(fā)基礎(chǔ)和廣泛的應(yīng)用可能性，助力實(shí)現(xiàn)多技能訓(xùn)練和多任務(wù)泛化執(zhí)行。

接下來(lái)，AgiBot Digital World還將進(jìn)一步開放擴(kuò)展，適配更多的機(jī)器人本體和執(zhí)行器（包括夾爪、靈巧手）；并融合更多模態(tài)，包括深度噪聲傳感器仿真、觸覺傳感仿真等。

kaiyun開云多機(jī)器人仿真

觸覺傳感器仿真

在過(guò)去一年，具身智能領(lǐng)域迎來(lái)了爆發(fā)式發(fā)展，大規(guī)模機(jī)器人操作數(shù)據(jù)的作用功不可沒。kaiyun開云機(jī)器人推出的AgiBot Digital World，支持快速生成海量高質(zhì)量的操作數(shù)據(jù)，通過(guò)與真機(jī)數(shù)據(jù)搭配，可以更加高效、全面地構(gòu)建高質(zhì)量具身訓(xùn)練數(shù)據(jù)集，加快具身智能發(fā)展！