Երբ OpenAI-ի, Anthropic-ի և Google-ի երեք խոշորագույն AI հարթակների առաջատար մոդելները մրցում են նույն ասպարեզում, ո՞վ է ավելի լավ կառավարում ռոբոտներին։
Հոկտեմբերի 20-ին՝ Միֆենգ տեխնոլոգիայի, Hugging Face-ի, NVIDIA-ի, Ցինհուա համալսարանի և համաշխարհային մոտ 20 բուհերի, ընկերությունների ու գիտահետազոտական հաստատությունների կողմից համատեղ հիմնադրված RoboColiseum մարմնավորված ինտելեկտի ասպարեզը հրապարակեց այս փուլի գնահատման արդյունքները․ Claude Opus 5.5-ը զբաղեցրեց առաջին տեղը չորս առաջատար մոդելների ընդհանուր դասակարգման մեջ, GPT-6 Astra-ն հետևեց նրան։
Ենթակետային առումով՝ չորս առաջատար մոդելների շարքում GPT-6 Astra-ն առաջատար է հրահանգներին հետևելու և ընդհանուր խախտումներին հարմարվելու հարցում, ընդ որում հրահանգներին հետևելու գնահատականը հասնում է 99.35-ի․ Opus-ը ավելի լավ է դրսևորվում տարածական ընկալման և ընդհանուր գործողությունների մեջ և նվազագույն token ծախսով ամբողջ փուլի գնահատման ընթացքում զբաղեցրել է առաջին տեղը առաջատար խմբում։ Պատկերի որակի խախտման թեստերում GPT-6.1 Sol-ը զգալիորեն զիջում է մյուս երեք մոդելներին՝ ցույց տալով տարբեր մոդելների կայունության տարբերությունները տեսողական տեղեկատվության փոփոխություններին արձագանքելիս։
Սակայն այս փուլի ընդհանուր դասակարգման առաջին երկու տեղերը դեռ զբաղեցնում են մարմնավորված ռազմավարության մոդելները՝ հատկապես ընդհանուր գործողությունների հարթությունում պահպանելով առավելությունը։
Այս համատեղ մրցումը ոլորտին տալիս է հստակ հղում՝ հասկանալու գեներատիվ խոշոր մոդելների և մարմնավորված ռազմավարության մոդելների ուժեղ կողմերն ու թույլ կողմերը։
RoboColiseum-ը հրահանգներին հետևելու, տարածական ընկալման, խախտումներին հարմարվելու և ընդհանուր գործողությունների շուրջ ներկայացրել է չորս տեսակի կարողությունների ենթացանկեր և 78 բարձր հավատարմության սիմուլյացիոն գնահատման առաջադրանքներ՝ ներկայացնելով ինչպես մոդելների ենթակետային ցուցանիշները, այնպես էլ գրանցելով առաջադրանքների կատարման քայլերն ու ձախողման վայրերը՝ օգնելով մշակողներին արագ գտնել մոդելների կարողությունների թույլ կողմերը։
Որպես համահիմնադիր՝ Միֆենգը RoboColiseum-ին տրամադրում է բարձր հավատարմության օբյեկտային ակտիվներ և սիմուլյացիոն սցենարներ՝ աջակցելով բարդ ռոբոտային գործողությունների առաջադրանքների գնահատման միջավայրի կառուցմանը և տարբեր օբյեկտների փոխազդեցության, տարածական դասավորության ու միջավայրային պայմաններում մոդելների կարողությունների թեստավորման համար ապահովելով հիմնական ռեսուրսներ։
Արդյո՞ք մոդելների արդյունքները սիմուլյացիայում արտացոլում են իրական գործողությունների կատարողականությունը․ սա նույնպես գնահատման առանցքային հարց է։ Հարթակի հրապարակած փաստացի թեստավորման արդյունքների համաձայն՝ RoboColiseum-ի սիմուլյացիոն գնահատման և իրական սարքավորման վրա տեղակայման հարաբերակցությունը հասնում է 89.5%-ի, նույն մոդելի գնահատման տարբերությունը սիմուլյացիայում և իրական աշխարհում պակաս է 10%-ից, ինչը կարող է հղում ծառայել մշակողների համար՝ իրական սարքավորման թեստավորմանն անցնելուց առաջ մոդելների ընտրության և խնդիրների տեղորոշման հարցում։
Միֆենգ տեխնոլոգիան տրամադրում է «առավել ամբողջական, լավ և արագ» տվյալների մատակարարման համակարգ՝ ընդգրկելով իրական սարքավորման, սիմուլյացիայի և առանց մարմնի երեք հիմնական տվյալների պարադիգմները։ Սիմուլյացիայի առումով Մի֖նգը տրամադրում է օբյեկտային ակտիվների և միջավայրային ակտիվների երկու տեսակի ռեսուրսներ՝ ընդգրկելով բազմաթիվ առօրյա առարկաներ և ներքին տարածքների սցենարներ, ինչպես նաև տրամադրում է սցենարների վերակառուցման, փորձագիտական հետագծերի տվյալների ստացման և գնահատման արդյունքների վիզուալիզացիայի հնարավորություններ՝ օգնելով մոդելային թիմերին իրականացնել բազմազան ուսուցում և գնահատում։
Coliseum-ը ի սկզբանե նշանակում է Հին Հռոմի շրջանաձև ասպարեզ․ RoboColiseum-ը այս պատկերն օգտագործելով՝ կառուցում է բազմաչափ համակարգային գնահատման համակարգ՝ իրական սարքավորման կատարողականությանը բարձր համապատասխանող սիմուլյացիոն գնահատմամբ մարմնավորված ինտելեկտի մոդելների համար ստեղծելով հանրային, չեզոք և վերարտադրելի «ասպարեզ» և «մարզադաշտ»։ Ցանկացած բուհ, հետազոտական հաստատություն կամ ընկերություն-մշակող կարող է ներկայացնել իր մոդելը՝ անցնելու ստանդարտացված «քննություն»։ Օգոստոսին գործարկվելուց ի վեր՝ արդեն 100-ից ավելի թիմեր ամբողջ աշխարհից իրականացրել են մոդելների ուսուցում և գնահատում հարթակում։
RoboColiseum-ն այժմ բաց է համաշխարհային մշակողների համար, և մոդելային թիմերը հրավիրվում են մասնակցելու գնահատմանը։
