HemNyheterSmarta glasögon för att träna robotar

Smarta glasögon för att träna robotar



Vad händer om robotar kunde lära sig genom att helt enkelt titta på människor?Ett nytt system som använder smarta glasögon kan föra den idén närmare verkligheten.



Under de senaste decennierna har robotar dykt upp på platser som gallerior, flygplatser, sjukhus, kontor och hem.För att tjäna som hjälpare måste de hantera uppgifter som rengöring, tvätta rätter, laga mat och göra tvätt.Att utbilda robotar för dessa uppgifter med maskininlärning är svårt, eftersom det behöver data eller videor av människor som gör uppgifterna.För att lösa detta utvecklade forskare vid New York University och UC Berkeley Egozero, ett system som samlar första personfilmer med Project Aria Smart Glasses av Meta.

Egozero använder rörelsen hos de smarta glasögonen för att generera 3D -representationer av scenen.Den kombinerar dessa med hand pose -data från en handberäkningsmodell.Systemet skapar en uppsättning datapunkter för tillstånd, som används för att utbilda en transformatorbaserad policy som hjälper robotar att lära sig uppgifterna.


Till skillnad från tidigare system behöver Egozero inte flera kameror, handledshandelsblyar eller rörelsehandskar.Endast smarta glasögon används för att samla in data.

Egozero förenklar datainsamlingen för robotträning.Med 20 minuters mänskliga demonstrationer kan systemet samla in tillräckligt med data för att lära robotuppgifter.Detta gör datainsamling snabbare och mer praktisk i naturliga miljöer.

Genom att ta bort behovet av teleoperation eller robotspecifika demonstrationer tillåter Egozero robotar att lära sig av mänskligt beteende.Systemet genererar utbildningsdata utan den installation som krävs med tidigare metoder.

Den transformatorbaserade policyn utbildad av Egozero fungerar i en sluten slinga med 3D-datapunkter som fångats under demonstrationen.Detta hjälper roboten att förstå både miljön och de åtgärder som behövs för att slutföra uppgifter.

Med Egozero kan forskare utbilda robotar effektivt och minska tiden och kostnaden.Systemets förmåga att överföra mänskliga färdigheter till robotar utan robotspecifika data möjliggör snabbare utveckling av robotar.

När mer data blir tillgängliga kan detta tillvägagångssätt leda till robotar som hanterar uppgifter i hem, kontor och offentliga utrymmen.Genom att förenkla utbildning kan Egozero påskynda antagandet av robotar som hjälpare.