Het LEGOGPT -systeem werkt in drie delen, weergegeven in dit diagram.
Credit: Pun et al.
De onderzoekers breidden ook de mogelijkheden van het systeem uit door textuur- en kleuropties toe te voegen. Het gebruik van een uiterlijkprompt zoals “Electric Guitar in Metallic Purple” kan Legogpt bijvoorbeeld een gitaarmodel genereren, met bakstenen een paarse kleur toegewezen.
Testen met robots en mensen
Om te bewijzen dat hun ontwerpen in het echte leven werkten, lieten de onderzoekers robots de AI-gecreëerde LEGO-modellen samenstellen. Ze gebruikten een dual-robot-armsysteem met krachtsensoren om bakstenen op te pakken en te plaatsen volgens de AI-gegenereerde instructies.
Menselijke testers bouwden ook enkele van de ontwerpen met de hand, waaruit blijkt dat de AI echt bouwbare modellen creëert. “Onze experimenten tonen aan dat Legogpt stabiele, diverse en esthetisch aangename LEGO -ontwerpen produceert die nauw aansluiten bij de invoertekstprompts,” merkte het team op in zijn paper.
Wanneer getest tegen andere AI -systemen voor 3D -creatie, valt Legogpt op door zijn focus op structurele integriteit. Het team testte op verschillende alternatieven, waaronder lama-mesh en andere 3D-generatiemodellen, en ontdekte dat de aanpak het hoogste percentage stabiele structuren opleverde.
Een video van twee robotarmen die een Legogpt -creatie bouwen, geleverd door de onderzoekers.
Toch zijn er enkele beperkingen. De huidige versie van LEGOGPT werkt alleen binnen een 20 × 20 × 20 bouwruimte en maakt gebruik van slechts acht standaard bakstenen typen. “Onze methode ondersteunt momenteel een vaste reeks veelgebruikte LEGO -bakstenen,” erkende het team. “In het toekomstige werk zijn we van plan om de bakstenen bibliotheek uit te breiden met een breder scala aan dimensies en bakstenen types, zoals hellingen en tegels.”
De onderzoekers hopen ook hun trainingsdataset op te schalen om meer objecten op te nemen dan de 21 categorieën die momenteel beschikbaar zijn. Ondertussen kunnen anderen letterlijk voortbouwen op hun werk – de onderzoekers hebben hun dataset, code en modellen vrijgegeven op hun projectwebsite en GitHub.
