Moodpack / Director

Moodpack / Director je experimentálne prostredie na prepojenie AI agentov s Unreal Enginom — nie kvôli generovaniu obrázkov 3D scén, ale kvôli ovládaniu editora, v ktorom scény vznikajú.

Jazykové modely hovoria o 3D práci plynulo a väčšinou ju nevedia robiť. Dokážu opísať scénu, pomenovať správne nástroje a vysvetliť postup — a nevznikne nič, čo by v softvéri existovalo.

Medzera nie je vo vedomostiach. Je v stave: editor je živé prostredie s výberom, hierarchiou, súradnicovým systémom a dôsledkami, a nič z toho v textovom prompte nie je.

Dať agentovi skutočné úchyty na editor a spôsob, ako si prečítať, čo sa stalo. Z akcií sa stanú nástroje, zo scény pozorovateľný stav, a slučka sa uzavrie.

Systém je postavený ako riadiaca vrstva medzi agentom a editorom. Príkazy sú explicitné a kontrolovateľné, nie voľné, takže neúspešná akcia je čitateľné zlyhanie, nie ticho.

Veľká časť práce je napokon priestorová, nie jazyková — umiestnenie, kolízie, orientácia, či objekt skončil tam, kam mal.

Každý experiment zostáva malý a opakovateľný: vyžiadať jednu operáciu, pozorovať scénu, porovnať so zámerom.

Unreal Engine ako prostredie, na jednej strane príkazové rozhranie pre agenta, na druhej čítanie stavu scény. Generovanie objektov a zvuku existuje ako samostatné generátory napojené na rovnaké prostredie.

Opakovaným testom je priestorové uvažovanie. Agent vie vyprodukovať úplne vierohodnú vetu o tom, kam patrí stolička, a napriek tomu ju umiestniť do steny.

Práca s kolíziami a umiestňovaním je preto poctivejšou mierou pokroku než akýkoľvek prepis toho, ako sa agent vysvetľuje.

Vo vývoji, a skôr experiment než produkt. Nie je to autonómny systém a ani sa tak neprezentuje.

Úzkym hrdlom nie je slovná zásoba modelu, ale jeho úchop stavu. Pokrok prišiel z toho, že sa prostredie stalo pre agenta čitateľnejším — nie z dômyselnejšieho zadávania.