Moodpack / Director

Moodpack / Director je experimentální prostředí pro propojení AI agentů s Unreal Enginem — ne kvůli generování obrázků 3D scén, ale kvůli ovládání editoru, ve kterém scény vznikají.

Jazykové modely mluví o 3D práci plynule a většinou ji neumí dělat. Dokážou popsat scénu, pojmenovat správné nástroje a vysvětlit postup — a nevznikne nic, co by v softwaru existovalo.

Mezera není ve znalostech. Je ve stavu: editor je živé prostředí s výběrem, hierarchií, souřadnicovým systémem a důsledky, a nic z toho v textovém promptu není.

Dát agentovi skutečné úchyty na editor a způsob, jak si přečíst, co se stalo. Z akcí se stanou nástroje, ze scény pozorovatelný stav, a smyčka se uzavře.

Systém je postavený jako řídicí vrstva mezi agentem a editorem. Příkazy jsou explicitní a kontrolovatelné, ne volné, takže neúspěšná akce je čitelné selhání, ne ticho.

Velká část práce je nakonec prostorová, ne jazyková — umístění, kolize, orientace, jestli objekt skončil tam, kam měl.

Každý experiment zůstává malý a opakovatelný: vyžádat jednu operaci, pozorovat scénu, porovnat se záměrem.

Unreal Engine jako prostředí, na jedné straně příkazové rozhraní pro agenta, na druhé čtení stavu scény. Generování objektů a zvuku existuje jako samostatné generátory napojené na stejné prostředí.

Opakovaným testem je prostorové uvažování. Agent umí vyprodukovat naprosto věrohodnou větu o tom, kam patří židle, a přesto ji umístit do zdi.

Práce s kolizemi a umísťováním je proto poctivější mírou pokroku než jakýkoli přepis toho, jak se agent vysvětluje.

Ve vývoji, a spíš experiment než produkt. Není to autonomní systém a ani se tak neprezentuje.

Úzkým hrdlem není slovní zásoba modelu, ale jeho úchop stavu. Pokrok přišel z toho, že se prostředí stalo pro agenta čitelnějším — ne z důmyslnějšího zadávání.