Všetky experimenty
AI × 3D Prebieha
Dokáže AI ovládať Unreal Engine?
Dokáže jazykový model 3D editor ovládať, nie len opisovať?
Čo som skúsil
Sprístupnil som agentovi operácie editora ako explicitné, kontrolovateľné príkazy namiesto voľného textu a dal mu možnosť si po akcii prečítať stav scény.
Čo sa stalo
Problém nikdy nebol v plynulosti. Model vedel vysvetliť akýkoľvek postup a aj tak po sebe v editore nenechal stopu.
Len čo akcie začali vracať pozorovateľný stav, zlyhania sa stali konkrétnymi, a tým opraviteľnými: zlý cieľ, zlá transformácia, zlý predpoklad o tom, čo je vybrané.
Ďalšia otázka
Koľko stavu scény musí agent vidieť, aby jeho priestorové rozhodnutia prestali byť hádaním?