Všechny experimenty
AI × 3D Probíhá
Dokáže AI ovládat Unreal Engine?
Dokáže jazykový model 3D editor ovládat, ne jen popisovat?
Co jsem zkusil
Zpřístupnil jsem agentovi operace editoru jako explicitní, kontrolovatelné příkazy místo volného textu a dal mu možnost si po akci přečíst stav scény.
Co se stalo
Problém nikdy nebyl v plynulosti. Model uměl vysvětlit jakýkoli postup a stejně po sobě v editoru nenechal stopu.
Jakmile akce začaly vracet pozorovatelný stav, selhání se stala konkrétními, a tím opravitelnými: špatný cíl, špatná transformace, špatný předpoklad o tom, co je vybrané.
Další otázka
Kolik stavu scény musí agent vidět, aby jeho prostorová rozhodnutí přestala být hádáním?