Kwestia tego, w jaki sposób agent AI podejmuje kolejne decyzje, sięga samego rdzenia jego architektury. U podstaw leży tak zwana pętla odbieranie–układanie planu–wykonywanie, w której program najpierw odbiera informacje z otoczenia, następnie rozkłada na czynniki dostępne możliwości, a wreszcie wykonuje wybraną akcję. Cały ten obieg odtwarza się wielokrotnie, aż do osiągnięcia zamierzonego efektu.
Sercem tego procesu jest model językowy, który pełni rolę wewnętrznego głosu doradczego agenta. To on odczytuje polecenia użytkownika, dzieli złożone zadanie na drobniejsze podzadania i proponuje kolejność ich wykonania. Środowisko modelu stanowią pomocnicze narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent wywołuje wtedy, gdy wymaga precyzyjnych danych spoza swojej pamięci treningowej.
Interesującym składnikiem architektury jest tak zwana pamięć robocza, w której agent przechowuje tło bieżącego zadania. Dzięki niej nie gubi nici nawet wtedy, gdy procedura rozciąga się na kilka etapów i wymaga przełączania między różnymi źródłami informacji. To właśnie ta zdolność odróżnia agenta od podstawowego skryptu, który odtwarza jedynie z góry zapisaną listę poleceń.
Osobną kwestią pozostaje mechanizm oceny własnych działań. Odpowiednio zbudowany agent potrafi rozpoznać, że otrzymany wynik nie zgadza się od oczekiwanego, i wrócić do poprzedniego etapu, by podjąć próbę innej ścieżki. Taka samokorekta przybliża działanie maszyny do ludzkiego zwyczaju weryfikowania własnej pracy przed jej oddaniem.