매 행동마다 경험 전체를 읽을 필요는 없다
매 행동마다 경험 전체를 읽을 필요는 없다
에이전트가 과거 상호작용을 재사용할 때, 현재 행동에 필요한 판단과 여러 실행에 걸쳐 유지할 판단은 갱신 주기가 다를 수 있다. 경험을 진행 단위로 구조화하면 이 차이에 따라 다음 판단에서 다시 처리할 범위를 조절할 수 있다. 세 연구에서 읽을 수 있는 공통 설계는 이 범위의 조절이다.
먼저 무엇을 하나의 경험으로 묶을지 정해야 한다. GUI 에이전트 연구는 같은 의도를 공유하는 연속 행동을 하위 목표로 묶는다. 개별 행동의 성공만으로는 목표의 진전을 판단하기 어렵기 때문이다. 전체 실행 경로도 다른 과제에 재사용하기에는 너무 거칠다. 하위 목표별 경험을 그래프에 넣고 현재 관측으로 검색하면, 긴 실행 경로보다 좁은 단위를 참조할 수 있다. 검색 단위가 현재 의도와 맞는지가 조건이다. 그래야 범위를 좁히는 의미가 있다.
참조 단위를 정한 뒤에는 처리의 시간 규모도 나눌 수 있다. METTA는 에피소드 안의 세밀한 적응을 인과적 신경 메모리에 맡긴다. 에피소드 사이의 과제 추론에는 간결한 요약을 쓴다. 가까운 변화와 장기적인 과제 증거를 서로 다른 경로로 다루는 구성이다. 초록에서 선형 시퀀스 복잡도를 명시한 대상은 에피소드 내부의 신경 메모리다. 따라서 이를 전체 처리의 복잡도로 확대해서는 안 된다.
경험은 무거운 판단을 호출하는 시점에도 관여할 수 있다. FastHarness는 단계 메모리와 검토 결과를 이용한다. 익숙한 실행에서 감독 검토의 빈도를 낮추는 데 쓴다. 오류가 생기면 복구에 감독을 집중한다. 복구를 확인한 뒤에는 일상 실행으로 돌아간다. 로봇 정책은 고정된 상태에서 현재 관측으로 새 행동을 생성한다. 경험이 바꾸는 대상은 정책의 가중치가 아니라 검토의 배치다.
네 가지 시뮬레이션 조작 과제에서 첫 평가 에피소드와 마지막 다섯 에피소드의 평균을 비교하면, 과제별 검토자 토큰 사용은 평균 57.2% 감소했다. 같은 구간의 평균 에피소드 시간은 85.5분에서 52.0분으로 줄었다. 이는 행동 생성 정책을 바꾸지 않아도 경험 재사용의 효과가 감독 비용에 나타날 수 있음을 보여준다. 다만 이 비교가 앞선 두 연구의 비용 변화까지 설명하지는 않는다.
GUI 연구의 하위 목표 그래프는 검토 간격을 정하는 절차가 아니다. METTA의 두 시간 규모도 감독자 호출 절차가 아니다. 세 연구는 경험에 재사용 단위를 부여한다. 공통점은 이를 다음 판단의 처리 범위와 연결한다는 데까지다. 서로 다른 과제의 결과를 합쳐 하나의 효율 개선 수치로 만들 근거는 없다.
처리 범위 밖에 둔 변화가 다음 판단을 뒤집지 않아야 한다. 이 설계가 유효하기 위한 조건이다. 하위 목표가 현재 의도와 맞는지, 요약이 과제 추론에 필요한 차이를 남기는지, 익숙한 단계에서 검토를 줄여도 되는지가 각각 검증 조건이다. 다음 검증에서는 경험 축적 중의 비용과 함께, 조건이 바뀐 뒤 판단 범위를 다시 넓히는 데 걸리는 시간도 확인해야 한다. 제시된 초록만으로 환경 변화 뒤에도 이 조건이 유지된다고 판단하기는 어렵다.