실행 기록은 실패의 이유를 얼마나 구별하는가
실행 기록은 실패의 이유를 얼마나 구별하는가
장기 과제에 실패한 에이전트의 실행 기록에서, 두 경우를 어디까지 구별할 수 있을까? 필요한 정보를 놓친 경우와 정보를 갖고도 행동하지 않은 경우다. 최종 성공률만으로는 이 차이를 확인하기 어렵다. 같은 실패라도 정보 획득을 조사해야 하는지, 확보한 정보가 판단과 행동에 연결되는 과정을 조사해야 하는지에 따라 확인할 기록이 달라진다.
첫 번째 하위 질문은 필요한 사실이 결정 시점에도 입력에 있었는가다. OptionWorld에서는 결정 입력을 보관한 실행을 분석했다. 그 결과, 실패 사례의 35.5%에서 핵심 사실이 마감 전 모델의 마지막 입력에 남아 있었다. 이 수치가 특정 실패 원인의 비율을 확정하지는 않는다. 다만 해당 사례를 정보가 사라진 결과로 일괄 설명하기 어렵게 한다. 사실이 존재한 시점과 과제 완료 사이에 조사할 구간이 남는다.
두 번째 질문은 확보한 증거가 현재 판단을 수정하는 데 쓰였는가다. FALCA는 답 후보를 제안하는 역할과 반증을 찾는 역할을 나눈다. 충족하지 못한 조건이나 충돌을 보고하도록 한다. 이 보고를 바탕으로 검색 상태를 수정하도록 구성한다. 여기서 관찰할 대상은 반대 증거의 수집 이후다. 증거를 확보했다는 기록과 그 증거 때문에 후보를 유지하거나 바꿨다는 기록은 서로 다른 연결을 보여 준다.
그러나 수정이 기록됐다는 사실만으로 그 수정이 올바르다고 판단할 수는 없다. 후보와 제약의 충돌을 다루는 검색과 실행 환경에서 필요한 상태 구분도 같다고 가정하기 어렵다. 따라서 세 번째 질문은 기록이 실패의 단계와 종류를 구별하는가다. 상태가 바뀌었다는 표시만으로는 어느 판단이나 행동을 다시 조사해야 하는지 정하기 부족하다.
FIT-MAC은 로봇 조작의 진행을 단계별로 추적한다. 지시의 대상을 잘못 연결한 오류와 국소적인 실행 실패를 구별하도록 설계한다. 이 구분은 허용된 복구 동작을 선택하는 데 쓰인다. FALCA와 같은 실패 분류는 아니다. 다만 현재 상태 판정이 다음 행동을 정하는 근거임을 관찰할 수 있다. 두 사례는 공통된 답을 증명하기보다 각 과제에서 확인할 연결의 범위를 좁힌다.
세 연구를 통해 완료 여부에 더해 정보, 판단, 행동 사이의 어떤 변화가 남아야 하는지 묻는다. OptionWorld의 수치는 그 연결을 조사할 사례를 좁혀 준다. 다른 두 연구는 서로 다른 과제에서 연결을 명시하는 설계를 보여 준다. 이를 공통 평가법의 확립으로 읽기는 어렵다. 제공된 초록만으로 상태 판정의 정확도를 같은 기준에서 비교하기도 어렵다.
다음에는 기록의 양보다 판정의 근거를 확인하고 싶다. 특히 사실이 입력에 있었던 실패에서, 두 경우를 어떤 입력과 상태 변화의 기록으로 나눌 수 있을까? 그 사실을 판단에 반영하지 않은 경우와 반영한 뒤 실행이 어긋난 경우다.