로봇의 실패를 어디에 배정할 것인가

로봇 에이전트의 실패를 진단하기 전에 세 항목을 순서대로 확인한다. 개별 능력과 결합 수행을 나눠 시험했는지, 행동의 의도와 결과를 대조했는지, 분류한 오류가 학습 중 반복되는지다. 최종 성공률은 수행 수준을 보여 주지만 수정할 대상을 정하려면 실패를 관찰하는 단위도 필요하다.

1. 개별 능력의 부족과 결합의 실패를 나눈다.

Mind2Act World는 과거 관찰에 근거한 판단, 정밀하고 시기적절한 동작, 둘을 환경 피드백으로 연결하는 수행을 구분한다. 결합 수행에는 동작 결과를 받아 다음 판단을 이어 가는 조건이 들어간다. 따라서 판단과 동작의 점수를 나란히 적는 것으로 결합 평가를 대신할 수 없다.

보고된 가장 강한 에이전트의 성공률은 판단 과제 52.7%, 동작 과제 39.0%, 결합 과제 12.0%였다. 이 사례는 개별 능력의 점수만 확인하면 결합 수행의 취약점을 놓칠 수 있음을 보여 준다. 다만 평가 구성이 서로 다르므로 차이 전체를 결합 기능 하나의 손실로 계산해서는 안 된다. 이 항목은 원인을 확정하기보다 후보를 나누는 기준이다.

2. 행동의 의도와 결과를 대조한다.

결합 수행이 낮다는 사실만으로 실행 중 어느 행동이 막혔는지는 알 수 없다. AgentRoboCritic은 정책 에이전트가 행동마다 국소적 의도를 밝히게 하고 critic이 그 의도에 비춰 결과와 실패 유형을 평가한다. 전체 과제가 실패했다는 이유로 모든 행동에 같은 실패를 배정하지 않기 위한 구성이다.

연구는 잡기와 정렬 같은 물리적 실행의 병목과 실패 유형에 따라 고르지 않은 복구를 보고한다. 행동 직후의 실패와 이후 복구를 나누면 최종적으로 성공한 실행에서도 중간의 취약점을 확인할 수 있다. 단, 의도가 과제에 적절한지와 의도대로 움직였는지는 별도 판단이다. 의도에 부합한 결과만으로 행동 선택까지 적절했다고 확정할 수는 없다.

3. 분류한 오류가 학습 중 줄어드는지 확인한다.

실패 분류를 개선에 쓰려면 학습 뒤 해당 범주의 변화도 확인해야 한다. EmbodyAgent는 실행 가능한 제어 코드를 학습하는 과정에서 결과 기반 강화학습이 런타임 오류를 자기강화하는 양상을 식별하고 실패 범주 모니터링과 샘플링 단계의 선별 절차를 제시한다. 전체 성공률의 변화만으로 특정 오류의 반복 여부를 대신 판단할 수 없다는 점검 근거다.

세 연구는 능력의 결합, 행동의 결과, 학습 중 오류라는 서로 다른 범위를 다룬다. 하나의 진단 체계를 공동 검증한 것은 아니므로 이 순서를 모든 로봇 평가에 적용할 처방으로 볼 수는 없다.

참고 자료:

마지막으로 관찰 수준과 원인 주장의 범위를 맞춘다. 실패 범주를 발견했다면 우선 그 발생과 반복을 말할 수 있다. 특정 구성 요소를 고치면 해결된다고 주장하려면 그 요소를 바꾼 비교에서도 해당 실패가 줄어드는지 확인해야 한다. 그런 비교가 없다면 수정 대상은 원인으로 확정하지 않고 후보로 남겨 둔다.