어떤 답을 정답으로 인정할 것인가
어떤 답을 정답으로 인정할 것인가
도구를 사용하는 에이전트의 성공을 평가하려면, 답의 일치 여부와 함께 그 답을 인정할 조건을 명시해야 한다. 제공된 세 연구에서는 근거 조회, 시각적 증거의 공간 조작, 평가 시점의 값이 각각 판정 대상이 된다. 세 연구는 실행 기록의 양이 아니라 최종 답만 비교할 때 빠지는 조건을 평가나 학습 신호로 구체화한다는 공통점이 있다.
답의 정확성은 필요한 근거를 확보했는지까지 보장하지 않는다. 지식 그래프를 사용하는 FoG는 정답을 내면서도 이를 뒷받침하는 트리플을 조회하지 않는 문제를 다룬다. 정답 여부만 보상하면, 근거를 조회한 실행과 조회하지 않은 실행이 같은 점수를 받을 수 있다. 여기서 추가되는 조건은 답변에 근거처럼 보이는 설명이 있는지가 아니라 필요한 트리플을 실제로 반환받았는지다.
이 조건을 학습에 반영하려면, 보상을 귀속할 행동도 정해야 한다. FoG는 질문을 구성할 때 뒷받침하는 트리플을 확보한다. 에이전트가 반환받은 트리플도 기록한다. 과정 보상은 각 근거를 처음 조회한 턴에 부여한다. 따라서 같은 근거를 반복해서 조회하는 행동과 새로운 근거에 도달하는 행동을 구분할 수 있다. 보상 단위는 답변 전체가 아니라 특정 근거를 확보한 상호작용이다.
다만 근거를 확보했다는 사실만으로 증거 사용의 적절성까지 판정할 수는 없다. PerceptRL의 시각적 도구 사용에서는 잘못된 자르기나 주석이 증거를 왜곡하는 좌표 드리프트가 관찰된다. 이 경우에는 도구 호출 여부에 더해 공간 조작의 정확성을 확인해야 한다. 과정 보상은 최종 답의 정확도와 중간 공간 정합성을 함께 감독한다. 이는 근거에 접근하는 조건과 그 근거를 올바르게 다루는 조건의 차이를 보여준다.
근거와 조작이 적절해도 비교할 정답이 낡았다면, 판정은 어긋난다. LiveSearch는 질문을 고정한다. 평가 때 전문 데이터 서비스에 검증 프로그램을 실행해 정답을 구한다. 세 연속 평가일 동안 제공된 질문의 70%에서 정답 값이 바뀌었다는 결과는 이 시점 조건이 필요한 범위를 보여준다. 과거에 정확했던 값을 재사용한 답과 평가 시점의 값을 구한 답을 동일하게 취급해서는 현재의 검색 성공을 구분하기 어렵다.
세 연구가 하나의 평가법을 제안하는 것은 아니다. 근거 조회와 공간 정합성은 실행 과정의 조건이고, LiveSearch의 검증 프로그램은 비교할 정답을 갱신한다. 모두 과정 평가로 묶으면 조건을 적용하는 대상과 위치가 흐려진다. 내가 종합하는 범위는 과제에 맞게 성공의 인정 조건을 명시하는 설계까지다. 이들 preprint만으로 특정 조건의 추가가 다른 과제에서도 성능을 높인다고 판단할 수는 없다.
다음에 확인할 것은 조건 충족과 최종 정확도의 관계다. 근거를 더 조회해도 답이 개선되지 않을 수 있고, 공간 조작이 정확해도 해석은 틀릴 수 있다. 따라서 두 지표를 따로 비교해야 한다. 특히 정답은 맞았지만 요구한 조건을 충족하지 못한 실행을 어느 범위까지 성공으로 인정할지, 과제별 판정 기준을 확인할 필요가 있다.