중간 보상은 무엇을 같은 상태로 보는가
중간 보상은 무엇을 같은 상태로 보는가
에이전트의 중간 보상은 실행 구간을 기준으로 구성할 수도 있다. 확보한 지식의 상태를 기준으로 구성할 수도 있다. 실행 구간 기반 방식은 결과가 나오기까지의 결정들을 묶어 평가한다. 지식 상태 기반 방식은 답에 필요한 조건을 얼마나 충족했는지로 진행을 구분한다. 두 방식은 성공 이전의 변화를 학습 신호로 쓰지만, 무엇을 같은 상태로 취급하는지가 다르다.
비교 기준은 관찰 가능한 진전과 상태 정의의 부담이다. 실행 구간을 택하면 결과 사이의 변화를 관찰하는 대신 구간 내부의 기여가 함께 묶인다. 지식 상태를 택하면 확보한 내용의 차이를 구별할 수 있지만 과제에 필요한 지식을 조건으로 구성해야 한다. 보상 빈도만으로는 이 차이를 설명할 수 없다. 경계를 어디에 두고 어떤 변화를 진행으로 셀지가 보상의 의미를 결정한다.
MLExpert는 실험 결과가 나오기까지의 여러 결정을 하나의 실행 구간으로 묶는다. 이 구간의 결정들은 결과 기반 보상을 공유한다. 각 도구 호출을 따로 판정하지 않고 다음 실험 결과를 경계로 삼는다. 이때 관찰 가능한 진전은 구간의 결과를 통해 드러난다. 최종 결과보다 앞서 신호를 얻는다. 다만 같은 구간에 속한 결정들은 보상을 공유한다. 따라서 중간 보상이 있어도 개별 행동의 가치를 따로 관찰할 수 있는 것은 아니다.
KnowGPO는 검색 경로가 확보한 과제 관련 지식으로 상태를 표현한다. 답에 필요한 지식을 원자적 조건으로 나눈다. 충족한 조건이 같은 경로끼리 비교한다. 단계 사이의 지식 증가량도 보상에 쓴다. 실행 구간 기반 방식이 결과 사이의 결정을 묶는다면, 이 방식은 확보한 지식이 같은 경로를 묶는다. 검색 횟수가 같아도 충족한 조건이 다르면 다른 진행으로 볼 수 있다. 다만 그 구분이 실제 진전을 드러내는지는 지식 조건의 구성에 달려 있다.
같은 기준에서 보면 두 방식은 서로 다른 차이를 상태 안에 남긴다. 실행 구간 기반 방식에서는 구간 내부의 행동별 기여가 분리되지 않는다. 지식 상태 기반 방식에서는 정의한 조건이 상태 구분의 범위를 정한다. 전자는 실험 결과를 경계로 삼는다. 후자는 과제 관련 지식의 조건을 구성한다. 두 연구가 같은 과제에서 경쟁한 것은 아니므로 수치로 우열을 매길 근거는 없다. 어떤 변화가 관찰되는지 비교할 수 있다. 그 관찰에 어떤 상태 정의가 필요한지도 비교할 수 있다.
두 단위 모두 부분 진전과 완료는 별도로 확인해야 한다. Terminal-RSI는 엄격한 성공과 한도가 있는 부분 점수를 따로 둔다. 보고된 장기 작업 평가에서 과정 보상은 0.21에서 0.37로, 엄격한 완료는 46개 중 0개에서 5개로 늘었다. 두 지표는 함께 개선됐다. 다만 같은 크기의 성과를 뜻하지 않는다. 이 사례는 실행 구간의 결과든 지식 증가량이든 중간 점수만으로 완료 수준을 대신할 수 없다는 공통 기준을 제공한다.
과제에서 의미 있게 관찰할 수 있는 변화가 선택을 가른다. 실험 결과가 진행의 경계를 제공한다면 실행 구간이 평가 단위가 될 수 있다. 답에 필요한 지식을 조건으로 구성하고 충족 여부를 구별할 수 있다면 지식 상태가 평가 단위가 될 수 있다. 어느 쪽이든 상태 정의가 실제 진전을 구별하는지, 중간 점수와 최종 완료를 따로 확인할 수 있는지가 남는다. 제공된 연구만으로 모든 과제가 이 조건을 충족한다고 판단할 수는 없다.