점수를 고정할 것인가, 관찰을 바꿀 것인가
점수를 고정할 것인가, 관찰을 바꿀 것인가
에이전트 평가에는 같은 과제의 종합 점수를 계속 측정하는 방식과, 조건을 바꿔 반응의 차이를 측정하는 방식이 있다. 전자는 여러 모델과 학습 시점을 같은 척도로 비교한다. 후자는 어떤 조건에서 판단이 달라지는지 살핀다. 두 방식은 비교할 때 고정하는 대상이 다르다.
고정 평가는 성능 변화를 추적하기 쉽지만 점수가 정체됐을 때 고칠 대상을 알려 주지는 않는다. 조건을 바꾼 진단은 차이를 드러내지만 낮아진 점수가 문제의 난도 때문인지 능력 저하 때문인지 구분해야 한다. 관찰 가능성을 높이는 일에는 비교의 연속성을 관리하는 비용이 따른다.
적응형 관찰 연구는 이 두 요구를 함께 다룬다. 기준 벤치마크의 목표를 유지하면서 성능이 정체되면 진단의 세분성이나 난도, 관련 과제를 조정한다. 각 체크포인트는 계속 원래 기준으로 평가한다. 관찰을 바꾸는 통로와 성능을 비교하는 통로를 따로 유지하는 설계다. 따라서 정체는 능력의 한계일 수도 있지만 현재 관찰이 차이를 드러내지 못한 결과일 가능성도 남는다.
누락된 정보를 처리하는 평가는 두 방식의 차이를 공통 상황에서 보여 준다. 같은 기본 상황을 두고 없는 정보를 미상으로 볼지 거짓으로 볼지 등의 규칙만 바꾼다. 종합 정확도는 각 응답의 정답 여부를 집계한다. 전환 정확도는 규칙 변경에 따라 정답이 실제로 달라지는 상황을 따로 본다. 같은 응답 집합에서도 두 지표가 묻는 질문은 다르다.
해당 연구에서 종합 정확도는 반복 실행에 걸쳐 71.18~99.86%, 전환 정확도는 18.23~99.31%였다. 이 범위만으로 개별 모델의 두 점수 차이를 계산할 수는 없다. 다만 전체 정답 비율과 규칙 변화에 맞춘 응답 전환은 구분해야 한다. 규칙에 대한 반응이 관심사라면 종합 점수만으로 그 질문을 대신하기 어렵다.
보안 사고 재현 연구도 조건 비교를 사용한다. 보고된 사고를 오프라인에서 재구성하고 지목된 원인만 빠진 대조 조건을 함께 실행한다. 사고의 재현 여부를 집계하는 데서 나아가 원인 후보의 유무에 따라 피해가 달라지는지 살핀다. 이 비교의 설명 범위는 재구성된 조건까지다. 실제 사고의 모든 맥락을 복원했다고 확대할 수는 없다.
세 preprint에서 읽을 수 있는 변화는 고정 점수로 유지할 비교와 조건을 바꿔 확보할 관찰을 구분하는 시도다. 전반적인 수행 수준을 비교하려면 동일한 평가를 유지할 이유가 있다. 정체의 양상, 규칙 전환, 원인 후보의 영향을 묻는다면 조건 비교가 필요하다. 선택 기준은 지금 필요한 답이 수행 수준인지, 특정 조건에 대한 반응인지에 있다.