검증 신호는 어느 판단에 붙어 있는가

에이전트가 답을 수정하는 동안 검증을 통과했다면, 그 판정이 최종 채택된 답에도 적용되는지 어떻게 확인할 수 있을까? 최종 정확도에 검증 횟수를 더하는 것만으로는 답하기 어렵다. 검증이 있었다는 기록과 채택한 답을 뒷받침하는 검증이 있었다는 기록 사이에는 확인할 관계가 남는다.

첫 번째 하위 질문은 검증 대상이 무엇이었는가이다. RagHarnessDebugger는 RAG 수정 과정의 기록이 온전한지, 검증이 집계 대상인 후보에 적용되는지, 수용 규칙으로 어떤 답에 도달할 수 있는지를 감사한다. 여기서는 검증 결과와 후보의 대응을 별도로 점검한다. 합격 판정 하나가 수정 과정 전체의 유효성을 뜻하지는 않는다.

후보와 판정이 대응하더라도 그 판정이 주장 전체를 뒷받침하는지는 남는다. 두 번째 질문은 근거의 범위다. NexSight가 다루는 긴 영상에서 행동의 등장 장면을 찾는 것과 총횟수를 확인하는 데 필요한 증거는 다르다. 장면을 확보해도 누락과 중복 집계를 점검하지 않았다면 총횟수 판단은 끝나지 않는다. 이 예시는 검증 신호의 존재보다 확인 범위를 물어야 하는 조건을 보여 준다.

NexSight는 초안 답을 보지 못한 검증자가 원영상에서 조밀하게 다시 확보한 증거로 답을 재구성하고 반례 점검으로 반박되지 않은 과제를 수용한다. 이 절차가 모든 누락을 제거한다고 단정할 수는 없다. 다만 답과 맞는 증거를 찾았는지에서 멈추지 않고 답을 무너뜨릴 관찰이 있는지까지 확인 범위를 좁힌다.

반박되지 않았다는 기록에도 적용한 기준이 필요하다. 세 번째 질문은 기준의 적용 가능성이다. 자연어 기준을 병렬 평가하는 VFM은 기준별로 충족·위반·적용 불가를 구분한다. 적용 불가를 통과로 읽으면 실제로 확인한 범위를 과대평가할 수 있다. 위반 규칙을 특정하는 출력도 전체 합격 여부만으로 드러나지 않는 판정 대상을 남긴다.

세 연구는 수정 후보, 영상에 관한 주장, 자연어 기준이라는 서로 다른 대상을 다룬다. 같은 검증기를 제안한 것은 아니다. 공통 방향은 신호의 양보다 신호가 무엇에 대응하는지 드러내려는 시도에서 찾을 수 있다. 평가 단위를 최종 답에서 답·근거·기준의 관계로 넓힌다는 해석은 가능하지만 제공된 preprint만으로 일반적 효과가 검증됐다고 말할 수는 없다.

다음에는 이 관계를 기록한 평가가 어떤 오류를 추가로 구별하는지 확인하고 싶다. 최종 채택 후보가 바뀔 때, 앞선 검증 중 무엇이 계속 유효하고 무엇을 다시 수행해야 하는지 기록으로 가려낼 수 있을까?