평가에서 빠진 사례를 어떻게 읽을 것인가
평가에서 빠진 사례를 어떻게 읽을 것인가
일부 사례만 남겨 계산한 평가 결과를 읽기 전에 세 가지를 확인해야 한다. 무엇이 제외됐는지, 비교하는 수치가 같은 범위를 다루는지, 제외된 대상은 어떻게 처리됐는지다. 판단을 유보한 검증자, 예측 제공을 제한한 임상 모델, 일부 요청을 우회시킨 캐시는 작동 목적이 다르다. 여기서 비교할 것은 선택 방식의 우열이 아니라, 선택 뒤의 수치가 설명하는 대상이다.
1. 무엇을 제외했는지 단위를 확인한다.
추상화 경계와 검증 판단 연구는 같은 실행을 서로 다른 기록 표현으로 제시했다. 과제와 실제 실행, 결과, 평가 기준, 검증자는 고정했다. 관찰 가능한 근거가 줄었을 때 직접 검증은 오판을 더 자주 내렸고 근거 중심·숙고형 프로토콜은 판단을 유보하는 경향을 보였다.
따라서 판단 안정성을 나타내는 실패율이 낮다는 이유만으로 신뢰성이 더 높다고 읽기는 어렵다. 판정을 유지한 것인지, 판정 자체를 내리지 않은 것인지 구분해야 한다. 이 사례에서는 실행에 대한 판정이 빠졌다. 대응하는 실행 근거를 복원했을 때 실패 상당 부분이 회복됐다. 이 결과도 유보가 실행 자체의 평가 불가능성을 뜻하지는 않음을 보여준다.
2. 같은 범위를 남긴 비교인지 확인한다.
지원 범위에 따라 예측을 제한하는 임상 모델 연구는 관찰 자료의 행동 지원이 부족하거나 앙상블의 불일치가 크면 예측을 제공하지 않는다. 적격 후보가 없으면 에이전트도 결정을 유보한다. 예측을 내놓은 전이의 비율과 결정을 내린 비율은 서로 다른 단계의 지표다.
포함 비율을 맞춘 비교는 단지 더 적은 사례를 남겨서 오차가 낮아졌다는 설명을 점검하는 데 필요하다. 연구는 실제 관찰된 전이의 62.0%를 포함하는 조건에서 평균동맥압 예측 오차를 비교했다. 공동 제한 방식의 평균절대오차는 7.3mmHg였고 같은 비율을 무작위로 선택했을 때는 9.2mmHg였다.
다만 같은 비율을 남겨도 같은 사례를 선택했다는 뜻은 아니다. 이 결과는 해당 선택 방식의 예측 오차를 뒷받침하며 개별 치료 효과나 환자 결과의 개선까지 입증하지 않는다.
3. 제외된 대상이 어디로 갔는지 확인한다.
전자상거래 캐시 피해 순위 연구는 피해를 유발하는 것으로 추정한 세션을 캐시에서 우회시키되 원본 서버에서는 계속 처리한다. 판단 유보와 달리 여기서 제외는 요청 처리 경로의 변경을 뜻한다.
수치의 개선을 읽으려면 남은 집단의 결과와 원래 집단에서 빠진 규모를 함께 확인해야 한다. 연구의 캐시 적중률 비교는 남아 있는 보호 대상 쇼핑 세션을 조건으로 계산된다. 따라서 적중률 차이만 보면 보호 대상이 얼마나 우회됐는지 알 수 없다. 연구가 보호 대상의 우회도 함께 보고한 이유다.
세 preprint가 공통된 선택 알고리즘을 검증한 것은 아니다. 내가 종합하는 점검 기준은 제외 단위와 비교 범위, 제외 후 처리 결과를 구분하는 데 한정된다. 전체 대상의 결과가 제시되지 않았다면 적용 범위도 보고된 집단 안에 두어야 한다. 마지막으로 확인할 항목은 보고된 이익이 남겨진 사례에 대한 것인지, 처음 평가하려던 전체 대상에도 성립하는지다.