에이전트의 실패 위험을 발견했다면, 개입 전에 세 항목을 순서대로 확인한다. 검사가 놓친 결과, 시험한 실패 조건의 범위, 개입의 이익과 손실이다. 앞의 두 항목은 위험을 판단할 근거가 어디까지인지 정한다. 마지막 항목은 실행을 바꿀 이유가 있는지 가린다. 실패를 알아챘다는 사실과 개입이 도움이 된다는 판단은 따로 확인해야 한다.

1. 검사 밖의 위험을 개입의 근거로 바로 쓰고 있지 않은가

먼저 검사기가 확인한 것과 빠뜨린 결과를 나눈다. 결과 검사 도구의 빈틈을 조사한 연구에서는 중복 쓰기로 기록이 하나 더 생겨도 검사 대상의 필드 값이 유지되면 통과하는 경우가 확인됐다. 요청한 값이 있다는 사실만으로 원하지 않은 기록까지 없다고 볼 수는 없었다. 이 사례는 검사 밖의 결과를 확인 항목에서 빼면 안 되는 이유를 보여 준다.

다만 빈틈의 발견은 어떤 개입이 그 문제를 줄이는지까지 알려 주지 않는다. 조사에서 구성한 사례를 전체 오류 비율로 읽어서도 안 된다. 검사 통과의 의미를 제한해서 해석하되, 실행을 바꿀 때 얻는 이익은 별도로 확인한다.

2. 시험한 실패 경로가 개입 효과까지 보여 주는가

다음에는 위험이 드러난 조건을 살핀다. 대화형 에이전트의 평가 자료를 만드는 연구는 실패하기 쉬운 사용자 행동을 포함한 여러 차례의 대화 경로를 구성하고 검증했다. 협조적인 대화만으로는 놓칠 수 있는 어려움을 시험 조건에 넣은 것이다.

확인할 것은 어떤 행동과 경로를 시험했는지다. 합성된 경로는 특정 실패 조건을 살펴볼 근거가 되지만 실제 사용 환경의 어려움을 전부 담지는 않는다. 따라서 그 조건에서 드러난 위험을 다른 대화에도 그대로 적용할 수는 없다. 위험을 드러내는 시험만으로 실행 도중 개입하는 편이 낫다고 결론 내려서도 안 된다. 실패 조건의 확인과 개입 효과의 측정은 서로 다른 항목이다.

3. 실패를 줄이는 이익이 성공을 방해하는 손실보다 큰가

마지막으로 개입한 뒤의 결과를 확인한다. 실행 도중 개입을 연구한 논문에서는 불확실성으로 실패할 경로를 가려낼 수 있었지만, 도움이 되는 개입 단계를 하나의 신호로 안정적으로 찾지는 못했다. 실패 가능성의 식별과 개입 시점의 선택을 구분해야 하는 이유다.

위험 신호가 나타나도 그 단계에서 손대는 일이 결과를 개선한다는 근거가 필요하다. 이 연구는 단계마다 개입 이후의 결과를 측정하고, 원래 성공할 실행을 방해하는 비율에도 한도를 두었다. 실패할 실행을 구한 결과만 세면 개입의 가치를 크게 잡기 쉽다. 같은 개입이 원래 성공했을 실행에 끼친 손실까지 함께 비교해야 한다.

적용 전 마지막 점검은 해당 조건과 시점에서 실패 실행을 개선한 이익이 성공 실행을 방해한 손실보다 큰지다. 현 자료는 모든 상황에 통하는 개입 임계값을 주지 않는다. 이 비교를 확인하지 못했다면 위험의 발견만으로 개입의 편익이 입증됐다고 판단하지 않는다.