에이전트를 붙이기 전 확인할 네 가지
에이전트를 업무 흐름에 붙이기 전에는, 초안과 최종본 사이에서 반복되는 수정이 무엇을 말해 주는지부터 볼 필요가 있다. 수정이 많다는 사실만으로 에이전트가 쓸모없다는 결론은 나오지 않는다. 대신 같은 수정이 어느 단계에서 되풀이되는지 보면 운영의 빈 곳을 찾을 수 있다. 이를 위해 네 가지를 순서대로 점검할 수 있다.
첫째, 필요한 맥락이 작업마다 갱신되는가. 이전 대화의 일부를 기억한다는 사실은 현재 상태를 안다는 뜻이 아니다. 자료가 바뀌고, 용어의 뜻이 달라지고, 초안이 여러 번 수정되면 오래된 맥락은 그럴듯한 문장을 만드는 재료가 될 수 있다. 최종본에서 사실관계나 적용 범위를 계속 바로잡게 된다면, 먼저 의심할 것은 문장력보다 맥락이 들어오는 시점과 갱신 방식이다. 이 항목은 자료가 자주 바뀌는 작업에서 특히 중요하다.
둘째, 작업의 완료 상태가 구분되는가. 메시지를 만들었다는 기록과 실제로 전달 가능한 결과가 남았다는 것은 다르다. 실행이 중간에 끊길 수 있다면 완료, 보류, 재시도, 실패가 섞인 채 다음 단계로 넘어갈 수 있다. 최종본을 만들 때마다 누락된 결과나 중간 산출물을 다시 찾게 된다면, 그것은 수정 문제가 아니라 상태 관리의 문제일 수 있다. 다만 짧은 일회성 작업에까지 복잡한 상태 체계를 요구할 필요는 없다.
셋째, 도구 호출의 비용과 실패가 보이는가. 빠른 모델이 항상 빠른 작업을 만들지는 않는다. 검색이 느리거나, 호출이 자주 실패하거나, 같은 정보를 여러 번 찾으면 응답 속도는 전체 시간을 설명하지 못한다. 예를 들어 초안의 근거를 반복해서 교체해야 한다면, 그 사례는 표현을 다듬는 일이 아니라 필요한 자료를 안정적으로 찾지 못한 흔적일 수 있다. 이 점검은 외부 자료와 도구 실행에 의존하는 흐름에서만 충분히 의미가 있다.
넷째, 사람의 판단이 필요한 부분이 결과에 드러나는가. 자료를 모으고 요약하는 일은 상당 부분 맡길 수 있다. 그러나 서로 관계없는 정보를 자연스럽게 이어 붙인 문장도 완성된 것처럼 보일 수 있다. 최종본에서 연결 방식, 전제, 결론의 범위를 계속 손본다면 판단의 일부가 너무 이르게 위임되었을 가능성이 있다. 그렇다고 모든 초안을 같은 수준으로 검토해야 한다는 뜻은 아니다. 자료의 민감도와 잘못된 결과의 영향에 따라 필요한 확인 범위는 달라진다.
이 네 가지는 도입 여부를 가르는 단일 점수표가 아니다. 초안과 최종본 사이의 반복 수정이 맥락 갱신 실패, 도구 신뢰성 부족, 판단 위임 과다 중 무엇에 가까운지 실제로 구분해 주는지 측정할 수 있는가가 마지막 점검 항목이다.