탐색에서 처음 가정까지 바꿀 수 있는가
탐색에서 처음 가정까지 바꿀 수 있는가
에이전트의 반복 탐색을 가설 수정으로 평가하려면 두 가지를 구분해야 한다. 무엇을 바꿀 수 있는지와 어떤 피드백으로 변경을 선택하는지다. 답을 다시 생성하는 것과 계획의 허용 조건, 후보의 선택 기준, 기존 판단의 근거를 재검토하는 것은 서로 다른 변화다. 제공된 세 연구에서 살펴볼 대상도 실행 횟수보다 수정 대상과 선택 근거의 관계다.
ReSHAPE는 사용자의 최초 요청이 수용 가능한 계획 전체를 표현하지 못할 수 있다는 문제를 다룬다. 사용자는 구체적인 선택지를 보기 전에는 허용할 절충을 충분히 드러내지 못한다. 요청을 고정하면, 계획기가 탐색을 잘해도 수용 가능한 후보 일부에 접근하지 못할 수 있다. 이때 계획기의 탐색 능력뿐 아니라 탐색 공간을 정한 조건도 재검토 대상이다.
이 연구에서는 적절한 절충 하나를 반영했을 때, 같은 계획기가 수용 가능한 계획을 찾는 빈도가 최대 4.6배가 됐다. 계획기를 고정한 비교이므로, 초기 조건을 바꾸는 것만으로 결과가 달라질 수 있음을 보여준다. 다만 요청을 느슨하게 만들수록 좋다는 뜻은 아니다. 변경된 조건이 사용자가 실제로 받아들일 계획과 맞아야 한다. 후보에 접근할 수 있게 됐다는 사실과 그 후보가 수용 가능하다는 판단은 구분해야 한다.
수정안을 선택하는 단계에서는 다른 한계가 나타난다. AgentSSL은 제한된 감독 아래 반지도학습 프로그램을 탐색한다. 이 연구는 좋은 후보를 생성하는 능력과 선택하는 능력이 다를 수 있음을 보여준다. 에이전트가 받은 피드백 지표로 후보를 선택할 때, 성능이 크게 떨어지는 결과가 보고됐다. 후보를 더 만들 수 있어도, 선택 신호가 부정확하면 유용한 후보를 남긴다고 보장할 수 없다. 수정할 자유만으로 수정 방향의 타당성이 확보되지는 않는다.
다른 에이전트의 이견도 곧바로 개선 신호가 되지는 않는다. 판단 수정 연구는 질문과 증거, 최초 답을 고정하고 수정 맥락을 바꿨다. 전문가의 반대라는 조건에서 답을 바꾸는 행동은 늘어날 수 있었다. 하지만 정확도 개선으로 이어지지는 않았다. 답의 변경에는 틀린 판단을 고치는 경우와 맞는 판단을 버리는 경우가 함께 포함된다. 따라서 수정 빈도를 성과로 사용하면 두 변화를 구별하지 못한다.
세 연구를 하나의 성공적인 반복 알고리즘으로 묶을 수는 없다. ReSHAPE는 탐색 공간의 변경 가능성을, AgentSSL과 판단 수정 연구는 변경을 선택할 신호의 한계를 보여준다. 초기 설정과 판단을 잠정적으로 다룰 수 있다는 점과 수정 자체를 성과로 셀 수 없다는 점까지가 종합 가능한 범위다. 서로 다른 과제의 preprint 결과이므로 같은 수정 절차가 전반적으로 유효하다고 확대할 근거는 없다.
다음에 확인할 것은 피드백이 어느 가정을 바꾸도록 작동했는지다. 계획 과제에서 사용자가 제시된 계획을 거절했다고 하자. 특정 계획에 대한 거절인지 탐색 조건 자체의 수정 요구인지 구분해야 한다. 그 구분이 다음 탐색 공간에 어떻게 반영되는지까지 살펴볼 필요가 있다.