critic을 생략할 수 있는 조건

같은 프롬프트에서 응답을 여러 개 생성하고 각 응답이 끝난 뒤 보상을 받을 수 있다고 하자. 그러면 별도의 critic 없이 정책을 갱신할 수 있다. GRPO가 다루는 조건이다. 정책을 개선하려면 행동의 가치를 평가하는 신경망부터 필요하다는 설명은 여기서 경계를 만난다. 나는 critic의 생략을 구성 요소 하나가 줄었다는 설명보다, 무엇이 그 역할을 대신했는가라는 질문으로 읽는다.

대신하는 대상을 알려면 critic이 제공하던 기준부터 좁혀야 한다. 보상은 실행 결과에 붙는 신호다. 그 숫자만으로 어떤 행동의 선택 확률을 얼마나 바꿀지 곧바로 정해지지는 않는다. 정책 최적화에서는 얻은 결과가 비교 기준보다 얼마나 좋았는지를 추정할 수 있다. critic은 가치 함수를 학습해 그 기준을 제공한다. 따라서 critic을 없앴다는 설명에는 비교 기준을 어디서 얻는지가 따라와야 한다.

GRPO에서는 같은 프롬프트에 대한 여러 응답의 보상이 그 기준을 만든다. 각 응답의 보상을 그룹 평균과 비교한다. 따라서 별도 신경망이 예측한 가치 대신 함께 생성한 결과들을 참조한다. 결과의 상대적 평가는 유지된다. 평가 기준을 마련하는 방법이 달라진다. critic이 없다는 사실을 가치 판단 자체가 사라졌다는 뜻으로 확대할 수는 없다.

그룹 평균이 기준이 된다는 설명을 구체화하려면 그룹을 어떻게 묶었는지 확인해야 한다. 서로 다른 프롬프트의 응답을 한데 모았다고 하자. 그러면 보상 차이에 출발 조건의 차이가 섞일 수 있다. 같은 프롬프트에서 여러 응답을 만드는 조건은 이 비교의 출발점을 맞춘다. 보상을 평균 낼 수 있다는 계산상의 사실만으로 충분하지 않은 이유다.

출발점을 맞춰도 비교 신호가 항상 생기는 것은 아니다. 한 프롬프트에서 생성한 응답 네 개가 모두 같은 종료 보상을 받았다고 가정하자. 실제 실험 결과가 아니라 그룹 평균의 역할을 확인하기 위한 조건이다. 각 보상과 평균의 차이는 모두 0이다. 이 그룹의 상대 보상만으로는 어느 응답을 더 선호하도록 갱신해야 할지 구분할 수 없다.

이때 구분되지 않는다는 판단은 네 응답의 품질이 같다는 판정과 다르다. 주어진 보상에서 차이가 드러나지 않았다는 뜻이다. 답변 내용이 서로 달라도 보상이 같을 수 있다. 그룹 평균은 보상에 없는 차이를 추가하지 못한다. 나는 여기서 critic 생략의 조건을 한 단계 더 좁히게 된다. 여러 응답을 얻는 것에 더해, 그 보상 비교가 유효한 학습 신호를 제공해야 한다.

유효한 신호가 있더라도 설명의 범위는 남는다. 응답이 끝난 뒤 받는 보상을 그룹 안에서 비교했다고 하자. 그렇다고 응답을 이루는 과거 행동 각각의 기여를 정확히 알아낸 것은 아니다. 결과를 비교할 기준을 얻는 일과 시간축의 credit assignment를 완전히 해결하는 일에는 간격이 있다. critic을 제거했다는 사실만으로 그 간격까지 사라졌다고 말할 근거는 없다.

이 간격 때문에 GRPO를 모든 강화학습 환경에 적용할 수 있는 critic 대체법으로 받아들이기는 어렵다. 같은 시작 상태에서 여러 rollout을 만들 수 있어야 한다. 종료 보상도 얻을 수 있어야 한다. 이 조건이 먼저다. 그 조건을 갖춘 경우에도 상대 비교가 응답을 구별하지 못하는 경우가 남는다. 앞의 동일 보상 그룹이 그런 경우다. 내가 받아들이는 경계는 여기까지다. critic을 생략할 수는 있다. 다만 그 자리에 놓인 그룹 비교가 무엇을 구분할 수 있는지는 별도로 남겨 두어야 한다.