분류 모델을 바꾸면 무엇을 새로 배우는가

텍스트 분류를 TF-IDF와 로지스틱 회귀로 구현한 뒤 RNN과 CNN으로 다시 구현한다면, 두 번째 실습에서는 무엇을 새로 배우는가? 분류라는 과제는 유지되는데 구현할 모델은 달라진다. 나는 이 순서가 단순히 더 복잡한 모델을 다뤄 보는 과정인지, 같은 과제를 설명하는 방식이 바뀌는 과정인지부터 구분하고 싶다.

그 차이를 알려면, 먼저 ‘텍스트를 분류한다’는 목표에서 무엇이 그대로 남는지 물어야 한다. 입력 텍스트에 범주를 부여한다는 과제는 모델 이름이 달라져도 유지할 수 있다. 따라서 모델을 교체했다는 사실만으로 새로운 문제를 풀었다고 말하기는 어렵다. 같은 목적을 다른 구성으로 구현했다면, 학습의 차이는 목적보다 그 목적에 도달하는 과정에서 찾아야 한다.

과정의 차이를 살필 구체적인 단서는 텍스트 분류를 다루는 구성 안에 TF-IDF, 로지스틱 회귀, RNN, CNN이 함께 들어 있다는 점이다. 다만 이 나열을 동일한 실험의 결과표처럼 읽을 수는 없다. 제공된 설명에는 각 모델이 정확히 같은 데이터와 조건에서 비교됐다는 정보가 없다. 여기서 좁힐 수 있는 질문은 어느 모델이 우수한가보다, 각 구현에서 입력을 어떤 형태로 다루는가에 가깝다.

입력의 형태를 묻는 이유는 TF-IDF와 로지스틱 회귀가 맡는 역할부터 다르기 때문이다. TF-IDF는 텍스트를 수치 특징으로 표현하는 방법이다. 로지스틱 회귀는 그 특징을 받아 분류를 수행하는 모델이다. 두 이름을 묶어 하나의 분류 방법으로 부를 수는 있다. 다만 표현을 만드는 선택과 분류하는 선택까지 같은 작업이 되지는 않는다. 나는 첫 실습에서 이 구분이 얼마나 드러나는지 확인하고 싶다.

그 구분이 드러났다면, 다음 질문은 신경망 구현에서 표현과 분류의 관계를 어떻게 설명하는가다. RNN이나 CNN이라는 이름만으로 입력 준비가 끝나지는 않는다. 어떤 입력을 받도록 구성했는지 알아야 모델이 처리하는 대상도 설명할 수 있다. 다만 제공된 요약에는 구체적인 입력 구성과 학습 설정이 없다. 따라서 앞선 구현의 어느 부분이 대체되고 어느 부분이 유지되는지까지 여기서 확정할 수는 없다.

대체되는 부분을 확정하지 못한다는 조건은 실습의 학습 목표를 읽는 데도 영향을 준다. 코드가 달라졌다는 관찰은 가능하다. 다만 그 차이가 텍스트 표현 때문인지 모델 구조 때문인지 알려면, 구현 사이의 대응이 필요하다. 앞선 실습에서 명시적으로 만들던 특징을 뒤에서는 어떻게 다루는지 설명할 수 있는가. 내가 확인하고 싶은 학습상의 변화는 새로 등장한 클래스나 함수의 수보다 이 질문에 답할 수 있는 범위다.

그 범위를 안다고 성능의 우열까지 정해지는 것은 아니다. 뒤에서 배운 모델이 앞에서 배운 모델보다 높은 점수를 낸다는 결론에는 별도의 비교가 필요하다. 실습 순서는 설명을 쌓는 순서일 수 있다. 그 자체로 성능 순위를 뜻하지 않는다. 나는 같은 분류 과제를 여러 방식으로 구현하는 구성의 의미를, 우수한 모델로 교체하는 절차보다 구현에서 달라진 선택을 읽을 기회로 해석한다.

이 해석이 실제 학습 내용과 맞는지는 두 구현을 나란히 놓고 더 좁게 물어야 한다. 다음에는 TF-IDF와 로지스틱 회귀를 사용한 분류에서 신경망 분류로 넘어갈 때, 입력 표현에 관한 설명이 어디에서 어떻게 달라지는지 확인하려 한다. 그 변경을 설명하는 데 필요한 정보가 각 실습에 충분히 제시되어 있는지부터 보고 싶다.