규칙은 NLP의 과거형이 아니다
특정 표현을 한 번이라도 놓치면 안 되거나, 반대로 잘못 잡아내는 비용이 큰 언어 처리에서는 모델의 일반화만으로 결과를 맡기기 어렵다. 문장의 패턴을 넓게 포착하는 모델은 비슷한 표현까지 함께 판단할 수 있지만, 그 넓이가 곧바로 허용할 수 있는 결과의 범위와 같지는 않다.
그래서 규칙은 모델 이전의 임시방편이 아니라, 모델의 판단이 넘어서는 안 되는 조건을 확인하는 장치가 된다. 데이터를 모으고 벡터를 만들고 분류기를 학습하는 원칙은 데이터가 충분하며 평가 기준이 비교적 단순할 때 유효하다. 그러나 학습 데이터로 표현하기 어려운 조건이 남아 있다면, 결과를 그대로 통과시키는 일과 실제 조건을 만족하는 일은 다르다.
이 경우 규칙은 모델과 경쟁하는 작은 모델이 아니다. 모델이 후보를 넓게 찾은 뒤, 특정 표현의 누락 여부나 허용하지 않을 결과를 마지막에 확인한다. 전처리와 특징 설계가 원문을 다룰 수 있는 형태로 바꾼다면, 후처리 규칙은 그 결과가 정해진 조건을 넘지 않았는지 다시 보는 과정이다.
규칙이 유효한 범위는 데이터가 적거나 정확도를 특정 방향으로 강하게 보정해야 하는 작업까지다. 그 밖의 판단까지 규칙으로 넓히면 예외 목록만 늘어난다.
© 2026 다섯시사십분
•
Theme Moonwalk