텍스트에서 단위를 정하는 자리

원시 텍스트를 다루는 설명에 Unicode, 정규표현식, 정규화, 토큰화, 분절이 함께 놓여 있다. 품사 태깅과 문장 구조 분석은 뒤에서 다뤄진다. 나는 이 배치에서 텍스트가 분석 대상으로 바뀌는 구간을 먼저 보게 된다. 문자를 읽을 수 있는 상태와, 무엇을 하나의 단위로 분석할지 정해진 상태 사이에 여러 작업이 들어 있다.

그 작업들을 한데 적었다고 역할까지 같아지는 것은 아니다. Unicode는 문자를 표현하는 체계이고 정규표현식은 문자열의 패턴을 기술하는 수단이다. 정규화는 표현을 일정한 방식으로 맞추는 작업이며 토큰화와 분절은 텍스트를 어떤 단위로 나눌지 다룬다. 같은 원시 텍스트 처리에 속해도 각각 답하는 질문이 다르다.

역할을 구분하고 나면 나는 ‘텍스트를 입력받았다’는 설명을 조금 좁혀 읽게 된다. 문자열을 확보했다는 뜻인지, 분석 단위까지 정했다는 뜻인지 아직 알 수 없기 때문이다. 전자의 상태에서도 문자를 저장하고 패턴을 찾을 수 있다. 하지만 뒤에서 단위마다 어떤 범주를 붙이려면 범주를 부여할 대상이 먼저 드러나야 한다.

이 대상의 차이 때문에 토큰화는 단순한 입출력 형식 변경으로만 보기 어렵다. 어디까지를 한 단위로 묶었는지가 뒤에서 다룰 대상의 범위를 정한다. 품사 태깅이라는 작업 이름은 그대로여도 태그를 붙일 단위가 무엇인지는 별도로 설명해야 한다. 내가 여기서 받아들이는 판단은 좁다. 텍스트 분석의 입력은 문자열의 내용만으로 충분히 기술되지 않으며 그 문자열을 나눈 기준도 포함한다.

나눈 기준이 입력 설명에 포함된다면 원시 텍스트 처리와 후속 분석 사이에는 넘겨주는 내용이 생긴다. 문자가 무엇이었는지에 더해 경계를 어디에 두었는지가 전달된다. 원시 텍스트 처리 항목들이 태깅보다 앞에 놓인 구성을 나는 이 지점에서 이해한다. 뒤의 분석을 설명하기 전에, 그 분석이 받을 단위를 다룰 자리가 마련되어 있다.

다만 설명의 순서에서 실행 절차까지 확정할 수는 없다. Unicode, 정규표현식, 정규화, 토큰화가 나열되어 있다고 모든 처리에서 그 순서를 그대로 따라야 한다는 뜻은 아니다. 정규표현식도 경계를 찾는 데 사용할 수 있지만 그 도구의 이름만으로 어떤 경계가 선택되는지는 알 수 없다. 관찰된 것은 함께 다루는 항목과 설명의 배치까지다.

실행 절차를 확정하지 못하므로 이 배치에서 얻을 수 있는 판단도 구체적인 분절 규칙의 선택까지 나아가지는 않는다. 어느 언어와 자료를 대상으로 하는지, 무엇을 분석하려는지에 따라 필요한 단위를 더 살펴야 한다. 나는 여기서 토큰화가 있다는 사실과 적절한 단위가 정해졌다는 판단을 구분해 둔다. 작업의 존재는 확인되지만 그 작업이 채택한 기준은 아직 보이지 않는다.

기준이 보이지 않는다는 점은 뒤의 태깅이나 구조 분석 설명을 읽을 때도 남는다. 결과에 붙은 이름을 이해하려면 그 이름을 받은 단위의 범위를 알아야 하기 때문이다. 현재 확인한 구성에는 원시 텍스트에서 단위를 만드는 자리가 분명히 있다. 그 자리에서 무엇을 하나로 묶고 어디를 경계로 삼는지는, 제공된 설명만으로는 아직 확인되지 않는다.