신경망의 깊이는 층을 몇 개 쌓았는지로 설명할 수도 있고 입력이 여러 단계의 표현으로 변환되는 과정으로 설명할 수도 있다. 전자는 구조를 세고 후자는 그 구조에서 학습할 대상을 짚는다. 나는 두 설명을 같은 분류 문제에 놓고 각각 무엇을 확인하게 하는지 비교해 보고 싶다.

층 수를 기준으로 삼으면 변경 내용을 명확하게 적을 수 있다. 기존 신경망에 층을 추가했는지, 몇 단계의 변환을 거치는지 구조에서 확인하면 된다. 이 설명에는 학습 결과를 기다리지 않아도 된다는 장점이 있다. 다만 깊어졌다는 사실만으로 입력을 분류하기에 더 적합한 표현을 얻었다고 말할 수는 없다. 구조에 관한 관찰과 학습에 관한 판단 사이에는 아직 확인할 부분이 남는다.

표현 학습이라는 설명은 그 남은 부분을 다룬다. 각 층은 앞 단계의 출력을 받아 다음 표현을 만들고 학습은 그 변환에 쓰이는 값을 조정한다. 여기서는 층을 추가했다는 기록보다 변환을 거친 결과가 과제에 유용한지가 관심사가 된다. 하지만 관심사가 구체적이라고 해서 관찰까지 쉬워지는 것은 아니다. 층마다 출력이 있다는 사실만으로 각 단계가 유용한 구분을 배웠다고 판단하기는 어렵다.

관찰의 어려움을 비교하려면 두 설명에 같은 조건을 적용해야 한다. 분류 신경망에 층을 추가한 뒤 훈련 손실은 낮아졌지만 검증 성능은 개선되지 않았다고 가정하자. 실제 실험 결과를 제시하는 것은 아니다. 평가와 규제라는 학습 절차 안에서, 구조의 변화와 학습 결과가 어디까지 연결되는지 살펴보기 위한 조건이다.

이 조건에서 층 수에 관한 설명은 그대로 성립한다. 모델은 깊어졌고 훈련 데이터에 대한 손실도 줄었다. 그러나 표현 학습의 관점에서는 판단을 더 좁혀야 한다. 추가된 변환을 포함한 모델이 훈련 데이터에 더 잘 맞았다는 것까지는 말할 수 있다. 검증 성능이 나아지지 않았다면, 그 변화가 보지 않은 데이터의 분류에도 도움이 됐다는 근거는 아직 없다. 같은 결과를 두고도 설명이 끝나는 위치가 달라진다.

판단을 거기서 멈췄다고 추가된 층이 쓸모없었다고 확정할 수는 없다. 주어진 결과만으로 어느 층의 표현에 문제가 있는지, 규제를 조정하면 달라질지까지 알 수는 없기 때문이다. 따라서 이 가정은 깊은 신경망의 실패 사례가 되지 못한다. 내가 받아들일 수 있는 결론은 이번 조건에서 깊이 증가의 이득을 검증 성능으로 확인하지 못했다는 정도다. 원인을 정하려면 별도의 비교가 필요하다.

별도의 비교가 필요하다는 점에서 두 설명의 확인 비용도 갈린다. 층 수는 구조를 읽으면 확인할 수 있지만 표현이 과제에 더 유용해졌다는 주장은 학습과 평가를 거쳐야 한다. 검증 성능이 좋아지더라도 그것만으로 각 층이 무엇을 학습했는지 모두 설명되는 것은 아니다. 전체 모델의 유용성을 평가하는 일과 중간 표현을 해석하는 일에도 간격이 남는다.

나는 구조를 전달할 때는 층 수를 쓰겠다. 반면 깊이를 늘릴 이유를 검토할 때는 학습된 표현의 유용성을 묻고 우선 같은 평가 조건에서 결과를 비교하겠다. 앞의 가정이라면 설계 기록에는 층이 늘었다고 적을 수 있다. 채택 여부를 정하는 기록에는 검증 성능의 개선이 확인되지 않았다는 조건도 함께 남겨야 한다.