단어의 이러한 벡터 표현과 문서의 테이블 표현이 가진 한 가지 장점은 그 어떤 정보도 소실되지 않는다는 점이다. 각 열이 어떤 단어에 대응되는지에 관한 정보만 유지한다면, 이러한 원핫 벡터들의 테이블로 원래의 문서를 복원할 수 있다. 그리고 이러한 복원 과정은 100% 정확하다. 비록 현재의 토큰 생성기가 우리가 유용하다고 생각하는 수준의 90%의 정확도로만 토큰들을 생성한다고 해도 그렇다. 이런 장점 때문에 신경망, 문장 대 문장 언어 모형, 생성적 언어 모형들에서는 이런 원핫 단어 벡터들을 흔히 사용한다. 원핫 벡터 표현은 원래의 텍스트에 담긴 의미를 고스란히 유지해야 하는 모든 종류의 모형이나 NLP 파이프라인에 적합하다.
_45쪽

간단한 검색 엔진들은 바로 이 TF-IDF 수치 하나에 기초한다. 이 수치를 통해 우리는 텍스트(문자열) 처리의 세계에서 수치 연산의 세계로 확실하게 넘어오게 되었다. 다음 절부터는 이 수치로 할 수 있는 계산들을 살펴본다. 사실 여러분이 TF-IDF 계산을 구현하는 코드를 실제로 작성할 일은 거의 없을 것이다. 선형대수를 몰라도 자연어 처리에 쓰이는 도구들을 이해하는 데 크게 문제가 되지는 않는다. 그러긴 하지만, 이런 공식들에 익숙해지면 자연어 처리 도구들을 좀 더 직관적으로 이해하고 사용할 수 있게 된다.
_109쪽

LDA 모형의 ‘훈련’에 필요한 것은 이진 부류의 두 무게중심을 잇는 직선을 찾는 것이다. 이번 예제의 분류기는 주어진 단문 문자(SMS) 메시지가 스팸인지 아닌지를 분류한다. 즉, 이진 부류는 ‘스팸’ 대 ‘비스팸’이다. LDA는 지도 학습에 속하므로, 훈련용 문자(SMS) 메시지들에 분류명(class label)을 붙여 두어야 한다. 이러한 모형으로 추론(inference) 또는 예측을 수행하는 방법은 간단하다. 그냥 TF-IDF 벡터가 어느 부류의 무게중심에 더 가까운지 보면 된다. 즉, 만일 TF-IDF 벡터가 스팸 부류 무게중심에 더 가깝다면 그 벡터에 해당하는 메시지는 스팸일 가능성이 크다.
_130쪽

이런 과대적합은 NLP의 고질적인 문제이다. 사람들의 다양한 어법과 어휘를 포함하며 응용 분야에 맞는 적절한 분류명이 붙은 자연어 자료 집합을 구하기란 쉽지 않다. 실제로 나는 스패머들이 고안할 만한 모든 스팸성 단어와 비스팸성 단어를 포함한 거대한 문자 메시지 데이터베이스를 구할 수 없었다. 그런 자료 집합을 만들어낼 수 있는 기업은 극히 소수이다. 따라서 우리가 할 수 있는 일은 과대적합을 기정사실로 받아들이고 그에 대한 대응책을 모색하는 것뿐이다. 즉, 적은 수의 훈련 견본으로 모형을 훈련해도 모형이 미지의 견본들에 잘 “일반화되게” 하는 알고리즘을 찾아야 한다.
_153쪽

합성곱 필터는 인접한 단어들에서 특정한 패턴을 검출한다. 그리고 단어들의 위치가 조금 변해도 합성곱 신경망의 출력은 크게 영향을 받지 않는다. 중요한 점은, 서로 가까이 있는 개념들이 합성곱 신경망에 큰 영향을 준다는 것이다. 그런데 좀 더 넓은 시야로 텍스트를 바라보고 좀 더 긴 시간 구간에서 단어들 사이의 관계들을 파악하고 싶다면, 그러니까 인접한 토큰 세 개나 네 개보다는 더 큰 구간으로 단어들을 처리하고 싶다면 어떻게 해야 할까? 그러니까 신경망이 “꽤 오래전에 본 단어들”을 고려하게 만들려면, 다시 말해 신경망에 ‘기억’ 능력을 추가하려면 어떻게 해야 할까?
_293쪽