우리가 제안하는 텍스트 분석용 모델은 머신러닝 작업흐름과 직접 관련이 있다. 이런 작업흐름 중에서 검색 과정에서는 특징과 알고리즘 및 학습 데이터에서 가장 잘 작동하는 하이퍼파라미터로 구성된 모델을 찾아 알려지지 않은 데이터에 대한 추정치를 산출한다. 텍스트 분석 시에 이 작업흐름은 말뭉치라고 하는 훈련 데이터셋을 작성하고 관리하는 일로 시작된다. 그런 다음에 머신러닝이 이해할 수 있는 숫자 데이터로 텍스트를 구성하는 특징추출 방법 및 전처리 방법들을 찾아본다. 우리는 몇 가지 기본 특징을 사용해 책의 처음 몇 장에 대한 결론을 지으면서 텍스트 분류 및 텍스트 군집화 기술을 살펴볼 것이다.
_xxiv쪽

사실, 이 책을 쓰는 중요한 동기는 의미 있는 데이터 제품에 힘을 실어 줄 만큼 충분히 크고 풍부한 자료를 만들고 다룰 수 있기 위해 노력하는 과정에서 우리가 겪었던 엄청난 어려움 때문이었다. 우리의 일상적인 시간과 노력이 텍스트 전처리와 랭글링(wrangling, 정리)에
얼마나 많은 노력을 기울이고 있는지를 감안할 때 이러한 단계를 지원(또는 심지어 인정하는 것)하는 리소스가 거의 없다는 점이 놀라웠다. 이번 장에서는 수집된 원시 텍스트를 계산하고 모델링을 하기 좋은 형태에 맞게 체계적으로 변환하는 데 사용할 수 있는 다목적 전처리 프레임워크를 제안한다. 우리의 프레임워크는 다섯 가지 핵심 단계인 내용 추출, 단락 블록 지정, 문장 분할, 단어 토큰화 및 품사 태깅(tagging, 테그 달기)을 포함한다. 이 단계들 각각에 대해 우리는 이전 장에서 정의된 HTMLCorpusReader 클래스의 메서드로 여겨지는 함수들을 제공할 것이다.
_41쪽

문서를 숫자로 표현하면 유의한 분석을 수행할 수 있으며, 머신러닝 알고리즘이 작동하는 사례도 생성된다. 텍스트 분석 시, 전체 문서 또는 발화가 사례에 해당하므로 텍스트의 길이는 따옴표 길이에서 시작해서 트윗 정도의 길이를 거쳐 도서 내용 전체를 아우르는 길이에 이르기까지 그 길이가 저마다 다를 수 있지만, 벡터의 길이는 항상 일정하게 된다. 벡터 표현을 이루는 각 속성에 해당하는 것이 특징(feature)이다. 텍스트라면 특징은 문서의 길이와 작성자, 출처 및 게시 날짜와 같은 메타 속성뿐만 아니라 내용을 포함해 문서의 특성(attributes)과 속성(properties)을 나타낸다.
_59쪽

앞으로 수십 년이 지나면 스팸을 걸러 내는 일이 가장 일반적이며, 아마도 상업적으로 성공한 텍스트 분류 모델이 될 것으로 보인다. 이메일의 내용이 스팸인지 아닌지를 결정하는 것이 중요하다는 점이 혁신을 이루게 된 핵심 아이디어다. 단순히 ‘비아그라’나 ‘김미영 팀장’이라는 용어의 존재가 중요한 것이 아니라 스팸 메일에 담긴 맥락이나 빈도 및 철자 오류의 존재가 중요하다. 스팸 메일과 햄 메일을 둘 다(both) 담고 있는 말뭉치 모음집으로 나이브 베이즈 모델을 만들 수 있었는데, 이 나이브 베이즈 모델은 빈도를 기반으로 한 스팸 메일과 햄 이메일 모두에서 한 단어의 존재 확률을 예측하기 전에 먼저 획일적인 방법을 적용해 본다.
_90쪽

특징분석 및 특징공학을 수행한 후에, 3중 모델 선택 작업흐름의 다음 단계는 모델 선택이다. 실제로는 새로운 모델로 어떤 모델이 가장 효과적일지 미리 예측하기가 일반적으로 어렵기 때문에 여러 모델을 선택하고 비교할 것이다. 따라서 우리의 다음 과제는 모델이 잘 작동하는지 또는 불량하게 작동하는지를 결정하는 것이다. 전통적인 머신러닝 문맥에서 볼 때 우리는 모델 성능 점수에 의존할 수 있는데, 회귀라면 평균제곱오차(mean square error) 또는 결정계수(coefficient of determination) 등에서, 그리고 분류라면 정밀도(precision)와 정확도(accuracy) 및 F1 점수(F1 score) 등에서 어떤 것이 가장 강력한 모델인지를 결정한다. 이러한 기술은 또한 시각적 분석의 맥락으로 확장될 수 있다.
_187쪽