머신 러닝, 어떻게 사용할 것인가?

당신이 궁금해하는 그 질문을 컴퓨터에게 던져라!
매장 어디에 상품을 두면 더 잘 팔릴까? -> 각 매대의 판매량을 분석하자
요즘 유행하는 건 뭐지? -> 해시태그를 모아 트렌드를 알아보자
사람들은 이 문제를 어떻게 생각할까? -> 트위터의 글을 수집해 긍정적인지 부정적인지 살펴보자
이 모든 질문의 대답을 컴퓨터가 대신 답하도록 만들어라.

자바로 배운다!
주 도구로 웨카와 이클립스를 사용하여 머신 러닝을 학습한다. 웨카에서 제공하는 데이터 분석 알고리즘인 의사결정트리, 베이지안 네트워크, 서포트 벡터 머신, 클러스터링을 실습한다. 또한, 웨카가 만들어 내는 자바 코드를 분석하고 활용 방법을 배운다.

다양한 도구로 머신 러닝의 전체 상을 살펴본다!
머신 러닝으로 결과를 얻으려면 데이터를 수집하고 변환한 다음, 데이터 분석 알고리즘을 사용하여 모은 데이터를 처리해야 한다. 전체 과정을 도구 하나로 모두 처리할 수는 없다. 데이터의 성격에 따라 선택하는 도구도 달라진다. 머하웃, 스프링 XD, 하둡, 스쿱, 피그, 맵리듀스, 스칼라, 스파크, R, rJava를 설치하고 사용해보면서 각 도구의 특징을 알고 적재적소에 사용하자.

[지은이 서문]

데이터, 데이터, 데이터. 뉴스에서도, 보고서나 백서에서도, 심지어 텔레비전에서도 빅데이터와 데이터 과학을 이야기한다. 소셜 미디어, 전화기, 사물인터넷 기기, 센서, 그외 무엇이든 데이터를 만드는 것이라면 거기서 나오는 데이터를 모두 수집하고 연구하여 뭔가 의미 있는 작업을 해야 한다고 압박한다.
영업 전략에서 중요한 것은 데이터의 양과 속도다. 홍수처럼 밀려오는 데이터를 경험해 본 사람들은 데이터를 빠르게 처리할 수 없다고 말하며 데이터 관련 서비스를 계속 이용하라고 말한다. 이 말에도 일리가 있겠지만, 그대로 따르기 전에 잠시 이 문제를 생각해보자.
데이터 마이닝과 머신 러닝은 수 년 전부터 우리 주위에 있었다. 최근 빅데이터를 둘러싼 대형 매체는 데이터의 양에 집중하고 있다. 자세히 들여다보면 적용하는 머신 러닝 알고리즘은 수 년 전과 변한 게 없다. 달라진 것은 적용되는 규모다.
데이터를 만드는 여러 조직을 보면 (개인적인 생각이지만) 정말 미미하다. 구글, 페이스북, 트위터, 넷플릭스 그리고 몇몇 기업이 알고리즘 학습과 도구로 가득한 뉴스 헤드라인 대부분을 독차지한다.
여기서 여러분이 가진 진짜 문제는 이것이다.
"나는 데이터를 어떻게 적용해야 하는가?"
이 책에서도 머신 러닝의 빅데이터 측면을 살펴본다(무시할 수 없는 주제다). 그러나 데이터에서 통찰력을 얻는 큰 그림의 작은 요소에 불과하다.
여러 가지 도구를 배우면서 자신의 작업에 맞는 도구를 찾는 과정임을 기억하라. 출판사에서는 하둡을 가르쳐주었으면 하겠지만, 하둡이 모든 작업에 항상 적절한 도구는 아니다.

이 책의 목적
이 책은 머신 러닝을 다룬다(빅데이터가 아니다). 이 책은 데이터에서 통찰력을 얻는 여러 가지 방법을 다룬다. 책의 마지막 페이지까지 여러 가지 머신 러닝 방법을 살펴보고, 실무에 사용할 수 있는 코드를 설명한다. 자신의 문제에 알맞게 머신 러닝 기술을 적용하는 방법을 배우기를 바란다.
이 책을 활용하는 데 있어 옳고 그른 방법은 없다. 처음부터 차근차근 시작하여 끝까지 읽어도 좋고, 필요할 때 알고 싶은 부분만 찾아서 읽어도 좋다.

‘실습(Hands-On)’은 실습이다
내가 읽었던 많은 머신 러닝 책은 모두 심오한 이론을 다루었다. 그게 나쁘다는 것은 아니다. 복잡한 수식이 가득한 심도 있는 이론을 찾고 있다면 그 열정을 칭찬하고 싶다. 나는 실습을 통해 학습하거나 프로젝트에 접근하고자 한다. 나의 철학은 단순하다.
ㆍ질문에서 시작하라
ㆍ배워야 하는 이론을 찾아라
ㆍ배우기 쉬운 예제를 많이 찾아라
ㆍ예제를 프로젝트에 적용하라
나는 소프트웨어 개발자로서 많은 예제를 살펴보기 좋아한다. 또한, 직접 개발하는 시간뿐만 아니라, 선생님으로서 학생들에게 간단한 메시지를 주는 것도 좋아한다. 키보드 위에서 바쁘게 움직이는 손가락, IDE에서 코딩하며 보내는 시간, 멋지게 일이 처리되는 모습 등을 이 책에서 전달하고 싶다.
모든 사람에게는 자신만의 학습 스타일이 있다. 이 책은 가장 일반적인 방법을 다루고 있으므로 모든 사람에게 도움이 되리라 믿는다.

“수학을 먼저 배울까요?”
좋아하는 축구팀이 다른 팀보다 낫다, 지미 페이지가 제프 백보다 훌륭한 기타리스트다(나는 제프 백을 더 좋아한다) 같이 영원한 논쟁거리가 몇 가지 있다. 머신 러닝을 시작하기 전에 수학을 얼마나 알아야 하는가 역시 또 하나의 논쟁거리다.
머신 러닝을 직접 하는 것과 머신 러닝 이론을 배우는 것은 전혀 별개의 문제다. 이론을 배우려면 수학적인 배경이 필요하다. 그러나 이 책은 실습을 통해 머신 러닝에 접근한다. 지금 당장 개발자가 이용할 수 있는 수많은 머신 러닝 도구를 손에 쥐고, 이 도구들이 어떤 원리로 움직이는지는 굳이 알 필요 없다. 배워야 하는 것은 도구를 어떻게 활용할 것인가다. 어떻게든 노력하여 어려운 작업을 마무리한다면 당연히 칭찬 받고 격려 받을 만하다.
"그래도 박사학위는 필요하다"
이 말은 여러분을 멈칫하게 만들 것이다. 데이터 분석을 시작하기도 전에 또는 여러분이 데이터 과학자라고 말하기도 전에 필요한 지식 수준에 대한 긴 논쟁을 하는 데 화가 날 것이다.
개인적으로 몇 년을 투자해 석사나 박사학위를 취득한다면 이 길을 좀 더 거리낌 없이 갈 수 있다. 학위 취득은 실용적이며 책을 읽고 직접 실행해보는 것이 좋다.
학구적인 것은 중요하다. 수학, 통계, 데이터 마이닝에 관한 수많은 온라인 강좌, 논문, 웹사이트, 서적은 마음속 열망을 채우기에 충분하다. 나도 이런 리소스를 많이 이용한다.
그러나 나는 직접 데이터를 다루고, 메서드를 시험해보고, 결과를 살펴보는 것을 가장 좋아한다. 여러분이 선형회귀 이론을 다시 공부해야 한다면 다른 읽을 거리도 많고, 이 책에서도 물론 다룰 것이므로 안심하라.
누구나 데이터 과학자가 될 수 있을까? 머신 러닝팀은 다양한 재능을 가진 사람들로 구성하는 것이 더 현실적이다. 이는 2장에서 더 자세히 이야기하겠다.
그러므로 다른 사람들이 프로젝트에 박사 인력을 들여올지 말지 논의하는 동안 여러분은 의사결정트리를 만들어 가능 여부를 확인해보라.

이 책으로 무엇을 배울 것인가?
처음부터 끝까지 이 책을 모두 읽는다면 머신 러닝의 일반적인 활용, 처리하는 다양한 방법, 실시간 처리와 배치 처리를 배울 수 있다.
물론 원하는 부분만 참조하는 것도 괜찮다. 각 장과 예제는 다른 장을 참조하지 않아도 학습할 수 있도록 작성했다.
이 책의 목적은 실습으로 일반적인 머신 러닝 개념을 다루는 것이다. 무료 도구와 라이브러리를 사용하여 여러분이 가진 데이터에서 통찰력을 얻기에 부족하지 않을 것이다.

이론과 실무 균형 맞추기
머신 러닝과 데이터 마이닝에 관한 책은 많지만, 이론과 실무적인 예제 사이에서 균형을 맞춘 책은 많지 않다. 이 책을 기획할 때 실무와 사용하기 쉬운 예제의 중요성을 강조하고 단계별로 설명하고자 했다.
이론은 중요하지 않다는 말이 아니다. 무엇을 배우고 싶은지, 어떻게 배울 것인지가 이 책을 읽는 방법을 결정한다.
처음 두 장은 여러 도구와 실제 결과를 사용하여 머신 러닝을 계획하면서 머신 러닝과 데이터 마이닝을 정의한다. 주요 장(3장부터 8장)에서는 학습하고 확인하고 기억할 수 있도록 만든 실무적인 가이드와 설명을 곁들인 부분 코드, 기타 유용한 정보 등을 이용하여 머신 러닝의 여러 가지 이론을 살펴본다.
마지막으로 실시간 처리, 배치 처리 방법, 각각을 어떻게 통합하는가를 배운다. 그리고 아파치 스파크와 통계학에 뿌리를 둔 R을 알아본다.

각 장의 개요
1장은 "머신 러닝이란 무엇인가?"라는 질문과 머신 러닝의 정의, 어디에서 사용되는가, 접하게 될 알고리즘의 종류가 무엇인지를 다룬다. 또한, 머신 러닝의 인간적인 측면과 앞으로 여러분의 모델과 작업이 경쟁력을 가지려면 무엇이 필요한지 이야기한다.
실제 코딩에 앞서 계획이 필요하다. 2장에서는 머신 러닝을 계획하는 데 집중한다. 계획에는 데이터 과학팀과의 관계, 가공, 필요한 스토리지 정의, 사생활 보호, 데이터 정리, 만병통치약 같은 하나의 솔루션이 없다는 사실을 이해하는 것이 포함된다. 2장에서는 처리에 앞서 데이터를 관리하는 데 도움이 되는 몇 가지 편리한 리눅스 명령으로 작업한다.
의사결정트리는 일반적인 머신 러닝 방법이다. 결과나 모델 속에 관측된 움직임과 여러 입력 자료(시그널과 특성)를 사용하여 새로운 데이터가 들어올 때 결과를 예측한다. 3장에서는 데이터와 웨카를 사용한 예제 코딩으로 의사결정트리 디자인을 살펴본다.
베이지안 네트워크는 랜덤 변수 집합의 조건부 의존성을 나타낸다. 4장에서는 간단한 예제를 통해 어떻게 베이지안 네트워크가 작동하는지 알아보고 거기에 사용하는 코드를 살펴본다.
중추 신경계에서 영감을 얻은 신경망 모델은 딥러닝 시스템에서 여전히 사용되고 있다. 5장에서는 머신 러닝의 한 분류인 신경망 모델이 어떻게 작동하는지 보여주고 네트워크로 입력 정보를 전달하는 예제를 선보인다.
장바구니 분석에 관심이 있다면 6장을 주목하자. 6장에서는 연관 규칙 학습을 배우고, 대형 데이터 내에서 관계를 찾아본다. Apriori 알고리즘이 오늘날 대형 소매 유통 산업에서 어떻게 사용되는지 면밀히 살펴볼 것이다.
서포트 벡터 머신은 지도 학습 모델로서 데이터를 분석하여 패턴을 인지하는 방법이다. 7장에서 텍스트 분류와 기타 예제를 살펴본다.
8장에서는 클러스터링을 다룬다(개체를 그룹 짓는 방법이다). 클러스터링은 마케팅의 세그먼트 분석 같은 것에 가장 적합하다. 최초 학습 단계에서 시행착오법을 시도하려는 경우 최고의 머신 러닝 방법이다.
9장과 10장은 튜토리얼이다. 9장의 예제는 실시간 처리에 관한 것이다. 스프링 XD(데이터 소화 엔진)를 사용하고 스트리밍 트위터 API를 사용하여 트윗이 생길 때마다 수집한다.
10장에서는 배치 처리로서 머신 러닝을 다룬다. 9장에서 모은 데이터로 하둡 클러스터를 만들고 여러 가지 작업을 수행해본다. 또한, 스쿱으로 데이터베이스에서 데이터를 얻고, 머하웃으로 고객에게 추천하고, 하둡과 피그로 고객 데이터를 분석하는 일반적인 이슈를 다룬다.
11장에서는 머신 러닝 영역에 새로 들어온 도구를 다룬다. 아파치 스파크를 살펴보고, 스칼라 언어를 소개한다. 스칼라는 인메모리 데이터를 대상으로 SQL 같은 쿼리를 수행한다.
R은 전 세계 통계학자들이 오랫동안 사용해온 언어다. 12장에서는 R 언어를 살펴보면서 이전 장에서 다룬 머신 러닝 알고리즘을 수행한다.

책의 소스 코드
책에서 소개한 코드는 깃허브에서 내려받을 수 있다. 주소는 https://github.com/jasebell/mlbook이다. 또한 와일리 출판사의 웹사이트에서도 내려받을 수 있다.
주소는 http://as.wiley.com/WileyCDA/WileyTitle/productCd-1118889061.html이다.
예제는 모두 자바로 작성되어 있다. 다른 언어로 지식을 확장하고 싶다면 깃허브에서 검색해보라. 흥미로운 예제를 찾을 수 있다.
코드는 각 장별로 구분되어 리포지토리 폴더에 저장되어 있다. 추가 라이브러리가 필요하다면 README파일을 참고하라.

[옮긴이 서문]

옮긴이 서문을 요청 받고 글을 쓰려고 [머신 러닝(Machine Learning)] 원서를 옆에 두어 보았다. 같이 고생한 책이 곁에 있어줘야 안심이 된다. 사실 지난 가을에 책을 받으면서, ‘깨끗하게 읽고 책장에 기념으로 잘 모셔 둬야지’ 했는데, 마시던 커피를 같이 마시는 바람에 책에는 세월의 훈장처럼 얼룩과 주름이 생겼다. 이해가 안 되는 부분에는 의사 선생님 뺨칠 정도의 악필로 알 수 없는 신경질적인 기호를 휘갈겨 두었다.

기계학습의 성공 스토리를 보며 ‘이걸 증권매매에 어떻게 활용하면 좋을까?’ 머릿속에는 지금도 그 생각뿐이다. 기계학습을 알게 된 것은 한국투자공사에 계시는 친한 형님 덕분이었다. 그 당시 매트랩으로 서포트 벡터 머신을 구현했는데, SVM이 뭔지 몰라 코딩보다 기계학습 공부를 먼저 해야 했다. SVM 덕분에 ‘기계학습'이란 존재를 알게 되었다.

직접 코딩하여 SVM, k-Means(이 책에서도 소개한다)를 주가 예측과 종목 분류에 테스트해본 적이 있는데 아직 좋은 성과를 얻진 못했다. 연장은 좋은데 목수가 신통치 못한 탓이다. 또한, 아직은 엉성한 로보어드바이저 플랫폼을 만들고 있다. 플랫폼에 사용하려는 포트폴리오 전략 중에는 주가의 움직임이 유사한 종목끼리 그룹을 만들고 분류된 그룹 내에서 펀더멘털(PER, 성장성, 이익모멘텀 등)을 이용한 투자매력도를 측정하여 롱온리 또는 롱숏 포트폴리오를 만드는 것도 있다. 주가의 움직임이 비슷한 종목을 묶을 때 이 책에서도 나오는 클러스터링 분석(Clustering Analysis)을 활용한다.

나의 이런 소박하고 엉성한 프로젝트도 있지만, 해외에는 흥미로운 프로젝트가 많다. 가령 미국 버클리대학에서 만든 딥러닝 프레임워크 ‘caffe’ 는 수많은 사물을 학습시키고, 확률적 추론을 통해 사진속 사물이 무엇인지 알아낸다고 한다. 아직 완벽하지는 않지만 http://demo.caffe.berkeleyvision.org/에 가면 데모를 볼 수 있다.

사실 이 책은 특정 분야를 심도 있게 다루는 것이 아니라 ‘이런 것도 있고 저런 것이 있다’ 정도로 기계학습을 소개하지만, 그저 말로만 풀고 마는 것이 아니라 초보적인 실습과 코딩에 발을 하나씩 담가둔다. 기계학습에 입문하고 싶은 프로그래머와 프로그래머는 아니지만 기술에 안목 있는 전문가를 위한 책이다. 누구를 가르치려고 준비하다 보면 절로 공부를 하게 된다는 말이 있는데 책을 번역하면서 나 역시 공부를 하게 되었다. 가령 초평면(Hyper-plane)이라는 용어는 골치 아픈 개념이었다. 초파리처럼 성가시고 초파리를 연상시키는 이 단어가 눈으로 볼 수 있는 것이 아니어서 머릿속으로 상상해야 한다. 중간중간 도시 전설 같은 에피소드는 고속도로의 졸음운전방지 휴게쉼터 같은 존재다.

책을 번역하면서 이해가 안 되는 부분이 여럿 있었는데, 그중에는 아무리 봐도 이건 틀린 것 같아 원저자에게 ‘이 부분 잘못 쓴 거 아닌가요?’ 라고 나름 정중하게 이메일을 보내기도 했다. 사실 원저자의 성실한 답변을 기대하지는 않았다. 서양권 사람들과 이메일을 주고 받다보면 복장이 터지는 경우가 많았기 때문이다. 열심히 긴 문장으로 메일을 보내면, 그들은 단문으로 답장을 한다. 다행히 원저자는 나름 긴 문장의 답변을 보내왔지만, 결론은 ‘자신은 틀리지 않았다’였다. 아무리 봐도 틀린 것 같아 뒷목잡고 쓰러질 일이었다.

기계학습을 공부하고 싶은 분들이 많을 것이다. 나의 전공은 기계학습이나 심지어는 데이터 사이언스가 아니다. 놀랍게도 경제학이다. 사실 전문 프로그래머 중에도 전공이 아닌데 그저 좋아서 입문하여 직업이 된 사람이 많아 그리 놀라운 일은 아니다.

나는 경제학 시간에 교수님이 칠판에 이리 저리 지우고 그려놓은 수요와 공급곡선을 보면서 ‘수요 공급곡선이 움직이며 이론을 알려주는 프로그램이 있으면 얼마나 좋을까?’하는 공상에 빠져 있던 학생이었다. 키보드를 누르면 모니터에 글자가 찍히는 게 신기했던 1학년때부터 친구와 공대 전산실에 들락날락 거리며 프로그래밍을 익혀왔고 지금도 업무가 프로그래밍이 아니지만 그저 재미있어 프로그래밍을 해오고 있다.

몇 년 전부터 불어 닥치는 빅데이터, 기계학습 열풍에 휩쓸려 기계학습을 배우려면 뭘 해야 하나 여기 저기 알아보았는데 공통된 의견은 선형대수, 확률통계, 알고리즘, 프로그래밍이 필요하다는 것이다. 프로그래밍의 경우 특히 어려워하는 분이 많은데, 나는 농담 반 사기 반 “사칙연산만 할 수 있으면 누구나 할 수 있다”라고 말하고 있다.

더구나 깃허브에 가면 좋은 기계학습 관련 오픈 소스 프로젝트가 많아 잘 선택하고 집중하여 활용하면 처음부터 직접 프로그래밍을 하지 않아도 좋은 결과를 얻으리라 본다. 프로그래밍에 초보인 분들은 초보자에게 쉽고 기계학습에 좋은 언어라고 추천되는 자바, R, 파이썬으로 시작하면 좋을 것이다. 프로그래밍 언어는 아니지만 웨카도 좋은 선택이다. 웨카나 프로그래밍 언어를 필기도구 삼아 수학, 확률통계, 알고리즘을 배워 나가면 어떨까? 근사하지 않을까? 왠지 사기 같은 소리지만 믿고 따라 해도 손해보지는 않을 것이다.

감사의 글
책을 번역하는 동안 아낌없는 지원을 해주신 한동훈님, 이원휘님께 감사드립니다. 번역에 도움을 주시려고 여러 권의 책을 보내주셔서 놀랐습니다. 특히 오역이나 빠진 번역을 지적해주신 이원휘님 덕분에 이 책이 2016년에 빛을 보게 되었다고 생각하고 책을 저자나 역자 혼자 쓰는 게 아니라는 걸 절실히 느꼈습니다.