★ 이 책에서 다루는 내용 ★

■ 스칼라와 파이썬을 이용한 스파크 프로그래밍 모델과 스파크 2의 기초
■ 스파크 SQL 사용법과 스칼라와 파이썬을 이용한 데이터프레임 활용
■ R을 이용한 스파크 프로그래밍 기초
■ 파이썬을 활용한 그래프 및 차트 그리기, 스파크 데이터 처리
■ 스칼라와 파이썬을 이용한 스파크 스트림 처리
■ 스파크 MLib을 활용한 머신 러닝
■ 스파크 GraphX를 이용한 그래프 처리 기초
■ 배운 것들을 종합해 하나의 완벽한 스파크 애플리케이션 실전 예제 개발


★ 이 책의 대상 독자 ★

스파크의 데이터 처리 능력과 R 또는 데이터 및 스트림 처리, 머신 러닝, 그래프 처리를 결합해 상호 운용 가능한 하나의 프레임워크에서 스칼라나 파이썬을 지원하는 통합 API를 활용하는 데 관심이 있는 애플리케이션 개발자 및 데이터 과학자, 대규모 데이터 솔루션 아키텍처라면 이 책이 큰 도움이 될 것이다.


★ 이 책의 구성 ★
1장, ‘스파크 기초’에서는 스파크 프레임워크 기초와 API 그리고 함께 제공되는 라이브러리를 논의하고 스파크를 사용하는 데이터 처리 생태계 전체를 살펴본다.
2장, ‘스파크 프로그래밍 모델’에서는 스파크에서 사용되는 함수 프로그래밍 방법론을 기초로 스파크의 유니폼 프로그래밍 모델에 대해 설명하고 RDD(Resilient Distributed Data Sets) 및 스파크 변환, 스파크 액션의 기본 사항을 다룬다.
3장, ‘스파크 SQL’에서는 가장 강력한 스파크 라이브러리 중 하나인 스파크 SQL에 관해 논의하고 스파크 프로그램과 함께 어떠한 방식으로 동작하는지 살펴본다. 또한 데이터 처리를 위해 스파크 SQL을 사용해 다양한 데이터 소스에 액세스하는 방법과 여러 종류의 데이터 소스 통합에 관해 설명한다.
4장, ‘스파크 R 프로그래밍’에서는 스파크 R API인 SparkR과 R에 관해 설명한다. 이를 통해 R 사용자는 익숙한 데이터 프레임 추상화를 사용해 스파크의 데이터 처리 기능을 사용할 수 있다. 더불어 R 사용자가 스파크 데이터 처리 생태계에 익숙해질 수 있는 기초 지식도 제공한다.
5장, ‘파이썬을 활용한 스파크 데이터 분석’에서는 스파크를 이용한 데이터 처리 방법과 파이썬에서 스파크와 함께 활용할 수 있는 다양한 차트 및 그래프 라이브러리에 대해 설명한다. 또한 프로그래밍 언어로서 파이썬을 선택하고 스파크 애플리케이션을 파이썬과 결합해서 활용하는 방법에 대해 논의한다.
6장, ‘스파크 스트림 처리’에서는 스트림(stream) 형태로 수집한 데이터를 캡처하고 처리하는 가장 강력한 스파크 라이브러리 중 하나인 스파크 스트리밍에 대해 설명한다. 분산 메시지 브로커인 카프카(Kafka)와 카프카의 소비자로 작동하는 스파크 스트리밍 애플리케이션에 대해서도 논의한다.
7장, ‘스파크 머신 러닝’에서는 입문 수준에서 머신 러닝 애플리케이션 개발에 사용하는 가장 강력한 스파크 라이브러리 중 하나인 스파크 MLlib에 대해 설명한다.
8장, ‘스파크 그래프 처리’에서는 그래프 데이터 구조를 처리하는 가장 강력한 스파크 라이브러리 중 하나인 스파크 GraphX에 대해 설명하고 그래프로 데이터를 처리하는 수많은 알고리즘을 살펴본다. GraphX 기초와 GraphX에서 제공하는 알고리즘을 사용해 구현한 몇 가지 유스 케이스도 설명한다.
9장, ‘스파크 애플리케이션 설계’에서는 스파크의 다양한 기능을 다루는 스파크 데이터 처리 애플리케이션 설계 및 개발에 대해 설명한다. 9장에서 다루는 대부분의 내용은 이미 앞에서 다룬 내용이다.

★ 옮긴이의 말 ★

요즘 컴퓨터 세계는 빅데이터와 머신 러닝의 시대라고 해도 과언이 아니다. 이 두 가지 기술이 맞물려 창출해 내는 부가가치와 잠재력은 분야를 막론하고 상상을 초월한다. 이러한 흐름에 발맞춰 머신 러닝이나 빅데이터 처리 프레임워크에 관심을 가지는 개발자가 점점 많아지고 있다. 한국에서도 이러한 스킬을 가지고 있는 고급 개발자들이 미국의 글로벌 IT회사로 이직하는 경우를 많이 봐왔다.
이러한 큰 흐름에 따라 무언가 시도해 보고는 싶은데 어디서부터 시작할지 모르는 입문자나, 머신 러닝 자체보다는 데이터 전처리나 파이프 라인 구축에 드는 많은 시간과 노력에 지친 데이터 과학자들에게 스파크는 매우 환영 받는 프레임워크다. 맵리듀스 같은 복잡한 프로그래밍 모델을 모르더라도 간단한 스크립팅과 파이썬, 스칼라 등의 프로그래밍 언어만 알면 누구나 손쉽게 머신 러닝과 빅데이터 공부를 시작할 수 있다.
스파크가 데이터 처리 프레임워크 세계에서 차지하는 비중은 매우 크다. 스파크는 미국 버클리 대학의 리서치 프로젝트로 시작해서 지금은 전 세계에서 가장 활발한 오픈 소스 기반 데이터 처리 프로젝트가 됐다. 처음부터 대규모 데이터 처리를 염두에 두고 디자인됐기 때문에 빅데이터 처리에 매우 최적화됐고 이름처럼 속도가 빠르다. 2.0부터는 다양한 머신 러닝 라이브러리 지원을 통해 머신 러닝 데이터 처리 프레임워크로도 각광받고 있다. 이뿐만 아니라 스칼라, 자바, 파이썬, R 등 다양한 프로그래밍 언어 지원을 통해 개발자가 언어의 제약 없이 손쉽게 접근할 수 있고 포팅이 쉽다는 장점이 있다.
이 책은 단순한 데이터 처리, 스트리밍 데이터, 그래프 모델 구성, 스파크를 이용한 데이터 차트 그리기를 넘어 MLlib를 활용한 머신 러닝 예제까지, 입문자와 고급 개발자 모두가 활용 할 수 있는 다양한 예제를 제공한다. 이렇게 누구나 쉽게 스파크를 배울 수 있도록 했다. 대부분의 예제는 스칼라뿐 아니라 파이썬, R 버전으로도 제공되기 때문에 독자에게 편한 언어로 학습할 수 있다.
번역 기간 내내 여러가지 일과 병행하느라 우여곡절이 많았지만, 바람이 있다면 이 책이 한국의 개발자들이 머신 러닝과 빅데이터 세계에 뛰어드는 데 조금이나마 밑거름이 됐으면 한다. 나아가 독자들이 전세계 글로벌 IT 기업에서 나와 직접 마주치는 재미있는 순간이 오길 기대한다.