이 입문서는 스파크를 빠르게 익히고 실행할 수 있도록 쓰였다. 이 책을 통해서 자신의 PC에 스파크를 다운로드하여 실행하고, API를 배우기 위해 명령어들을 입력하고 그 결과를 볼 수 있을 것이다. 그리고 일단 그 정도 시점이 되면 가능한 작업의 세부 사항과 분산 실행에 대해 다루고, 최종적으로는 스파크에 내장된 머신 러닝, 스트림 처리, SQL 등의 고수준 라이브러리를 둘러보게 될 것이다. 한 대의 컴퓨터든 수백 대로 구성된 클러스터든 데이터 분석에 관한 문제를 맞닥뜨렸을 때, 우리는 이 책이 그 문제를 빠르게 해결할 수 있는 도구가 되기를 바란다. _XVp

스파크는 작업 노드에서는 데이터를 메모리에 올려 처리할 수 있어서 많은 분산 작업들, 심지어 십수 대의 머신에서 테라바이트(terabyte) 단위의 데이터를 처리하는 것도 몇 초 만에 끝낼 수 있다. 이런 높은 성능 덕분에 일반적으로 셸에서 수행하게 되는 반복적인 일회성, 탐색적 분석 같은 종류의 작업을 스파크에서 수행하는 것도 적절하다. 스파크는 클러스터 연결을 잘 지원하는 기능을 가진 파이썬과 스칼라 셸을 지원한다. _14p

이번 장에서는 스파크에서 가장 흔하게 쓰이는 트랜스포메이션과 액션들에 대해 알아본다. 특별한 데이터 타입을 취급하는 RDD를 위한 추가적인 연산들도 존재한다. 예를 들면, 통계 함수들이나 키/값 페어(key/value pair)를 다루는 RDD에서 키를 기준으로 데이터를 집계하는 키/값 연산 같은 것들이 있다. RDD 타입에 따라 변환하는 방법과 이런 특별한 연산들은 후반부에 다룬다. _43p

오브젝트 파일이 자바 직렬화를 사용한다는 것에는 몇 가지 주의가 필요하다. 일반적인 시퀀스 파일과는 달리 결과 파일이 하둡에서 동일 객체를 출력한 것과는 다르다. 다른 포맷들과는 다르게 오브젝트 파일은 거의 스파크 내에서 스파크 작업들끼리 통신하기 위한 용도로 많이 쓰인다. 게다가 자바 직렬화는 느리다. _102p

스파크를 최적화하고 디버깅하기 위한 첫 번째 단계는 스파크 시스템의 내부 설계를 좀 더 깊이 이해하는 것이다. 이전 장들에서 RDD와 파티션 등에 대한 “논리적인” 관점에서의 표현들을 보아 왔다. 실행하면서 스파크는 이 논리적 표현들을 여러 개의 연산들을 태스크로 합쳐서 물리적인 실행 계획으로 바꾼다. 스파크 실행의 전체적인 형태를 이해하는 것은 이 책의 범위를 벗어나지만, 관련된 개념들이 엮이는 단계들에 대해 올바른 이해를 가지는 것은 작업을 최적화하고 디버깅하는 데에 도움이 된다. _174p