본문 바로가기

추천 검색어

실시간 인기 검색어

파이썬을 활용한 스파크 프로그래밍

빅데이터 분석을 위한 스파크 활용법
데이터 과학
제프리 에이븐 저자(글) · 송주경 번역
에이콘출판 · 2019년 08월 28일
5.0
10점 중 5점
(3개의 리뷰)
집중돼요 (50%의 구매자)
  • 파이썬을 활용한 스파크 프로그래밍 대표 이미지
    파이썬을 활용한 스파크 프로그래밍 대표 이미지
  • A4
    사이즈 비교
    210x297
    파이썬을 활용한 스파크 프로그래밍 사이즈 비교 187x235
    단위 : mm
01 / 02
MD의 선택 무료배송 이벤트 소득공제
10% 27,000 30,000
적립/혜택
1,500P

기본적립

5% 적립 1,500P

추가적립

  • 5만원 이상 구매 시 추가 2,000P
  • 3만원 이상 구매 시, 등급별 2~4% 추가 최대 1,500P
  • 리뷰 작성 시, e교환권 추가 최대 300원
배송안내
무료배송
배송비 안내
국내도서/외국도서
도서 포함 15,000원 이상 구매 시 무료배송
도서+사은품 또는 도서+사은품+교보Only(교보굿즈)

15,000원 미만 시 2,500원 배송비 부과

교보Only(교보배송)
각각 구매하거나 함께 20,000원 이상 구매 시 무료배송

20,000원 미만 시 2,500원 배송비 부과

해외주문 서양도서/해외주문 일본도서(교보배송)
각각 구매하거나 함께 15,000원 이상 구매 시 무료배송

15,000원 미만 시 2,500원 배송비 부과

업체배송 상품(전집, GIFT, 음반/DVD 등)
해당 상품 상세페이지 "배송비" 참고 (업체 별/판매자 별 무료배송 기준 다름)
바로드림 오늘배송
업체에서 별도 배송하여 1Box당 배송비 2,500원 부과

1Box 기준 : 도서 10권

그 외 무료배송 기준
바로드림, eBook 상품을 주문한 경우, 플래티넘/골드/실버회원 무료배송쿠폰 이용하여 주문한 경우, 무료배송 등록 상품을 주문한 경우
6/2(월) 출고예정
기본배송지 기준
배송일자 기준 안내
로그인 : 회원정보에 등록된 기본배송지
로그아웃 : '서울시 종로구 종로1' 주소 기준
로그인정확한 배송 안내를 받아보세요!

이달의 꽃과 함께 책을 받아보세요!

1권 구매 시 결제 단계에서 적용 가능합니다.

알림 신청하시면 원하시는 정보를
받아 보실 수 있습니다.

이 책의 이벤트

해외주문/바로드림/제휴사주문/업체배송건의 경우 1+1 증정상품이 발송되지 않습니다.

키워드 Pick

키워드 Pick 안내

관심 키워드를 주제로 다른 연관 도서를 다양하게 찾아 볼 수 있는 서비스로, 클릭 시 관심 키워드를 주제로 한 다양한 책으로 이동할 수 있습니다.
키워드는 최근 많이 찾는 순으로 정렬됩니다.

스파크는 빅데이터 분석을 위한 가장 핵심적인 기술 중 하나다. 이 책에서는 스파크의 개념 및 설치, 활용법의 상세한 설명으로 독자들의 이해를 돕는다. 또한 스파크와 통합되는 타 기술들과 빅데이터 분석에 관한 전반적인 지식도 다룬다. 대중적으로 익숙한 파이썬을 활용한 소스 코드로 독자들이 쉽게 따라 하며 학습할 수 있도록 구성했다.

이 책의 총서 (110)

작가정보

호주 멜버른에 본사를 둔 독립적인 빅데이터, 오픈 소스 소프트웨어 및 클라우드 컴퓨팅 전문가다. 고급 컨설턴트이자 강사이며, 『Apache Spark in 24 Hours, Sams Teach Yourself』(Sams Publishing, 2016), 『Apache Spark in 24 Hours, Sams Teach Yourself』(Sams Publishing, 2016) 등 여러 권의 책을 저술했다.

번역 송주경

서강대학교 컴퓨터공학과를 졸업한 후, 삼성전자와 LG전자 연구소에서 연구원으로 재직했다.
현재 기업 및 대학에서 예술과 기술 융합, 생활 속 과학, 창의적 사고와 코딩, 아트워크 실습 등 다수 강의를 하고 있으며, 관련 컨설팅도 진행하고 있다.

작가의 말

★ 지은이의 말 ★
스파크는 빅데이터 기술 파동과 불가분의 관계에 있는 빅데이터용 일류 데이터 처리 플랫폼이자 프로그래밍 인터페이스다. 이 글을 쓰는 시점에서 스파크는 아파치 소프트웨어 재단(ASF, Apache Software Foundation) 프레임워크에서 가장 활발한 오픈 소스 프로젝트 중 하나이며, 가장 적극적인 오픈 소스 빅데이터 프로젝트 중 하나다.
분석, 데이터 처리, 데이터 과학 커뮤니티에서부터 스파크에 관한 관심이 많아지면서, 스파크의 역할 및 제공 목적, 이점 및 빅데이터 분석을 위한 스파크 활용 방법 등을 이해하는 것은 더욱 중요해졌다. 이 책은 이 모든 것을 다룬다.
스파크 전용의 많은 다른 출판물에서 거의 독점적으로 스칼라 API를 사용하는 것과 달리, 스파크 또는 파이스파크용 파이썬 API에 중점을 둔다. 파이썬은 아직은 널리 사용되지 않아서 익숙하지 않은 사람들도 쉽게 이해할 수 있는 직관적인 인터프리터 언어이므로 이 책의 기초로 선택됐다. 또한 파이썬은 스파크 커뮤니티의 주요 사용자인 데이터 과학자들에게 매우 인기 있는 프로그래밍 언어이기도 하다.
이 책은 스파크와 하둡의 사전 지식과 경험 여부에 상관없이, 빅데이터와 스파크를 처음부터 다루는 것부터 시작하므로, 기본 작동 방식과 방대한 기능을 최대한 활용하는 방법 등 전체적인 과정을 배우고고자 하는 경우 매우 유용하다. 이 책 전체에서 하둡, HBase, 카프카 등과 같이 인접한 보완 플랫폼, 프로젝트 및 기술에 관해 배우고, 이것이 스파크와 어떻게 상호작용하는지 살펴본다.
이 책이 빅데이터 및 스파크 전문가가 되기 위한 여정에 밑거름이 되기를 바란다.

목차

  • 1부. 스파크 기초

    1장. 빅데이터, 하둡 및 스파크 소개

    __빅데이터, 분산 컴퓨팅 및 하둡 소개
    ____빅데이터와 하둡의 간략한 역사
    ____하둡
    __아파치 스파크 소개
    ____아파치 스파크 배경
    ____스파크 사용
    ____스파크 프로그래밍 인터페이스
    ____스파크 프로그램의 제출 유형
    ____스파크 응용 프로그램의 입력/출력 유형
    ____스파크 RDD
    ____스파크와 하둡
    __파이썬을 이용한 함수 프로그래밍
    ____파이썬 함수 프로그래밍에서 사용되는 데이터 구조
    ____파이썬 객체 직렬화
    ____파이썬 함수형 프로그래밍 기초
    __요약

    2장. 스파크 배포

    __스파크 배포 모드
    ____로컬 모드
    ____스파크 독립실행형
    ____얀에서의 스파크
    ____메소스에서의 스파크
    __스파크 설치 준비
    __스파크 가져오기
    __리눅스나 맥 OS X에서 스파크 설치하기
    __윈도우에 스파크 설치하기
    __스파크 설치 탐색
    __다중노드(Multi-Node) 스파크 독립실행형 클러스터 배포
    __클라우드에서 스파크 배포
    ____아마존 웹 서비스
    ____구글 클라우드 플랫폼
    ____데이터브릭스
    __요약

    3장. 스파크 클러스터 아키텍처의 이해

    __스파크 응용 프로그램의 해부
    ____스파크 드라이버
    ____스파크 작업자 및 실행자
    ____스파크 마스터와 클러스터 매니저
    __독립실행형 스케줄러를 사용하는 스파크 응용 프로그램
    ____얀에서 실행되는 스파크 응용 프로그램
    __얀에서 실행되는 스파크 응용 프로그램의 배포 모드
    ____클라이언트 모드
    ____클러스터 모드
    ____로컬 모드 재검토
    __요약

    4장. 스파크 프로그래밍 기초 학습
    __RDD의 소개
    __RDD에 데이터 로드하기
    ____하나 이상의 파일에서 RDD 생성하기
    ____하나 이상의 텍스트 파일에서 RDD를 만드는 방법
    ____오브젝트 파일에서 RDD 만들기
    ____데이터 소스에서 RDD 만들기
    ____JSON 파일에서 RDD 만들기
    ____프로그래밍 방식으로 RDD 생성하기
    __RDD 연산
    ____주요 RDD 개념
    ____기본 RDD 변환
    ____기본 RDD 액션
    ____PairRDD의 변환
    ____맵리듀스 및 워드 카운트(Word Count) 연습
    ____조인(Join) 변환
    ____스파크에서 데이터세트 조인하기
    ____세트(Sets)의 변환
    ____숫자(numeric) RDD의 변환
    __요약

    2부. 스파크 응용

    5장. 스파크 코어 API를 사용한 고급 프로그래밍

    __스파크의 공유변수
    ____브로드캐스트 변수
    ____어큐뮬레이터
    ____연습: 브로드캐스트 변수 및 어큐뮬레이터 사용
    __스파크의 데이터 파티셔닝
    ____파티셔닝 개요
    ____파티션 제어
    ____함수 재분할
    ____파티션 별 또는 파티션 인식 API 메소드
    __RDD 저장 옵션
    ____RDD 리니지 재검토
    ____RDD 저장 옵션
    ____RDD 캐싱
    ____RDD 유지
    ____RDD를 유지하거나 캐시할 시기 선택하기
    ____RDD 체크포인트 지정
    ____연습: RDD 체크포인트
    __외부 프로그램으로 RDD 처리하기
    __스파크를 사용해 데이터 샘플링하기
    __스파크 응용 프로그램 및 클러스터 구성 이해하기
    ____스파크 환경변수
    ____스파크 구성 속성
    __스파크 최적화하기
    ____초기 필터, 자주 필터
    ____연관연산 최적화하기
    ____함수 및 클로저의 영향 이해하기
    ____데이터 수집을 위한 고려 사항
    ____응용 프로그램 조정 및 최적화를 위한 구성 매개변수
    ____비효율적인 파티셔닝 피하기
    ____응용 프로그램 성능 문제 진단하기
    __요약

    6장. 스파크로 SQL 및 NoSQL 프로그래밍하기
    __스파크 SQL 소개
    ____하이브 소개
    ____스파크 SQL 아키텍처
    ____데이터프레임 시작하기
    ____데이터프레임 사용
    ____캐싱, 지속 및 데이터프레임 재구성
    ____데이터프레임 출력 저장
    ____스파크 SQL 액세스하기
    ____연습: 스파크 SQL 사용하기
    __NoSQL 시스템에서 스파크 사용하기
    ____NoSQL 소개
    ____HBase와 스파크 사용하기
    ____연습: HBase로 스파크 사용하기
    ____카산드라와 함께 스파크 사용하기
    ____DynamoDB에서 스파크 사용하기
    ____기타 NoSQL 플랫폼
    __요약

    7장. 스파크를 사용한 스트림 처리 및 메시징

    __스파크 스트리밍 소개
    ____스파크 스트리밍 아키텍처
    ____DStream 소개
    ____연습: 스파크 스트리밍 시작하기
    ____State 연산
    ____슬라이딩 윈도우 연산
    __구조화된 스트리밍
    ____구조화된 스트리밍 데이터 소스
    ____구조화된 스트리밍 데이터 싱크
    ____출력 모드
    ____구조화된 스트리밍 연산
    __메시징 플랫폼에서 스파크 사용
    ____아파치 카프카
    ____연습: 카프카와 스파크 사용하기
    ____아마존 킨시스
    __요약

    8장. 스파크를 사용한 데이터 과학 및 머신 러닝 소개

    __스파크 및 R
    ____R 소개
    ____R에 스파크 사용하기
    ____연습: SparkR과 함께 RStudio 사용하기
    __스파크로 머신 러닝하기
    ____머신 러닝 입문서
    ____스파크 MLlib를 사용한 머신 러닝
    ____연습: 스파크 MLlib를 사용해서 Recommender 구현하기
    ____스파크 ML을 사용한 머신 러닝
    __스파크와 함께 노트북 사용하기
    ____주피터(IPython) 노트북과 스파크 사용하기
    ____스파크에서 아파치 제플린 노트북 사용하기
    __요약

책 속으로

★ 옮긴이의 말 ★

빅데이터는 기존의 응용 프로그램으로는 효과적으로 처리할 수 없는 엄청난 양의 데이터를 말합니다. 혹자는 빅데이터를 이렇게 정의하기도 합니다. “빅데이터란 인사이트와 의사결정, 자동화 과정을 강화할 수 있는 정보 처리 과정의 혁신적인 형태이며, 높은 비용 효율을 요구하고 방대하며, 빠르고 다양한 형태의 정보 자산(assets)이다.” 즉, 빅데이터를 효과적으로 분석하면 혁신적인 인사이트를 발견하고 데이터 기반의 효과적인 의사결정을 내릴 수 있습니다. 최근에는 대기업, 스타트업 기업 등 대부분의 기업이 데이터 분석에 관심을 갖고 이와 관련된 분석 기술을 도입하고 있습니다. 이 책에서는 이러한 분석 기술들에 대한 배경과 전반적인 지식을 제공하며, 그중에서도 스파크에 관해서 집중적으로 다룹니다.
스파크 이전에 빅데이터를 다룰 때 가장 근간이 되는 기술 중 하나는 하둡의 맵리듀스(MapReduce)입니다. 맵리듀스는 슈퍼컴퓨터 없이 여러 대의 서버를 연결해 빅데이터 분석을 가능하게 한 오픈소스 프레임워크입니다. 하지만 기술이 발전하고 빠른 분석 속도를 요구하는 시스템이 늘어나면서 단점들이 나타나기 시작했습니다. 그래서 대안으로 나온 것이 스파크(Spark)입니다. 스파크는 맵리듀스처럼 분산 처리를 수행하지만, 메모리를 활용해 빠르게 데이터를 처리하는 것이 특징입니다. 따라서 스파크는 스트리밍 데이터 처리 같은 실시간 처리와 머신 러닝을 통한 애플리케이션과의 복합적 운영이 필요할 때 적합합니다. 예를 들어, 스파크를 활용하면 실시간 타깃마케팅과 고객 분석 및 추천이 가능해집니다.
이 책에서는 프로그래밍 언어로 파이썬을 채택해서 실습할 수 있도록 기술돼 있습니다. 파이썬은 데이터 분석을 위한 프로그래밍 언어로서 가장 대중적이고 직관적인 언어 중 하나입니다. 파이썬 기초 문법을 익혀 두면 예제를 이해하는 데 많은 도움이 될 것입니다.
데이터 분석을 위한 기술은 계속 발전해 나갈 것이며, 특히 그중에서도 스파크 생태계는 더욱 성장할 전망입니다. 이 책을 통해 개발자, 데이터 분석가, 데이터 과학자가 되고 싶은 많은 이에게 도움이 되었으면 합니다.
미흡하지만 좀 더 매끄럽고 정확한 의미 전달이 되도록 하기 위해 최선을 다하였으나 미비한 점은 출간 후에도 계속해서 보완하고자 합니다.

출판사 서평

★ 이 책에서 다루는 내용 ★

■ 빅데이터 및 하둡 에코 시스템에서 스파크의 진화하는 역할 이해
■ 다양한 배포 모드를 사용해 스파크 클러스터 생성
■ 스파크 클러스터 및 응용 프로그램의 제어 및 최적화
■ 마스터 스파크 코어 RDD API 프로그래밍 기술
■ 공유 변수, RDD 스토리지 및 파티셔닝을 포함한 고급 APl 플랫폼 구성으로 스파크 루틴을 확장, 가속 및 최적화
■ SQL 및 비관계형 데이터 저장소로 스파크를 효율적으로 통합
■ 스파크 스트리밍 및 아파치 카프카를 사용한 스트림 처리 및 메시징 수행
■ SparkR 및 스파크 Mllib를 사용한 예측 모델링 구현

★ 이 책의 대상 독자 ★

빅데이터 분야에 입문하거나 축적한 지식을 이 영역에 통합하려는 데이터 분석가 및 엔지니어를 대상으로 하는 책이다. 스파크는 빅데이터에 탁월한 프로세싱 프레임워크로서 현재 빅데이터 분야에서 전문적인 기술을 보유한 엔지니어가 많이 사용하고 있다.
파이썬 프로그래밍 경험이 있는 사람이라면 이 책을 볼 때 더 이해하기 쉬우므로 파이썬에 관한 경험은 유용하지만, 반드시 필요한 것은 아니다. 데이터 분석 및 조작과 관련한 훌륭한 실무 지식도 도움이 될 수 있다. 특히 빅데이터 영역으로 커리어를 확장하고자 하는 데이터 웨어하우스 전문가에게 적합하다.

★ 이 책의 구성 ★

1부, ‘스파크 기초’에서는 스파크를 배치하는 방법, 기본적인 데이터 처리 작업을 위해 스파크의 사용법을 확실하게 이해하도록 설계된 네 개의 장이 포함돼 있다.
1장, ‘빅데이터, 하둡 및 스파크 소개’에서는 스파크 프로젝트의 기원과 진화를 비롯해 빅데이터 에코 시스템에 대한 개념을 설명한다. 스파크 프로젝트의 핵심 속성은 스파크가 무엇인지, 어떻게 사용되는지, 하둡 프로젝트와는 어떤 관련이 있는지 등을 설명한다.
2장, ‘스파크 배포’에서는 다양한 스파크 클러스터 배포 모드와 스파크를 활용하는 다양한 방법을 포함해 스파크 클러스터를 배포하는 방법을 보여 준다.
3장, ‘스파크 클러스터 아키텍처의 이해’에서는 스파크 클러스터 및 응용 프로그램의 작동 방식에 관해 설명하고 스파크의 작동 방식을 확실히 이해하도록 돕는다.
4장, ‘스파크 프로그래밍 기초 학습’에서는 탄력적인 분산 데이터 세트(RDD, Resilient Distributed Dataset) API를 사용해서 스파크의 블록으로 구성된 기본 프로그래밍에 대해 중점적으로 다룬다.

2부, ‘스파크 응용’에서는 스트리밍 응용 프로그램, 데이터 과학 및 머신 러닝과 함께 사용되는 스파크 코어의 확장 및 응용에 관해 다음 네 개의 장에서 다룬다.
5장, ‘스파크 코어 API를 사용한 고급 프로그래밍’에서는 다양한 공유 변수 및 RDD 스토리지, 파티션 개념 및 구현을 포함해서 스파크 루틴을 확장, 가속, 최적화하는 데 사용되는 고급 구문을 설명한다.
6장, ‘스파크로 SQL 및 NoSQL 프로그래밍하기’에서는 스파크가 방대한 SQL 환경 및 비관계형 저장소와 통합하는 것에 관해 설명한다.
7장, ‘스파크를 사용한 스트림 처리 및 메시징’에서는 스파크 스트리밍 프로젝트와 기본 DStream 객체를 소개한다. 또한 스파크를 아파치 카프카와 같은 대중적인 메시징 시스템과 함께 사용하는 방법도 다룬다.
8장, ‘스파크를 사용한 데이터 과학 및 머신 러닝 소개’에서는 스파크에서 머신 러닝을 구현하는 데 사용되는 스파크 MLlib 하위 프로젝트뿐만 아니라 R과 스파크를 함께 사용하는 예측 모델링에 관해 소개한다.

기본정보

상품정보 테이블로 ISBN, 발행(출시)일자 , 쪽수, 크기, 총권수, 시리즈명, 원서(번역서)명/저자명을(를) 나타낸 표입니다.
ISBN 9791161753287
발행(출시)일자 2019년 08월 28일
쪽수 388쪽
크기
187 * 235 * 30 mm / 890 g
총권수 1권
시리즈명
데이터 과학
원서(번역서)명/저자명 Data Analytics with Spark Using Python/Aven, Jeffrey

Klover 리뷰 (3)

구매 후 리뷰 작성 시, e교환권 200원 적립

10점 중 7.5점
/집중돼요
잘만든거같음 재밋게 잘 씀 스파크 배우기좋은거같음

문장수집 (1)

문장수집 안내
문장수집은 고객님들이 직접 선정한 책의 좋은 문장을 보여주는 교보문고의 새로운 서비스입니다. 마음을 두드린 문장들을 기록하고 좋은 글귀들은 "좋아요“ 하여 모아보세요. 도서 문장과 무관한 내용 등록 시 별도 통보 없이 삭제될 수 있습니다.
리워드 안내
구매 후 90일 이내에 문장수집 작성 시 e교환권 100원을 적립해드립니다.
e교환권은 적립 일로부터 180일 동안 사용 가능합니다. 리워드는 작성 후 다음 날 제공되며, 발송 전 작성 시 발송 완료 후 익일 제공됩니다.
리워드는 한 상품에 최초 1회만 제공됩니다.
주문취소/반품/절판/품절 시 리워드 대상에서 제외됩니다.
판매가 5,000원 미만 상품의 경우 리워드 지급 대상에서 제외됩니다. (2024년 9월 30일부터 적용)

구매 후 리뷰 작성 시, e교환권 100원 적립

스파크는 파괴적인 빅데이터와 오픈소스 소프트웨어 혁명의 핵심 요소이다.
파이썬을 활용한 스파크 프로그래밍

교환/반품/품절 안내

  • 반품/교환방법

    마이룸 > 주문관리 > 주문/배송내역 > 주문조회 > 반품/교환 신청, [1:1 상담 > 반품/교환/환불] 또는 고객센터 (1544-1900)
    * 오픈마켓, 해외배송 주문, 기프트 주문시 [1:1 상담>반품/교환/환불] 또는 고객센터 (1544-1900)
  • 반품/교환가능 기간

    변심반품의 경우 수령 후 7일 이내,
    상품의 결함 및 계약내용과 다를 경우 문제점 발견 후 30일 이내
  • 반품/교환비용

    변심 혹은 구매착오로 인한 반품/교환은 반송료 고객 부담
  • 반품/교환 불가 사유

    1) 소비자의 책임 있는 사유로 상품 등이 손실 또는 훼손된 경우
    (단지 확인을 위한 포장 훼손은 제외)
    2) 소비자의 사용, 포장 개봉에 의해 상품 등의 가치가 현저히 감소한 경우
    예) 화장품, 식품, 가전제품(악세서리 포함) 등
    3) 복제가 가능한 상품 등의 포장을 훼손한 경우
    예) 음반/DVD/비디오, 소프트웨어, 만화책, 잡지, 영상 화보집
    4) 소비자의 요청에 따라 개별적으로 주문 제작되는 상품의 경우 ((1)해외주문도서)
    5) 디지털 컨텐츠인 ebook, 오디오북 등을 1회이상 ‘다운로드’를 받았거나 '바로보기'로 열람한 경우
    6) 시간의 경과에 의해 재판매가 곤란한 정도로 가치가 현저히 감소한 경우
    7) 전자상거래 등에서의 소비자보호에 관한 법률이 정하는 소비자 청약철회 제한 내용에 해당되는 경우
    8) 세트상품 일부만 반품 불가 (필요시 세트상품 반품 후 낱권 재구매)
    9) 기타 반품 불가 품목 - 잡지, 테이프, 대학입시자료, 사진집, 방통대 교재, 교과서, 만화, 미디어전품목, 악보집, 정부간행물, 지도, 각종 수험서, 적성검사자료, 성경, 사전, 법령집, 지류, 필기구류, 시즌상품, 개봉한 상품 등
  • 상품 품절

    공급사(출판사) 재고 사정에 의해 품절/지연될 수 있으며, 품절 시 관련 사항에 대해서는 이메일과 문자로 안내드리겠습니다.
  • 소비자 피해보상 환불 지연에 따른 배상

    1) 상품의 불량에 의한 교환, A/S, 환불, 품질보증 및 피해보상 등에 관한 사항은 소비자분쟁 해결 기준 (공정거래위원회 고시)에 준하여 처리됨
    2) 대금 환불 및 환불지연에 따른 배상금 지급 조건, 절차 등은 전자상거래 등에서의 소비자 보호에 관한 법률에 따라 처리함

상품 설명에 반품/교환 관련한 안내가 있는 경우 그 내용을 우선으로 합니다. (업체 사정에 따라 달라질 수 있습니다.)

이벤트
  • [교보eBook 19주년] 생일 파티에 초대합니다! 🎉
  • 미리보는 2025 대선
01 / 02
TOP