본문내용 바로가기
MD의선택 무료배송 이벤트 사은품 소득공제

아파치 카프카 애플리케이션 프로그래밍 with 자바 카프카의 개념부터 스트림즈, 커넥트, 스프링 카프카까지 | 데이터 파이프라인 구축 따라하기

최원영 지음 | 비제이퍼블릭 | 2021년 04월 14일 출간
클로버 리뷰쓰기

이 책의 다른 상품 정보

  • 정가 : 32,000원
    판매가 : 28,800 [10%↓ 3,200원 할인]
  • 혜택 :
    [기본적립] 1600원 적립 [5% 적립] [추가적립] 5만원 이상 구매 시 2,000원 추가적립 안내 [회원혜택] 회원 등급 별, 3만원 이상 구매 시 2~4% 추가적립 안내 [리뷰적립] 리뷰 작성 시 e교환권 최대 300원 추가적립 안내
  • 추가혜택 : 포인트 안내 도서소득공제 안내 추가혜택 더보기
  • 배송비 : 무료 배송비 안내
  • 배송일정 : 서울특별시 종로구 세종대로 기준 지역변경
    지금 주문하면 내일(30일,목) 도착 예정 배송일정 안내
  • 바로드림 : 인터넷으로 주문하고 매장에서 직접 수령 안내 바로드림 혜택
    휴일에는 바로드림 픽업으로 더 빨리 받아 보세요. 바로드림 혜택받고 이용하기

이 책의 이벤트

해외주문/바로드림/제휴사주문/업체배송건의 경우 1+1 증정상품이 발송되지 않습니다.
  • 컴퓨터/IT분야 2만원 이상 구매 시 개발자 매거진 선택 가능
    2021.09.03 ~ 2021.10.22
  • IT 행사도서 포함 3만원 이상 구매시 개발자 책꽂이 사은품 선..
    2021.07.16 ~ 2021.09.30
  • 책을 통해 성장해나가는 개발자를 응원합니다.
    2017.06.22 ~ 2025.07.31
상품상세정보
ISBN 9791165920548(1165920549)
쪽수 480쪽
크기 172 * 230 * 31 mm /798g 판형알림

책소개

이 책이 속한 분야

아파치 카프카 애플리케이션 개발을 위한 「실전 가이드」
아파치 카프카란 무엇일까? 카프카 애플리케이션은 어떻게 만들까? 데이터 파이프라인을 만들기 위해 어떤 카프카 라이브러리를 사용해야 할까? 클라우드 기반 아파치 카프카는 어떤 기능을 가지고 있을까?
이 책은 아파치 카프카의 기본적인 개념과 상용 프로젝트에 카프카를 사용하는 방안, 그리고 코드를 기반으로 연동 애플리케이션을 개발하는 과정을 소개한다. 또한, 「실전 프로젝트」에서 실무에 많이 사용되는 아키텍처와 유사한 구조로 실습을 진행하며 상용 환경에서 어떻게 데이터 파이프라인을 구축하는지 설명한다.
이 책을 통해 카프카와 연관된 플랫폼들과의 관계를 전체적으로 이해하는 것을 넘어 카프카를 업무에 성공적으로 도입하고 안정적으로 운영할 수 있을 것이다.

[이 책의 주요 내용]
- 미러메이커2
- 카프카 커넥트
- 카프카 명령어
- 카프카 스트림즈
- 카프카 클라이언트(컨슈머, 프로듀서, 어드민)
- 클라우드 카프카(Confluent Cloud, AWS MSK)
- 스프링 카프카
▶ 『 아파치 카프카 애플리케이션 프로그래밍 with 자바 』 북트레일러

* 출판사의 사정에 따라 서비스가 변경 또는 중지될 수 있습니다.
*window7의 경우 사운드 연결이 없을시, 동영상 재생에 오류가 발생할 수 있습니다. 이어폰, 스피커 등이 연결되어 있는지 확인 하시고 재생하시기 바랍니다.

상세이미지

아파치 카프카 애플리케이션 프로그래밍 with 자바 도서 상세이미지

목차

1.1 카프카의 탄생
1.2 빅데이터 파이프라인에서 카프카의 역할
1.3 데이터 레이크 아키텍처와 카프카의 미래
1.4 정리

[2장] 카프카 빠르게 시작해보기
2.1 실습용 카프카 브로커 설치
2.1.1 AWS EC2 인스턴스 발급 및 보안 설정
2.1.2 인스턴스에 접속하기
______ssh 명령어로 접속하기
______putty로 접속하기
2.1.3 인스턴스에 자바 설치
2.1.4 주키퍼·카프카 브로커 실행
______카프카 브로커 힙 메모리 설정
______카프카 브로커 실행 옵션 설정
______주키퍼 실행
______카프카 브로커 실행 및 로그 확인
2.1.5 로컬 컴퓨터에서 카프카와 통신 확인
______테스트 편의를 위한 hosts 설정

2.2 카프카 커맨드 라인 툴
2.2.1 kafka-topics.sh
______토픽 생성
______토픽 리스트 조회
______토픽 상세 조회
______토픽 옵션 수정
2.2.2 kafka-console-producer.sh
2.2.3 kafka-console-consumer.sh
2.2.4 kafka-consumer-groups.sh
2.2.5 kafka-verifiable-producer, consumer.sh
2.2.6 kafka-delete-records.sh

2.3 정리

[3장] 카프카 기본 개념 설명
3.1 카프카 브로커 · 클러스터 · 주키퍼
______데이터 저장, 전송
______데이터 복제, 싱크
______컨트롤러(controller)
______데이터 삭제
______컨슈머 오프셋 저장
______코디네이터(coordinator)

3.2 토픽과 파티션
______토픽 이름 제약 조건
______의미 있는 토픽 이름 작명 방법

3.3_레코드

3.4 카프카 클라이언트
3.4.1 프로듀서 API
______카프카 프로듀서 프로젝트 생성
______프로듀서 중요 개념
______프로듀서 주요 옵션
______메시지 키를 가진 데이터를 전송하는 프로듀서
______커스텀 파티셔너를 가지는 프로듀서
______브로커 정상 전송 여부를 확인하는 프로듀서
3.4.2 컨슈머 API
______카프카 컨슈머 프로젝트 생성
______컨슈머 중요 개념
______컨슈머 주요 옵션
______동기 오프셋 커밋
______비동기 오프셋 커밋
______리밸런스 리스너를 가진 컨슈머
______파티션 할당 컨슈머
______컨슈머에 할당된 파티션 확인 방법
______컨슈머의 안전한 종료
3.4.3 어드민 API
______브로커 정보 조회
______토픽 정보 조회

3.5 카프카 스트림즈
3.5.1 스트림즈DSL
______KStream
______KTable
______GlobalKTable
______스트림즈DSL 주요 옵션
______스트림즈DSL - stream( ), to( )
______스트림즈DSL - filter( )
______스트림즈DSL - KTable과 KStream을 join( )
______스트림즈DSL - GlobalKTable과 KStream을 join( )
3.5.2 프로세서 API

3.6 카프카 커넥트
______커넥트를 실행하는 방법
______단일 모드 커넥트
______분산 모드 커넥트
3.6.1 소스 커넥터
______파일 소스 커넥터 구현
3.6.2 싱크 커넥터
______파일 싱크 커넥터 구현

3.7 카프카 미러메이커2
3.7.1 미러메이커2를 활용한 지리적 복제(Geo-Replication)

3.8 정리

[4장] 카프카 상세 개념 설명
4.1 토픽과 파티션
4.1.1 적정 파티션 개수
4.1.2 토픽 정리 정책(cleanup.policy)
______토픽 삭제 정책(delete policy)
______토픽 압축 정책(compact policy)
4.1.3 ISR(In-Sync-Replicas)
______unclean.leader.election.enable

4.2 카프카 프로듀서
4.2.1 acks 옵션
______min.insync.replicas
4.2.2 멱등성 프로듀서(idempotence producer)
4.2.3 트랜잭션 프로듀서(transaction producer)

4.3 카프카 컨슈머
4.3.1 멀티 스레드 컨슈머
______카프카 컨슈머 멀티 워커 스레드 전략
______카프카 컨슈머 멀티 스레드 전략
4.3.2 컨슈머 랙
______카프카 명령어를 사용하여 컨슈머 랙 조회
______컨슈머 metrics( ) 메서드를 사용하여 컨슈머 랙 조회
______외부 모니터링 툴을 사용하여 컨슈머 랙 조회
4.3.2.1 카프카 버로우
______컨슈머 랙 모니터링 아키텍처
4.3.3 컨슈머 배포 프로세스
______중단 배포
______무중단 배포

4.4 스프링 카프카
4.4.1 스프링 카프카 프로듀서
______기본 카프카 템플릿
______커스텀 카프카 템플릿
4.4.2 스프링 카프카 컨슈머
______기본 리스너 컨테이너
______커스텀 리스너 컨테이너

4.5 정리

[5장] 카프카 실전 프로젝트
5.1 웹 페이지 이벤트 적재 파이프라인 생성
5.1.1 요구 사항
5.1.2 정책 및 기능 정의
5.1.3 기능 구현
5.1.4 기능 테스트
5.1.5 상용 인프라 아키텍처

5.2 서버 지표 수집 파이프라인 생성과 카프카 스트림즈 활용
5.2.1 요구 사항
5.2.2 정책 및 기능 정의
5.2.3 기능 구현
5.2.4 기능 테스트
5.2.5 상용 인프라 아키텍처

5.3 미러메이커2를 사용한 토픽 미러링
5.3.1 요구 사항
5.3.2 기능 정의
5.3.3 기능 구현
5.3.4 기능 테스트
5.3.5 상용 인프라 아키텍처

5.4 정리

[6장] 클라우드 카프카 서비스
6.1 컨플루언트 클라우드
6.1.1 컨플루언트 클라우드 활용
6.1.1.1 클러스터 생성
6.1.1.2 토픽 생성
6.1.1.3 API키 발급
6.1.1.4 프로듀서 애플리케이션 연동
6.1.1.5 컨슈머 애플리케이션 연동
6.1.1.6 커넥터 S3 적재 파이프라인
6.1.2 컨플루언트 카프카 정리

6.2 AWS MSK
6.2.1 MSK 활용
6.2.1.1 클러스터 생성
6.2.1.2 MSK 클러스터 연동 인스턴스 생성
6.2.1.3 토픽 생성
6.2.1.4 프로메테우스 설치 및 연동
6.2.1.5 그라파나 설치 및 연동
6.2.1.6 콘솔 프로듀서, 컨슈머 연동
6.2.2 AWS MSK 정리

6.3 정리

[7장] 부록
7.1 카프카 소스코드 다운로드 및 분석
7.2 로컬 테스트용 카프카 도커 이미지 실행

추천사

이동진((Apache Software Foundation/ 아파치 카프카 컨트리뷰터)

아파치 카프카는 개발이 활발하게 이루어지고 있는 시스템이라 한국어로 된 자료는 빈약하기 짝이 없고 중요도에 비해 이를 다룰 수 있는 사람이 부족하다. 그렇기 때문에 카프카는 반드시 도입되어야 하는 아키텍처임에도 불구하고 선뜻... 더보기

변성윤(쏘카/ 머신러닝 엔지니어)

이 책은 카프카를 처음 입문할 때 하는 고민을 모두 해소해 준다. 특히 「실전 프로젝트」에 작성된 웹 페이지 이벤트 적재 파이프라인 만들기, 서버 지표 수집 파이프라인 만들기, 미러메이커2를 사용한 토픽 미러링 내용과 책의 ... 더보기

심호진(무신사/ 인프라 파트장)

저자는 대용량 환경에서 아파치 카프카 애플리케이션을 개발하고 운영하며 얻은 지식을 개발자와 인프라 운영자 관점에서 포괄적으로 집약하였다. ‘개발자’ 관점에서 자바 언어 기반의 프로듀서ㆍ컨슈머 애플리케이션 구성 및 커넥터 개발... 더보기

전득진(11번가 Search Center Data Platform팀/ 팀장)

카프카를 기반으로 하는 서비스를 개발 및 운영하는 주니어 엔지니어와 시니어 엔지니어 모두에게 이 책을 추천한다. 이 책에는 저자가 SK플래닛에서 대용량 데이터 파이프라인과 데이터 플랫폼을 다년간 다루며 축적한 지식이 모두 담... 더보기

출판사 서평

전 세계 IT 기업이 선택한 빅데이터 플랫폼, 아파치 카프카
이 책과 함께 카프카 개발자로 성공하라!
'아파치 카프카(Apache Kafka)'는 실시간 스트리밍 데이터를 처리하는 데 있어 가장 주목받는 프레임워크이자 뛰어난 오픈소스 도구이다. 포춘 100대 기업 중 이미 80개 이상의 회사에서 도입한 것만 보아도 알 수 있듯 카프카는 백엔드 아키텍처에서 필수 불가결한 플랫폼이다. Netflix, LinkedIn, Twitter와 같은 전 세계 IT 서비스 기업부터 카카오, 네이버, 삼성 등의 국내 대기업까지, 실시간 스트리밍으... 더보기

Klover 리뷰 (0)

북로그 리뷰 (1) 전체보기 쓰러가기

북로그 리뷰는 본인 인증 후 작성 가능합니다.
책이나 타인에 대해 근거 없이 비방을 하거나 타인의 명예를 훼손할 수 있는 내용은 비공개 처리 될 수 있습니다.
※ 북로그 리뷰 리워드 제공 2021. 4. 1 종료
  • <span style="font-family: "Noto Serif KR";">아파치 카프카를 알기위한 필독서</span>       이 책을 비제이퍼블릭으로부터 신청해서 제공받은 이유는 단 한가지, 데이터 분석을 위한 정보 수집이 필요했기 때문이다. 게다가 스프링을 주로 쓰는 사람으로 아파치 카프카를 자바와 함께 쓸 수 있어야 한다는 사실이 매우 중요했다. 그래서 이 책을 신청하여 천천히 읽어 나가기 시작하였다. 막상 책을 받고 읽어보면 평소 알지 못했... 더보기

문장수집 (0) 문장수집 쓰기 나의 독서기록 보기
※구매 후 문장수집 작성 시, 리워드를 제공합니다. 안내

교환/반품/품절안내

※ 상품 설명에 반품/교환 관련한 안내가 있는 경우 그 내용을 우선으로 합니다. (업체 사정에 따라 달라질 수 있습니다.)

교환/반품/품절안내
반품/교환방법 마이룸 > 주문관리 > 주문/배송내역 > 주문조회 > 반품/교환신청 ,
[1:1상담>반품/교환/환불] 또는 고객센터 (1544-1900)

※ 오픈마켓, 해외배송주문, 기프트 주문시 [1:1상담>반품/교환/환불]
    또는 고객센터 (1544-1900)
반품/교환가능 기간 변심반품의 경우 수령 후 7일 이내,
상품의 결함 및 계약내용과 다를 경우 문제점 발견 후 30일 이내
반품/교환비용 변심 혹은 구매착오로 인한 반품/교환은 반송료 고객 부담
반품/교환 불가 사유
  • 소비자의 책임 있는 사유로 상품 등이 손실 또는 훼손된 경우
    (단지 확인을 위한 포장 훼손은 제외)
  • 소비자의 사용, 포장 개봉에 의해 상품 등의 가치가 현저히 감소한 경우
    예) 화장품, 식품, 가전제품(악세서리 포함) 등
  • 복제가 가능한 상품 등의 포장을 훼손한 경우
    예) 음반/DVD/비디오, 소프트웨어, 만화책, 잡지, 영상 화보집
  • 소비자의 요청에 따라 개별적으로 주문 제작되는 상품의 경우 ((1)해외주문도서)
  • 디지털 컨텐츠인 eBook, 오디오북 등을 1회 이상 다운로드를 받았을 경우
  • 시간의 경과에 의해 재판매가 곤란한 정도로 가치가 현저히 감소한 경우
  • 전자상거래 등에서의 소비자보호에 관한 법률이 정하는 소비자 청약철회 제한 내용에
    해당되는 경우
(1) 해외주문도서 : 이용자의 요청에 의한 개인주문상품으로 단순변심 및 착오로 인한 취소/교환/반품 시 ‘해외주문 반품/취소 수수료’ 고객 부담 (해외주문 반품/취소 수수료 : ①서양도서-판매정가의 12%, ②일본도서-판매정가의 7%를 적용)
상품 품절 공급사(출판사) 재고 사정에 의해 품절/지연될 수 있으며, 품절 시 관련 사항에 대해서는
이메일과 문자로 안내드리겠습니다.
소비자 피해보상
환불지연에 따른 배상
  • 상품의 불량에 의한 교환, A/S, 환불, 품질보증 및 피해보상 등에 관한 사항은
    소비자분쟁해결 기준 (공정거래위원회 고시)에 준하여 처리됨
  • 대금 환불 및 환불지연에 따른 배상금 지급 조건, 절차 등은 전자상거래 등에서의
    소비자 보호에 관한 법률에 따라 처리함
바로가기
  • 우측 확장형 배너 2
  • 우측 확장형 배너 2
최근 본 상품