본문내용 바로가기
MD의선택 무료배송 이벤트 경품 소득공제

크롤링 핵심 가이드 웹 사이트 크롤링을 위한 실전 테크닉

위키북스 데이터 사이언스 시리즈 17
  • 정가 : 22,000원
    판매가 : 19,800 [10%↓ 2,200원 할인]
  • 통합포인트 :
    [기본적립] 1,100원 적립 [5% 적립] 안내 [추가적립] 5만원 이상 구매 시 2천원 추가적립 [회원혜택] 우수회원 3만원 이상 구매 시 2~4% 추가적립
  • 추가혜택 : 포인트 안내 도서소득공제 안내 추가혜택 더보기
  • 배송비 : 무료 배송비 안내
  • 배송일정 : 서울특별시 종로구 세종대로 기준 지역변경
    지금 주문하면 내일(10일,화) 도착 예정 배송일정 안내
  • 바로드림 : 인터넷으로 주문하고 매장에서 직접 수령 안내 바로드림 혜택
    휴일에는 바로드림 픽업으로 더 빨리 받아 보세요. 바로드림 혜택받고 이용하기

이 책의 이벤트 해외주문/바로드림/제휴사주문/업체배송건의 경우 1+1 증정상품이 발송되지 않습니다.

  • 개발자로 입문하기: 일단 이것부터 읽어보자!
    2019.05.31 ~ 2020.12.31
  • 위키북스의 도서를 한 눈에 살펴보세요
    2017.11.23 ~ 2020.12.31
  • #리드잇 페이스북 페이지 팔로우 하시고, 신간소식 빠르게 받아보..
    2017.06.22 ~ 2025.07.31
  • 설문참여 시 매월 5명 추첨통해 선물을 드립니다.
    10. 14 ~ 12. 31
상품상세정보
ISBN 9791158391072(1158391072)
쪽수 294쪽
크기 175 * 236 * 19 mm /618g 판형알림
이 책의 원서/번역서 クロ-リングハック あらゆるWEBサイトをクロ-ルするための實踐テクニック/竹添直樹

책소개

이 책이 속한 분야

웹 애플리케이션, 웹 서비스를 개발/운용하는 엔지니어라면, HTML/HTTP와 웹 서버 등의 웹 기술과 관련된 기초 지식을 알고 있어야 한다. 이 책에서는 실제 서비스에서 대규모 웹 크롤러를 개발/운용해 본 경험을 기반으로, 크롤러를 지탱하는 HTTP, 문자 코드, HTML, 인증, Ajax/JSON 등 웹 엔지니어가 꼭 기억해야 하는 포인트와 테크닉을 설명한다. 크롤러의 입장에서 보는 웹 사이트의 구조와 그 실정에 맞는, 실용적이고 효율적인 크롤링 방법을 설명한다.

◎ 실제 예를 바탕으로 HTTP, HTML 등의 웹과 관련된 내용을 깊게 알 수 있다.
◎ 대규모 크롤러를 개발/운용하는 노하우를 알 수 있다.
◎ 웹 사이트 운영자(크롤링 당하는 입장)도 크롤러와 관련된 지식을 얻을 수 있다.

이 책의 총서

총서 자세히 보기

저자소개

저자 : 타케조에 나오키

저자 타케조에 나오키 (竹添 直樹)
주식회사 비즈 리치 소속의 Scala를 사랑하는 프로그래머이다. 업무와 함께 OSS 활동, 서적 집필 등을 하고 있다. GitBucket, Apache PredictionIO, Scalatra 등의 커미터도 맡고 있다.

저자 : 시마모토 타카코

저자 시마모토 타카코 (島本 多可子)
주식회사 비즈 리치에 근무 중이다. 최근 몇 년 동안 "Scala", "오픈소스"를 키워드로 웹 애플리케이션 개발을 했지만, 최근에는 Apache Spark Streaming과 AWS Kinesis와 관련된 일을 하고 있다. 오픈소스 GitHub 클론인 "GitBucket" 개발에도 참여했다.

저자 : 타도코로 순스케

저자 타도코로 ?스케 (田所 駿佑)
주식회사 비즈 리치 소속의 Scala 엔지니어이다. 구인 검색 엔진 "스탠바이"를 만들면서, 문자 깨짐과 관련된 많은 일을 접한 뒤, 그림 문자에 매력을 느끼게 되었다. Scala 그림 문자 라이브러리 개발, 그림 문자와 관련된 국제적인 컨퍼런스에 참가하는 등 아마추어 그림 문자 연구가로서 웹 엔지니어의 길을 순조롭게 걷고 있다.

저자 : 하기노 타카히로

저자 하기노 타카히로 (萩野 貴拓)
주식회사 비즈 리치 소속의 AI 연구실 소속이다. 구인 검색 엔진 "스탠바이"의 크롤러 운용, 검색 품질 최적화, 데이터 마이닝 등을 담당한 후, 현재는 머신러닝 시스템 기반 구축과 관련된 일을 하고 있다. 오픈 소스 머신러닝 서버 Apache PredictionIO의 커미터이며, Apache Prediction IO가 널리 사용될 수 있게 홍보하고 있다.

저자 : 카와카미 모모코

저자 카와카미 모모코 (川上 桃子)
주식회사 비즈 리치 소속의 스탠바이 사업부에서 업무 위탁 받아 근무하고 있다. 구인 검색 엔진 "스탠바이"의 크롤링 개발, 유지 보수를 담당하고 있다. 매일 다양한 구인 사이트를 크롤링하기 위해 분투하고 있다.

저자가 속한 분야

역자 윤인성
홍차와 커피를 좋아하며 요리, 음악, 그림, 스컬핑 등이 취미다. 『모던 웹을 위한 JavaScript+jQuery 입문』 『모던 웹을 위한 Node.js 프로그래밍』 『모던 웹 디자인을 위한 HTML5+CSS3 입문』 등을 저술하였으며, 『파이썬을 이용한 웹 크롤링과 스크레이핑』 『모던 자바스크립트 개발자를 위한 리액트 프로그래밍』 『최신 표준 HTML5+CSS3 디자인』 『파이썬을 이용한 머신러닝, 딥러닝 실전 개발 입문』 『스위프트로 시작하는 아이폰 앱 개발 교과서』 『유니티 게임 이펙트 입문』 『모던 웹사이트 디자인의 정석』(이상 위키북스), 『실전 게임 제작으로 배우는 언리얼 엔진 4』 『TopCoder 알고리즘 트레이닝』 『Nature of Code』(이상 한빛미디어), 『소셜 코딩으로 이끄는 GitHub 실천 기술』(제이펍) 등을 번역했다.

윤인성님의 최근작

전체작품보기

목차

▣ 1장: 크롤러를 지탱하는 기술
1-1 크롤러란?
1-2 크롤러의 구조
___크롤링
___스크레이핑
1-3 크롤러와 웹 기술
___데이터 저장하기
___웹 크롤러가 지켜야 하는 규칙
___크롤러가 직면한 과제
1-4 크롤러 만들어보기
___Java로 간단한 크롤러 구현하기
___크롤링/스크레이핑 전용 서비스와 도구
1-5 개발을 지원하는 도구
___curl
___브라우저의 개발자 도구

▣ 2장: HTTP 이해하기
2-1 HTTP 개요
___HTTP 통신 내용 보기
2-2 HTTP 메서드 사용 구분하기
___일부 메서드가 지원되지 않는 경우
___메서드의 사용 방법이 적절하지 않은 경우
___URL 인코드 방식의 차이에 따른 문제
2-3 믿을 수 없는 응답 상태
___상태 코드에 따라 적절히 처리하기
___오류가 발생했는데도 200을 응답하는 경우
___페이지가 존재하지 않는 경우의 리다이렉트
___서버에 접속할 수 없는 경우
___서버 오류가 발생했을 경우의 일반적인 대처 방법
___리다이렉트의 미묘한 의미 차이
2-4 HTTP 헤더 조정하기
___크롤러의 사용자 에이전트
___쿠키가 없으면 크롤링할 수 없는 웹 사이트
___국제화를 지원하는 웹 사이트 크롤링하기
2-5 프록시 서버를 경유해서 크롤링하기
___프록시 사용 시 HTTP 통신 내용 확인하기
___크롤러에서 프록시 사용하기
2-6 SSL 통신 때 발생하는 오류
___SSL 버전
___SSL 지원 사이트 크롤링하기
___자바의 AES 키 길이 문제
2-7 HTTP/2
___자바로 HTTP/2 다루기
2-8 정리

▣ 3장: 문자 깨짐 해결하기
3-1 크롤링과 문자 코드
3-2 왜 문자가 깨질까?
___컴퓨터와 문자
___문자 깨짐과 멀티 바이트 문자
3-3 클라이언트와 서버 간의 문자 깨짐
___문자 깨짐이 일어나는 위치
___애플리케이션과 데이터베이스
___텍스트 파일 읽고 쓰기
3-4 적절하게 문자 코드 다루기
___크롤링과 문자 코드
___인덱싱과 문자 코드
3-5 대표적인 문자 코드
___UTF-8
___EUC-KR
3-6 문자 코드와 관련해 발생할 수 있는 함정
___문자 코드 믿지 말기
___데이터베이스와 초밥① - 사라진 초밥 문제
___데이터베이스와 초밥② - 그림 문자 검색 문제
___트러블 슈팅을 위한 팁
3-7 문자 코드 추정하기
___juniversalchardet
___ICU4J
___자바 외 언어의 라이브러리
3-8 정리

▣ 4장: 스크레이핑 테크닉
4-1 HTML에서 데이터 추출하기
___정규 표현식
___XPath
___CSS 선택자
___HTML 이외의 데이터
4-2 CSS 선택자 사용하기
___지정한 위치의 요소 추출하기 - nth-child()
___텍스트 노드를 문자열로 검색하기 - contains()
___텍스트 노드를 정규 표현식으로 검색하기 - matched()
___자식 요소를 제외하고 검색하기 - containsOwn()과 matchesOwn()
___속성으로 검색하기
4-3 스크레이핑한 데이터 가공하기
___[예1] alt 속성에서 데이터 추출하기
___[예2] 주소 추출하기
___웹 페이지의 메타 데이터
4-4 메타 데이터 활용하기
___구조화 마크업
4-5 정리

▣ 5장: 인증하기
5-1 인증이 필요한 페이지를 크롤링하는 이유
___인증이 필요한 웹 사이트를 크롤링할 때 지켜야 할 사항
5-2 다양한 인증 방식과 크롤링 방법
___HTTP 인증
___입력 양식 기반 인증
___2단계 인증
___CAPTCHA를 사용한 BOT 대책
5-3 웹 API를 사용해 정보 추출하기
___접근키로 인증하기
___OAuth 2.0
___인증과 허가
___pac4j를 사용해 GitHub OAuth 사용해 보기
5-4 정리

▣ 6장: 크롤링 응용 테크닉
6-1 크롤러가 지켜야 하는 매너
___요청 수와 요청 간격 제한
___크롤링 제한하기
6-2 필요한 페이지만 크롤링하기
___페이징
___의외로 잘 사용하지 않는 사이트맵 XML
___RSS 또는 Atom을 기반으로 사이트의 변경 정보 추출하기
___콘텐츠를 캐시해서 통신 줄이기
___gzip 압축으로 응답 빠르게 만들기
6-3 제거된 콘텐츠 판정하기
___콘텐츠에 명시적으로 적혀 있는 기간 사용하기
___대상 사이트를 정기적으로 크롤링하기
___인덱스한 URL을 정기적으로 확인하기
___목록 페이지에 URL이 존재하지 않는 경우 삭제된 것으로 판정하기
___남은 문제
6-4 웹 사이트의 변경 시점 및 변경 빈도 학습하기
___명시된 변경일 찾기
___오류
___변경 빈도에 따라 크롤링 빈도 조정하기
___크롤링 소요 시간을 기반으로 크롤러의 리소스 사용량 조절하기
6-5 가장 효율적인 방법 = 크롤링하지 않기
6-6 정리

▣ 7장: 자바스크립트 가지고 놀기
7-1 Ajax와 SPA
___자바스크립트를 사용한 웹 페이지의 예
___크롤러의 관점에서 살펴본 자바스크립트
7-2 자바스크립트와의 싸움 피하기
___자바스크립트의 동작 재현하기
___크롤러를 위한 정보 찾기
___모바일 사이트
7-3 브라우저 조작과 도구 활용하기
___Selenium WebDriver 사용해 보기
7-4 정리

북로그 리뷰 (0) 쓰러가기

도서 구매 후 리뷰를 작성하시면 통합포인트를 드립니다.
결제 90일 이내 작성 시 300원 / 발송 후 5일 이내 작성시 400원 / 이 상품의 첫 리뷰 작성 시 500원
(포인트는 작성 후 다음 날 적립되며, 도서 발송 전 작성 시에는 발송 후 익일에 적립됩니다.
외서/eBook/음반/DVD/GIFT 및 잡지 상품 제외)
안내
  • 해당도서의 리뷰가 없습니다.

Klover 평점/리뷰 (0)

문장수집 (0) 문장수집 쓰기 나의 독서기록 보기
※구매도서의 문장수집을 기록하면 통합포인트 적립 안내

교환/반품/품절안내

※ 상품 설명에 반품/교환 관련한 안내가 있는 경우 그 내용을 우선으로 합니다. (업체 사정에 따라 달라질 수 있습니다.)

교환/반품/품절안내
반품/교환방법 마이룸 > 주문관리 > 주문/배송내역 > 주문조회 > 반품/교환신청 ,
[1:1상담>반품/교환/환불] 또는 고객센터 (1544-1900)

※ 오픈마켓, 해외배송주문, 기프트 주문시 [1:1상담>반품/교환/환불]
    또는 고객센터 (1544-1900)
반품/교환가능 기간 변심반품의 경우 수령 후 7일 이내,
상품의 결함 및 계약내용과 다를 경우 문제점 발견 후 30일 이내
반품/교환비용 변심 혹은 구매착오로 인한 반품/교환은 반송료 고객 부담
반품/교환 불가 사유
  • 소비자의 책임 있는 사유로 상품 등이 손실 또는 훼손된 경우
    (단지 확인을 위한 포장 훼손은 제외)
  • 소비자의 사용, 포장 개봉에 의해 상품 등의 가치가 현저히 감소한 경우
    예) 화장품, 식품, 가전제품(악세서리 포함) 등
  • 복제가 가능한 상품 등의 포장을 훼손한 경우
    예) 음반/DVD/비디오, 소프트웨어, 만화책, 잡지, 영상 화보집
  • 소비자의 요청에 따라 개별적으로 주문 제작되는 상품의 경우 ((1)해외주문도서)
  • 디지털 컨텐츠인 eBook, 오디오북 등을 1회 이상 다운로드를 받았을 경우
  • 시간의 경과에 의해 재판매가 곤란한 정도로 가치가 현저히 감소한 경우
  • 전자상거래 등에서의 소비자보호에 관한 법률이 정하는 소비자 청약철회 제한 내용에
    해당되는 경우
(1) 해외주문도서 : 이용자의 요청에 의한 개인주문상품으로 단순변심 및 착오로 인한 취소/교환/반품 시 ‘해외주문 반품/취소 수수료’ 고객 부담 (해외주문 반품/취소 수수료 : ①양서-판매정가의 12%, ②일서-판매정가의 7%를 적용)
상품 품절 공급사(출판사) 재고 사정에 의해 품절/지연될 수 있으며, 품절 시 관련 사항에 대해서는
이메일과 문자로 안내드리겠습니다.
소비자 피해보상
환불지연에 따른 배상
  • 상품의 불량에 의한 교환, A/S, 환불, 품질보증 및 피해보상 등에 관한 사항은
    소비자분쟁해결 기준 (공정거래위원회 고시)에 준하여 처리됨
  • 대금 환불 및 환불지연에 따른 배상금 지급 조건, 절차 등은 전자상거래 등에서의
    소비자 보호에 관한 법률에 따라 처리함

이 책의 원서번역서

안내

이 분야의 베스트

  • 이동욱
    19,800원
  • 윤인성
    16,200원
  • 이남호
    23,310원
  • 길벗알앤디
    27,900원
  • 길벗R&D
    17,100원
더보기+

이 분야의 신간

  • 길벗알앤디
    27,900원
  • 다카라지마사
    9,900원
  • 길벗R&D
    32,400원
  • 테런스 J. 세즈노스키
    22,500원
  • 이동욱
    19,800원
더보기+

바로가기

  • 우측 확장형 배너 2
  • 우측 확장형 배너 2

최근 본 상품