본문내용 바로가기
MD의선택 무료배송 이벤트 사은품 소득공제

파이썬 기반 강화학습 알고리듬 DP, Q-Learning, AC, DQN, TRPO, PPO, DDPG, TD3 | Imitation Learning, ESBAS 알아보기

데이터 과학
안드레아 론자 지음 | 정사범 옮김 | 에이콘출판 | 2021년 08월 25일 출간
클로버 리뷰쓰기
  • 정가 : 30,000원
    판매가 : 27,000 [10%↓ 3,000원 할인]
  • 혜택 :
    [기본적립] 1500원 적립 [5% 적립] [추가적립] 5만원 이상 구매 시 2,000원 추가적립 안내 [회원혜택] 회원 등급 별, 3만원 이상 구매 시 2~4% 추가적립 안내 [리뷰적립] 리뷰 작성 시 e교환권 최대 300원 추가적립 안내
  • 추가혜택 : 포인트 안내 도서소득공제 안내 추가혜택 더보기
  • 배송비 : 무료 배송비 안내
  • 배송일정 : 서울특별시 종로구 세종대로 기준 지역변경
    당일배송 지금 주문하면 오늘(17일,월) 도착 예정 배송일정 안내
  • 바로드림 : 인터넷으로 주문하고 매장에서 직접 수령 안내 바로드림 혜택
    휴일에는 바로드림 픽업으로 더 빨리 받아 보세요. 바로드림 혜택받고 이용하기

이 책의 이벤트

해외주문/바로드림/제휴사주문/업체배송건의 경우 1+1 증정상품이 발송되지 않습니다.
  • IT 개발서적 2만원 이상 구매 시 개발자 매거진 <리드잇..
    2022.01.10 ~ 2022.02.28
  • 에이콘 도서 3만원 이상 구매 시 메모리게임 카드pack 선택가..
    2022.01.10 ~ 2022.02.09
  • 행사도서 포함 2만원 이상 구매시 TIL 큐브 포스트잇 선택 가..
    2022.01.10 ~ 2022.02.06
  • 기술스택 별 개발자 채용공고 비중 공개+추천도서!
    2021.12.24 ~ 2022.12.31
  • 다른 개발자들은 무슨 책 읽고 있을까?
    2021.12.02 ~ 2022.12.31
상품상세정보
ISBN 9791161755571(1161755578)
쪽수 448쪽
크기 188 * 235 * 34 mm /1049g 판형알림
이 책의 원서/번역서 Reinforcement Learning Algorithms with Python / Lonza, Andrea

책소개

이 책이 속한 분야

강화학습(RL)은 인공지능의 인기 있고 유망한 분야로 변화하는 요구사항에 대응해 이상적인 행동을 자동으로 결정하는 에이전트와 스마트한 모델을 만드는 알고리듬이다. 이 책은 강화학습 알고리듬을 마스터하고 자가학습(self-learning)하는 에이전트를 구현하는 방법을 이해할 수 있도록 도와준다. 강화학습에 필요한 툴, 라이브러리, 설정 사항에 대한 소개를 시작으로 강화학습의 빌딩블록, Q-러닝, SARSA 알고리듬과 같은 가치 기반 방법을 상세히 다룬다

작가의 말

강화학습은 변화하는 요구 사항에 근거해 이상적 행동을 자동으로 결정할 수 있는 스마트한 모델과 에이전트를 만드는 인기 있고 유망한 인공지능 분야다. 이 책은 에이전트를 개발할 때 강화학습 알고리듬을 마스터하고 구현하는 것을 이해할 수 있도록 도와준다.
강화학습 환경에서 작업해야 하는 도구, 라이브러리, 셋업 소개를 시작으로 강화학습의 빌딩 블록을 다루고 Q-러닝과 SARSA 알고리듬을 응용하는 (등의) 가치 기반 메소드를 상세하게 알아본다. 복잡한 문제를 해결하기 위해 Q-러닝과 신경망의 조합을 이용하는 방법을 소개한다. DDPG와 TD3 같은 결정적 알고리듬을 학습하기 전에 성능과 안정성을 개선하기 위한 폴리시 그래디언트 메소드, TRPO, PPO를 학습할 것이다. 또한 이미테이션 학습 기술이 작동하는 방법과 DAgger가 에이전트를 훈련시키는 방법을 다룬다. 진화 전략과 블랙박스 최적화 기술을 다룬 다음, UCB와 UCB1 같은 탐색 접근법을 학습하고 ESBAS라는 메타 알고리듬을 개발해본다.
이 책을 마칠 시점에는 현실 문제를 해결하기 위해 강화학습 알고리듬을 활용할 수 있는 역량을 갖추고 강화학습 연구 모임에 참여할 수 있을 것이다

목차

1부. 알고리듬과 환경

1장. 강화학습의 개요
__강화학습 소개
______강화학습과 지도학습의 비교
____강화학습의 역사
____딥 강화학습
__강화학습의 구성 요소
____폴리시
____가치함수
____보상
____모델
__강화학습 애플리케이션
____게임
____로봇과 인더스트리 4.0
____기계학습
____경제와 금융
____헬스케어
____지능형 교통시스템
____에너지 최적화와 스마트 그리드
__요약
__질문
__심화학습 자료


2장. 강화학습 사이클과 OpenAI Gym 구현하기

__환경 설정하기
____OpenAI Gym 설치하기
____로보스쿨 설치하기
__OpenAI Gym과 강화학습 사이클
____강화학습 사이클 개발하기
____공간에 익숙해지기
____텐서플로우 2.X
________즉시 실행
________오토그래프
__텐서플로우 기반 기계학습 모델 개발
____텐서
________상수
________변수
________그래프 생성하기
____간단한 선형회귀 예제
____텐서보드 도입하기
__강화학습 환경의 유형
____왜 다른 환경인가?
____오픈소스 환경
__요약
__질문
__심화학습 자료


3장. 동적 프로그래밍DP으로 문제 해결하기
__MDP
____폴리시
____감가율과 리턴
____가치함수
____벨만 방정식
__강화학습 알고리듬 분류
____모델 프리 알고리듬
________가치 기반 알고리듬
________폴리시 그래디언트 알고리듬
________액터 크리틱 알고리듬
________하이브리드 알고리듬
____모델 기반 강화학습
____알고리듬 다양화
__DP
____폴리시 평가와 폴리시 개선
____폴리시 이터레이션
________프로즌레이크에 적용된 폴리시 이터레이션
____가치 이터레이션
________프로즌레이크에 적용한 가치 이터레이션
__요약
__질문
__심화학습 자료

2부. 모델 프리 강화학습 알고리듬

4장. Q-러닝과 SARSA 애플리케이션

__모델없이 학습하기
____사용자 경험
____폴리시 평가
____탐색 문제
________왜 탐색해야 하는가?
________탐색 방법
__시간차 학습
____시간차 업데이트
____폴리시 개선
____몬테카를로와 시간차 비교
__SARSA
____알고리듬
__Taxi-v2에 SARSA 적용하기
__Q-러닝
____이론
____알고리듬
__Taxi-v2에 Q-러닝 적용하기
____SARSA와 Q-러닝 비교
__요약
__질문

5장. Deep Q-Network

__심층신경망과 Q-러닝
____함수 근사
____신경망을 이용한 Q-러닝
____딥 Q-러닝의 불안정성
__DQN
____해결책
________리플레이 메모리
________타깃 네트워크
____DQN 알고리듬
________손실함수
________의사코드
____모델 아키텍처
__DQN을 퐁에 적용하기
____아타리 게임
____전 처리
____DQN 구현
________DNN
________경험 버퍼
________계산 그래프와 훈련 루프
____결과
__DQN 개선 알고리듬
____Double DQN
________DDQN 구현
________결과
____DQN 듀얼링하기
________듀얼링 DQN 구현
________결과
____N-스텝 DQN
________구현
________결과
__요약
__질문
__심화학습 자료

6장. 확률 기반 PG 최적화 학습

__폴리시 그래디언트 메소드
____폴리시의 그래디언트
____폴리시 그래디언트 정리
____그래디언트 계산하기
____폴리시
____온-폴리시 PG
__REINFORCE 알고리듬 이해하기
____REINFORCE 구현하기
____REINFORCE를 이용해 탐사선 착륙시키기
________결과 분석하기
__베이스라인이 있는 REINFORCE
____베이스라인으로 REINFORCE 구현하기
__AC 알고리듬 학습하기
____액터가 학습하도록 돕기 위해 크리틱 사용하기
____n-step AC 모델
____AC 구현
____AC를 사용해 탐사선spacecraft 착륙시키기
____고급 AC 팁과 트릭
__요약
__질문
__심화학습 자료

7장. TRPO와 PPO 구현

__로보스쿨
____연속 시스템 제어
__Natural Policy Gradient
____NPG에 대한 아이디어
____수학적 개념
________FIM과 KL 발산
____NG 문제
__TRPO
____TRPO 알고리듬
____TRPO 알고리듬 구현
____TRPO 애플리케이션
__Proximal Policy Optimization
____PPO의 개요
____PPO 알고리듬
____PPO의 구현
____PPO 애플리케이션
__요약
__질문
__심화학습 자료

8장. DDPG와 TD3 애플리케이션

__폴리시 그래디언트 최적화와 Q-러닝 결합하기
____결정론적 폴리시 그래디언트
____DDPG 알고리듬
____DDPG 구현
____DDPG를 BipedalWalker-v2에 적용하기
__TD3 폴리시 그래디언트
____과대평가 편향 문제 해결
________TD3의 구현
____분산 감소 해결
________지연된 폴리시 업데이트
________타깃 정규화
____BipedalWalker에 TD3를 적용하기
__요약
__질문
__심화학습 자료

3부. 모델 프리 알고리듬과 개선

9장. 모델 기반 강화학습

__모델 기반 메소드
____모델 기반 학습에 대한 폭넓은 관점
________알려진 모델
________미지의 모델
____장단점
__모델 기반 학습과 모델 프리 학습 결합하기
____모델 기반과 모델 프리 접근법의 유용한 조합
____이미지에서 모델 만들기
__역진자에 적용한 ME-TRPO 모델
____ME-TRPO 이해하기
____ME-TRPO 구현하기
____로보스쿨 실험하기
________로보스쿨 역진자 실험 결과
__요약
__질문
__심화학습 자료

10장. DAgger 알고리듬으로 모방 학습하기

__기술적 요구 사항
____Flappy Bird 설치
__모방 접근
____운전 보조 사례
____IL과 RL 비교하기
____모방 학습에서 전문가의 역할
____IL 구조
________수동 모방과 능동 모방 비교하기
__Flappy Bird 게임하기
____환경을 이용하는 방법
__데이터 집합dataset 집계 알고리듬 이해하기
____DAgger 알고리듬
____DAgger의 구현
________전문가 추론 모델 적재
________학습자의 계산 그래프 만들기
________DAgger loop 만들기
____Flappy Bird 결과 분석
__IRL
__요약
__질문
__심화학습 자료

11장. 블랙박스 최적화 알고리듬 이해하기

__강화학습의 대안
____강화학습에 대한 간단한 요약
____대안
________EAs
__EA의 핵심
____유전자 알고리듬GA
____진화 전략
________CMA-ES
________ES 대 RL
__확장 가능한 진화 전략
____핵심
________ES 병렬화하기
________다른 트릭
________의사 코드
____확장 가능한 구현
________메인 함수
________작업자
__확장 가능한 ES를 LunarLander에 적용하기
__요약
__질문
__심화학습 자료

12장. ESBAS 알고리듬 개발하기

__탐색 대 활용
____멀티 암드 밴딧
__탐색 접근법
____탐욕 전략
____UCB 알고리듬
________UCB1
____탐색 복잡도
__ESBAS
____알고리듬 선택 알아보기
____ESBAS 내부 구조
____구현
____Acrobot 실행하기
________결과
__요약
__질문
__심화학습 자료

13장. 강화학습 문제를 해결하기 위한 실제 구현
__딥 강화학습의 모범 사례
____적합한 알고리듬 선택하기
____강화학습 알고리듬 개발하기
__딥 강화학습의 도전 과제
____안정성과 재현성
____효율성
____일반화
__고급 기술
____비지도 강화학습
________내재적 보상
____전이 학습
________전이 학습의 유형
__현실에서의 강화학습
____강화학습을 현실에 적용할 때 해결해야 할 문제
____시뮬레이션과 현실 사이의 차이 줄이기
____자기만의 환경 만들기
__강화학습의 미래와 사회에 미치는 영향
__요약
__질문
__심화학습 자료

출판사 서평

★ 이 책에서 다루는 내용 ★

■ OpenAI Gym 인터페이스를 이용해 카트폴 게임을 하는 에이전트 개발
■ 모델 기반 강화학습 패러다임
■ 동적 프로그래밍으로 프로즌레이크 문제 해결
■ Q-러닝과 SARAS를 이용해 택시 게임 실행
■ 딥 Q-러닝(DQN)을 이용해 아타리 게임 실행
■ 액터 크리틱과 REINFORCE를 이용해 폴리시 그래디언트 알고리듬 학습
■ PPO와 TRPO를 연속형 로코모션 환경에 사용
■ 진화 전략을 사용한 달 착륙 문제 해결

★ 이 책의 대상 독자 ★

인공지능 엔지니어나 딥러닝 사용자가 강화학습 ... 더보기

Klover 리뷰 (0)

북로그 리뷰 (0) 쓰러가기

북로그 리뷰는 본인 인증 후 작성 가능합니다.
책이나 타인에 대해 근거 없이 비방을 하거나 타인의 명예를 훼손할 수 있는 내용은 비공개 처리 될 수 있습니다.
※ 북로그 리뷰 리워드 제공 2021. 4. 1 종료

문장수집 (0) 문장수집 쓰기 나의 독서기록 보기
※구매 후 문장수집 작성 시, 리워드를 제공합니다. 안내

교환/반품/품절안내

※ 상품 설명에 반품/교환 관련한 안내가 있는 경우 그 내용을 우선으로 합니다. (업체 사정에 따라 달라질 수 있습니다.)

교환/반품/품절안내
반품/교환방법 마이룸 > 주문관리 > 주문/배송내역 > 주문조회 > 반품/교환신청 ,
[1:1상담>반품/교환/환불] 또는 고객센터 (1544-1900)

※ 오픈마켓, 해외배송주문, 기프트 주문시 [1:1상담>반품/교환/환불]
    또는 고객센터 (1544-1900)
반품/교환가능 기간 변심반품의 경우 수령 후 7일 이내,
상품의 결함 및 계약내용과 다를 경우 문제점 발견 후 30일 이내
반품/교환비용 변심 혹은 구매착오로 인한 반품/교환은 반송료 고객 부담
반품/교환 불가 사유
  • 소비자의 책임 있는 사유로 상품 등이 손실 또는 훼손된 경우
    (단지 확인을 위한 포장 훼손은 제외)
  • 소비자의 사용, 포장 개봉에 의해 상품 등의 가치가 현저히 감소한 경우
    예) 화장품, 식품, 가전제품(악세서리 포함) 등
  • 복제가 가능한 상품 등의 포장을 훼손한 경우
    예) 음반/DVD/비디오, 소프트웨어, 만화책, 잡지, 영상 화보집
  • 소비자의 요청에 따라 개별적으로 주문 제작되는 상품의 경우 ((1)해외주문도서)
  • 디지털 컨텐츠인 eBook, 오디오북 등을 1회 이상 다운로드를 받았을 경우
  • 시간의 경과에 의해 재판매가 곤란한 정도로 가치가 현저히 감소한 경우
  • 전자상거래 등에서의 소비자보호에 관한 법률이 정하는 소비자 청약철회 제한 내용에
    해당되는 경우
(1) 해외주문도서 : 이용자의 요청에 의한 개인주문상품으로 단순변심 및 착오로 인한 취소/교환/반품 시 ‘해외주문 반품/취소 수수료’ 고객 부담 (해외주문 반품/취소 수수료 : ①서양도서-판매정가의 12%, ②일본도서-판매정가의 7%를 적용)
상품 품절 공급사(출판사) 재고 사정에 의해 품절/지연될 수 있으며, 품절 시 관련 사항에 대해서는
이메일과 문자로 안내드리겠습니다.
소비자 피해보상
환불지연에 따른 배상
  • 상품의 불량에 의한 교환, A/S, 환불, 품질보증 및 피해보상 등에 관한 사항은
    소비자분쟁해결 기준 (공정거래위원회 고시)에 준하여 처리됨
  • 대금 환불 및 환불지연에 따른 배상금 지급 조건, 절차 등은 전자상거래 등에서의
    소비자 보호에 관한 법률에 따라 처리함

이 책의 원서/번역서

안내
바로가기
  • 우측 확장형 배너 2
  • 우측 확장형 배너 2
최근 본 상품