Expert Hadoop Administration
없습니다
도서+교보Only(교보배송)을 함께 15,000원 이상 구매 시 무료배송
15,000원 미만 시 2,500원 배송비 부과
20,000원 미만 시 2,500원 배송비 부과
15,000원 미만 시 2,500원 배송비 부과
1Box 기준 : 도서 10권
알립니다.
- 해외주문도서는 고객님의 요청에 의해 주문하는 '개인 오더' 상품이기 때문에, 단순한 고객변심/착오로 인한 취소, 반품, 교환의 경우 '해외주문 반품/취소 수수료'를 부담하셔야 합니다. 이점 유의하여 주시기 바랍니다.
- 반품/취소 수수료:(1)서양도서-판매정가의 12%, (2)일본도서-판매정가의 7% (반품/취소 수수료는, 수입제반비용(FedEx수송비용, 관세사비, 보세창고료, 내륙 운송비, 통관비 등)과 재고리스크(미판매 리스크, 환차손)에 따른 비용을 포함하며, 서양도서는 판매정가의 12%, 일본도서는 판매정가의 7%가 적용됩니다.)
- 외국도서의 경우 해외제공정보로만 서비스되어 미표기가된 정보가 있을 수 있습니다. 필요한 정보가 있을경우 1:1 문의게시판 을 이용하여 주십시오.
해외주문/바로드림/제휴사주문/업체배송건의 경우 1+1 증정상품이 발송되지 않습니다.
패키지
북카드
작가정보
저자(글) Alapati, Sam R.
목차
- Foreword xxvii Preface xxix Acknowledgments xxxv About the Author xxxvii Part I: Introduction to Hadoop-Architecture and Hadoop Clusters 1 Chapter 1: Introduction to Hadoop and Its Environment 3 Hadoop-An Introduction 4 Cluster Computing and Hadoop Clusters 12 Hadoop Components and the Hadoop Ecosphere 15 What Do Hadoop Administrators Do? 18 Key Differences between Hadoop 1 and Hadoop 2 21 Distributed Data Processing: MapReduce and Spark, Hive and Pig 24 Data Integration: Apache Sqoop, Apache Flume and Apache Kafka 27 Key Areas of Hadoop Administration 28 Summary 31 Chapter 2: An Introduction to the Architecture of Hadoop 33 Distributed Computing and Hadoop 33 Hadoop Architecture 34 Data Storage-The Hadoop Distributed File System 37 Data Processing with YARN, the Hadoop Operating System 48 Summary 57 Chapter 3: Creating and Configuring a Simple Hadoop Cluster 59 Hadoop Distributions and Installation Types 60 Setting Up a Pseudo-Distributed Hadoop Cluster 62 Performing the Initial Hadoop Configuration 71 Operating the New Hadoop Cluster 86 Summary 90 Chapter 4: Planning for and Creating a Fully Distributed Cluster 91 Planning Your Hadoop Cluster 92 Going from a Single Rack to Multiple Racks 95 Creating a Multinode Cluster 102 Modifying the Hadoop Configuration 106 Starting Up the Cluster 114 Configuring Hadoop Services, Web Interfaces and Ports 119 Summary 126 Part II: Hadoop Application Frameworks 127 Chapter 5: Running Applications in a Cluster-The MapReduce Framework (and Hive and Pig) 129 The MapReduce Framework 129 Apache Hive 141 Apache Pig 144 Summary 145 Chapter 6: Running Applications in a Cluster-The Spark Framework 147 What Is Spark? 148 Why Spark? 149 The Spark Stack 153 Installing Spark 155 Spark Run Modes 158 Understanding the Cluster Managers 159 Spark and Data Access 164 Summary 167 Chapter 7: Running Spark Applications 169 The Spark Programming Model 169 Spark Applications 173 Architecture of a Spark Application 179 Running Spark Applications Interactively 181 Creating and Submitting Spark Applications 185 Configuring Spark Applications 192 Monitoring Spark Applications 194 Handling Streaming Data with Spark Streaming 194 Using Spark SQL for Handling Structured Data 198 Summary 201 Part III: Managing and Protecting Hadoop Data and High Availability 203 Chapter 8: The Role of the NameNode and How HDFS Works 205 HDFS-The Interaction between the NameNode and the DataNodes 205 Rack Awareness and Topology 209 HDFS Data Replication 212 How Clients Read and Write HDFS Data 218 Understanding HDFS Recovery Processes 224 Centralized Cache Management in HDFS 227 Hadoop Archival Storage, SSD and Memory (Heterogeneous Storage) 232 Summary 241 Chapter 9: HDFS Commands, HDFS Permissions and HDFS Storage 243 Managing HDFS through the HDFS Shell Commands 243 Using the dfsadmin Utility to Perform HDFS Operations 251 Managing HDFS Permissions and Users 255 Managing HDFS Storage 260 Rebalancing HDFS Data 267 Reclaiming HDFS Space 274 Summary 276 Chapter 10: Data Protection, File Formats and Accessing HDFS 277 Safeguarding Data 278 Data Compression 289 Hadoop File Formats 295 Using Hadoop WebHDFS and HttpFS 308 Summary 315 Chapter 11: NameNode Operations, High Availability and Federation 317 Understanding NameNode Operations 318 The Checkpointing Process 323 NameNode Safe Mode Operations 329 Configuring HDFS High Availability 334 HDFS Federation 349 Summary 351 Part IV: Moving Data, Allocating Resources, Scheduling Jobs and Security 353 Chapter 12: Moving Data Into and Out of Hadoop 355 Introduction to Hadoop Data Transfer Tools 355 Loading Data into HDFS from the Command Line 356 Copying HDFS Data between Clusters with DistCp 361 Ingesting Data from Relational Databases with Sqoop 365 Ingesting Data from External Sources with Flume 388 Ingesting Data with Kafka 398 Summary 406 Chapter 13: Resource Allocation in a Hadoop Cluster 407 Resource Allocation in Hadoop 407 The FIFO Scheduler 410 The Capacity Scheduler 411 The Fair Scheduler 426 Comparing the Capacity Scheduler and the Fair Scheduler 435 Summary 436 Chapter 14: Working with Oozie to Manage Job Workflows 437 Using Apache Oozie to Schedule Jobs 437 Oozie Architecture 439 Deploying Oozie in Your Cluster 441 Understanding Oozie Workflows 446 How Oozie Runs an Action 449 Creating an Oozie Workflow 454 Running an Oozie Workflow Job 461 Oozie Coordinators 464 Managing and Administering Oozie 470 Summary 475 Chapter 15: Securing Hadoop 477 Hadoop Security-An Overview 478 Hadoop Authentication with Kerberos 481 Hadoop Authorization 505 Auditing Hadoop 518 Securing Hadoop Data 520 Other Hadoop-Related Security Initiatives 524 Summary 525 Part V: Monitoring, Optimization and Troubleshooting 527 Chapter 16: Managing Jobs, Using Hue and Performing Routine Tasks 529 Using the YARN Commands to Manage Hadoop Jobs 530 Decommissioning and Recommissioning Nodes 535 ResourceManager High Availability 541 Performing Common Management Tasks 545 Managing the MySQL Database 548 Backing Up Important Cluster Data 551 Using Hue to Administer Your Cluster 553 Implementing Specialized HDFS Features 562 Summary 567 Chapter 17: Monitoring, Metrics and Hadoop Logging 569 Monitoring Linux Servers 570 Hadoop Metrics 576 Using Ganglia for Monitoring 579 Understanding Hadoop Logging 582 Using Hadoop's Web UIs for Monitoring 599 Monitoring Other Hadoop Components 609 Summary 610 Chapter 18: Tuning the Cluster Resources, Optimizing MapReduce Jobs and Benchmarking 611 How to Allocate YARN Memory and CPU 612 Configuring Efficient Performance 621 Tuning Map and Reduce Tasks-What the Administrator Can Do 625 Optimizing Pig and Hive Jobs 635 Benchmarking Your Cluster 638 Hadoop Counters 647 Optimizing MapReduce 652 Summary 658 Chapter 19: Configuring and Tuning Apache Spark on YARN 659 Configuring Resource Allocation for Spark on YARN 659 Dynamic Resource Allocation when Running Spark on YARN 676 Storage Formats and Compressing Data 678 Monitoring Spark Applications 681 Tuning Garbage Collection 686 Tuning Spark Streaming Applications 688 Summary 689 Chapter 20: Optimizing Spark Applications 691 Revisiting the Spark Execution Model 692 Shuffle Operations and How to Minimize Them 694 Partitioning and Parallelism (Number of Tasks) 703 Optimizing Data Serialization and Compression 710 Understanding Spark's SQL Query Optimizer 712 Caching Data 717 Summary 723 Chapter 21: Troubleshooting Hadoop-A Sampler 725 Space-Related Issues 725 Handling YARN Jobs That Are Stuck 731 JVM Memory-Allocation and Garbage-Collection Strategies 732 Handling Different Types of Failures 737 Troubleshooting Spark Jobs 739 Debugging Spark Applications 740 Summary 742 Chapter 22: Installing VirtualBox and Linux and Cloning the Virtual Machines 743 Installing Oracle VirtualBox 744 Installing Oracle Enterprise Linux 745 Cloning the Linux Server 745 Index 747
기본정보
ISBN | 9780134597195 ( 0134597192 ) |
---|---|
발행(출시)일자 | 2016년 12월 06일 |
쪽수 | 848쪽 |
크기 |
178 * 229
* 41
mm
/ 1270 g
|
총권수 | 1권 |
언어 | 영어 |
Klover
e교환권은 적립 일로부터 180일 동안 사용 가능합니다.
리워드는 작성 후 다음 날 제공되며, 발송 전 작성 시 발송 완료 후 익일 제공됩니다.
리워드는 리뷰 종류별로 구매한 아이디당 한 상품에 최초 1회 작성 건들에 대해서만 제공됩니다.
판매가 1,000원 미만 도서의 경우 리워드 지급 대상에서 제외됩니다.
일부 타인의 권리를 침해하거나 불편을 끼치는 것을 방지하기 위해 아래에 해당하는 Klover 리뷰는 별도의 통보 없이 삭제될 수 있습니다.
- 도서나 타인에 대해 근거 없이 비방을 하거나 타인의 명예를 훼손할 수 있는 리뷰
- 도서와 무관한 내용의 리뷰
- 인신공격이나 욕설, 비속어, 혐오발언이 개재된 리뷰
- 의성어나 의태어 등 내용의 의미가 없는 리뷰
리뷰는 1인이 중복으로 작성하실 수는 있지만, 평점계산은 가장 최근에 남긴 1건의 리뷰만 반영됩니다.
구매 후 리뷰 작성 시, e교환권 200원 적립
문장수집
e교환권은 적립 일로부터 180일 동안 사용 가능합니다. 리워드는 작성 후 다음 날 제공되며, 발송 전 작성 시 발송 완료 후 익일 제공됩니다.
리워드는 한 상품에 최초 1회만 제공됩니다.
주문취소/반품/절판/품절 시 리워드 대상에서 제외됩니다.
구매 후 리뷰 작성 시, e교환권 100원 적립