85°¡Áö °í±Þ ¿¹Á¦·Î ¹è¿ì´Â ÇÏµÓ ½ÇÀü ÇØ¹ý¼!
¡¶ÇÏµÓ ÀÎ ÇÁ·¢Æ¼½º¡·´Â ÇöÁ¸Çϴ å Áß ÇϵӰú °ü·ÃÇØ °¡Àå ¹æ´ëÇÑ ÁÖÁ¦¸¦ ´Ù·ç´Â Ã¥ÀÌ´Ù. ÀÌ Ã¥¿¡¼´Â Çϵӿ¡ ´ëÇÑ ±âº»ÀûÀÎ ¼Ò°³ºÎÅÍ µ¥ÀÌÅÍ À̵¿ ¹× Á÷·Äȸ¦ ´Ù·ç´Â µ¥ÀÌÅÍ ·ÎÁö½ºÆ½½º, È¿°úÀûÀÎ µ¥ÀÌÅÍ Ã³¸® ÆÐÅÏ, µ¥ÀÌÅÍ »çÀ̾ð½º, °í¼öÁØ Ãß»óÈ ¾ð¾î¸¦ ÅëÇÑ ¸Ê¸®µà½º Ȱ¿ë±îÁö ÇϵӰú °ü·ÃÇÑ ´Ù¾çÇÑ ±Ã±ÝÁõ¿¡ ´ëÇÑ ´äÀ» 85°³ÀÇ ±â¹ýÀ» ÅëÇØ ã´Â´Ù. ÀÌ Ã¥Àº ¹®Á¦/ÇØ°áÃ¥ Á¢±Ù¹ýÀ» ÅëÇØ ´©±¸µç ¿øÇÏ´Â ±Ã±ÝÁõÀ» ºü¸£°Ô ãÀ» ¼ö ÀÖ´Â ÇüÅ·ΠµÅ ÀÖÀ¸¸ç, °¢ ÁÖÁ¦¿¡ µé¾î°¡±â¿¡ ¾Õ¼ ´Ù¾çÇÑ ±×...
´õº¸±â
85°¡Áö °í±Þ ¿¹Á¦·Î ¹è¿ì´Â ÇÏµÓ ½ÇÀü ÇØ¹ý¼!
¡¶ÇÏµÓ ÀÎ ÇÁ·¢Æ¼½º¡·´Â ÇöÁ¸Çϴ å Áß ÇϵӰú °ü·ÃÇØ °¡Àå ¹æ´ëÇÑ ÁÖÁ¦¸¦ ´Ù·ç´Â Ã¥ÀÌ´Ù. ÀÌ Ã¥¿¡¼´Â Çϵӿ¡ ´ëÇÑ ±âº»ÀûÀÎ ¼Ò°³ºÎÅÍ µ¥ÀÌÅÍ À̵¿ ¹× Á÷·Äȸ¦ ´Ù·ç´Â µ¥ÀÌÅÍ ·ÎÁö½ºÆ½½º, È¿°úÀûÀÎ µ¥ÀÌÅÍ Ã³¸® ÆÐÅÏ, µ¥ÀÌÅÍ »çÀ̾ð½º, °í¼öÁØ Ãß»óÈ ¾ð¾î¸¦ ÅëÇÑ ¸Ê¸®µà½º Ȱ¿ë±îÁö ÇϵӰú °ü·ÃÇÑ ´Ù¾çÇÑ ±Ã±ÝÁõ¿¡ ´ëÇÑ ´äÀ» 85°³ÀÇ ±â¹ýÀ» ÅëÇØ ã´Â´Ù. ÀÌ Ã¥Àº ¹®Á¦/ÇØ°áÃ¥ Á¢±Ù¹ýÀ» ÅëÇØ ´©±¸µç ¿øÇÏ´Â ±Ã±ÝÁõÀ» ºü¸£°Ô ãÀ» ¼ö ÀÖ´Â ÇüÅ·ΠµÅ ÀÖÀ¸¸ç, °¢ ÁÖÁ¦¿¡ µé¾î°¡±â¿¡ ¾Õ¼ ´Ù¾çÇÑ ±×¸²°ú ¼³¸íÀ¸·Î µ¶ÀÚ°¡ ÃæºÐÈ÷ °ü·Ã ÁÖÁ¦¸¦ ÀÍÈú ¼ö ÀÖ°Ô ±¸¼ºµÅ ÀÖ´Ù.
ÀÌ Ã¥¿¡¼ ¼Ò°³ÇÏ´Â 85°³ÀÇ ±â¹ýÀº ¸ðµÎ ½ÇÀü ±â¹ýÀ» ´Ù·ç¸ç, Çö¾÷¿¡¼ ÀúÀÚ¸¦ ºñ·ÔÇÑ ¼ö¸¹Àº °³¹ßÀÚ°¡ ºÎµúÈù ´Ù¾çÇÑ ¹®Á¦¸¦ Åä´ë·Î ÇÑ´Ù. ÀÏ·Ê·Î ÀÌ Ã¥¿¡¼´Â µ¥ÀÌÅÍ ºÒ±ÕÇü(data skew)À» È¿°úÀûÀ¸·Î ÇØ°áÇÏ´Â ½ÇÀü ±â¹ý, ij½ÌÀ» Ȱ¿ëÇÑ ÃÖÀûÈµÈ Á¶ÀÎ ¹æ¹ý, LZOPÀ» Ȱ¿ëÇÑ ¾ÐÃà ¹æ¹ý, »ùÇøµÀ» Ȱ¿ëÇÑ È¿°úÀûÀÎ ¸Ê¸®µà½º ÆÄÀÌÇÁ¶óÀÎ ÃÖÀûÈ µî ½ÇÀü¿¡¼ ²À ÇÊ¿äÇÑ ÁÖÁ¦ÀÌÁö¸¸ ±âÁ¸ Ã¥¿¡¼´Â ´Ù·çÁö ¾Ê´Â ÁÖÁ¦¸¦ ¾ö¼±ÇØ ÃÖ°íÀÇ ¸ð¹ü ±â¹ý°ú ÇØ°áÃ¥À» Á¦½ÃÇÑ´Ù.
ÀÌ Ã¥À» ÅëÇØ µ¶ÀÚµéÀº ÇϵÓÀ» °¡Àå È¿°úÀûÀ¸·Î Ȱ¿ëÇÏ´Â ÃÖ°íÀÇ ¸ð¹ü ±â¹ýÀº ¹°·Ð, ´Ù¾çÇÑ »óȲ¿¡¼ ÀûÇÕÇÑ µ¥ÀÌÅÍ ÀÔÃâ·Â Çü½Ä ¹× ¾ÐÃà Çü½Ä, È¿°úÀûÀÎ ÄÚµå ÃÖÀûÈ ±â¹ý ¹× µð¹ö±ë ¹æ¹ýÀ» ÀÍÈú ¼ö ÀÖ°í, ¸ÓÇÏ¿ô, ÇÏÀ̺ê, ÇDZ×, Å©·±Ä¡Ã³·³ ÇÏµÓ »ýŰ踦 ±¸¼ºÇÏ´Â ´Ù¸¥ ÇÁ·ÎÁ§Æ®¿ÍÀÇ ¿¬µ¿ ±â¹ýµµ ÀÍÈú ¼ö ÀÖ´Ù. ¶Ç ºÎ·Ï¿¡¼´Â HDFS ³»ºÎ¿¡¼ µ¥ÀÌÅÍ Àбâ/¾²±â°¡ ¾î¶»°Ô ÁøÇàµÇ´ÂÁöµµ º¼ ¼ö ÀÖ°í, µ¥ÀÌÅÍ »çÀÌ¾ð½º Ãø¸é¿¡¼ ºò µ¥ÀÌÅ͸¦ ºÐ¼®ÇÏ´Â Á¢±Ù¹ý¿¡ ´ëÇÑ Çý¾Èµµ ¾òÀ» ¼ö ÀÖ´Ù.
ÇϵÓÀº ´ë±Ô¸ð Ŭ·¯½ºÅÍ·Î ºÐ»êµÈ µ¥ÀÌÅ͸¦ Á¶È¸ÇÏ°í ºÐ¼®ÇÒ ¼ö ÀÖ°Ô ¼³°èµÈ ¿ÀǼҽº ¸Ê¸®µà½º Ç÷§ÆûÀÌ´Ù. ƯÈ÷ ºò µ¥ÀÌÅÍ ½Ã½ºÅÛ¿¡ È¿°úÀûÀÎ ÇϵÓÀº ¾ÖÇÃ, À̺£ÀÌ, ¸µÅ©µåÀÎ, ¾ßÈÄ, ÆäÀ̽ººÏ °°Àº ±â¾÷¿¡¼ ÇÙ½ÉÀûÀÎ ¼ÒÇÁÆ®¿þ¾î¸¦ ó¸®Çϰí ÀÖ´Ù. ÇϵÓÀ» ÅëÇØ °³¹ßÀÚ´Â µ¥ÀÌÅ͸¦ Æí¸®ÇÏ°Ô ÀúÀå, °ü¸®, ºÐ¼®ÇÒ ¼ö ÀÖ´Ù.
¡¶ÇÏµÓ ÀÎ ÇÁ·¢Æ¼½º¡·¿¡¼´Â 85°³ÀÇ ½ÇÀü ¿¹Á¦¸¦ ¼öÁýÇØ À̸¦ ¹®Á¦/ÇØ°áÃ¥ ÇüÅ·Πº¸¿©ÁØ´Ù. ÀÌ Ã¥¿¡¼´Â µ¥ÀÌÅÍ Àα׷¹½º/À̱׷¹½º, Á÷·ÄÈ, LZO ¾ÐÃà °°Àº Áß¿äÇÑ ¹®Á¦¿¡ ´ëÇÑ °³³äÀû Åä´ë¸¦ ½×À» ¼ö ÀÖ°Ô ÇÏ´Â µ¿½Ã¿¡ Çö½ÇÀûÀÎ ·¹½ÃÇǸ¦ Á¦°øÇÑ´Ù. ÀÌ Ã¥¿¡¼´Â °¢ ±â¹ýÀ» ´Ü°èº°·Î »ìÆìº¸°í, À̸¦ ÅëÇØ ±¸Ã¼ÀûÀÎ ÇØ°áÃ¥°ú ´õºÒ¾î ÀÌ ÇØ°áÃ¥¿¡ Àû¿ëµÈ »ç°í ¹æ¹ýÀ» ¹è¿î´Ù. ¾Æ¿ï·¯ Ã¥¿¡¼ Á¦°øÇÏ´Â ¿¹Á¦´Â ÀÌÇØÇϱ⠽±°í, Àß ±¸Á¶ÈµÅ ÀÖ´Â ¸¸Å Á¶±Ý¸¸ ¼öÁ¤ÇØ ¾ó¸¶µçÁö ÇÊ¿äÇÑ °÷¿¡ ¹Ù·Î Ȱ¿ëÇÒ ¼öµµ ÀÖ´Ù.
¡Ú ÀÌ Ã¥¿¡¼ ´Ù·ç´Â ³»¿ë ¡Ú
¡Ý ÇÏµÓ ¹× ¸Ê¸®µà½º¿¡ ´ëÇÑ °³³äÀû ¼³¸í
¡Ý 85°³ÀÇ °ËÁõµÈ ½ÇÀü ±â¹ý
¡Ý Çö½ÇÀûÀÎ ¹®Á¦¿Í Çö½ÇÀûÀÎ ÇØ°áÃ¥
¡Ý ¸Ê¸®µà½º¿Í RÀÇ ¿¬µ¿ ¹æ¹ý
ÀÌ Ã¥¿¡¼´Â µ¶ÀÚµéÀÌ Çϵӿ¡ ´ëÇØ ±âº»ÀûÀ¸·Î ¾Ë°í ÀÖ´Ù°í °¡Á¤ÇÑ´Ù.
´Ý±â