°ú¸ñ 1. µ¥ÀÌÅÍ ¼öÁý
µ¥ÀÌÅÍ ¼öÁýÀº ºòµ¥ÀÌÅÍ ÇÁ·ÎÁ§Æ®¿¡ ÀÖ¾î¼ °¡Àå óÀ½ ´Ü°èÀÌ°í °£°úÇϱ⠽±Áö¸¸ ¸Å¿ì Áß¿äÇÑ ºÎºÐÀÌ´Ù. µ¥ÀÌÅÍ ¼öÁý¿¡¼ ºÒÇÊ¿äÇÑ µ¥ÀÌÅ͸¦ ¼öÁýÇϰųª µ¥ÀÌÅÍ Á¤ÇÕ¼ºÀÌ ¸ÂÁö ¾ÊÀ¸¸é ¼öÁý ÀÌÈÄÀÇ ÀÛ¾÷ÀÌ Àǹ̰¡ ¾ø¾îÁö±â ¶§¹®ÀÌ´Ù. ÀÌ °ú¸ñ¿¡¼´Â ¿©·¯ »óȲ¿¡¼ÀÇ µ¥ÀÌÅÍ ¼öÁýÀ» ´Ù·é´Ù.
1Àå. µ¥ÀÌÅͼöÁýÀÇ ÀÌÇØ
ºòµ¥ÀÌÅ͸¦ Ȱ¿ëÇϱâ À§Çؼ´Â ¼öÁý¤ý󸮤ýÀúÀå¤ýºÐ¼®¤ý½Ã°¢È±îÁö ÀÏ·ÃÀÇ °úÁ¤À» °ÅÄ¡°Ô µÈ´Ù. µ¥ÀÌÅÍ ¼öÁý ¿µ¿ªÀº ¸ðµç ÀÛ¾÷ÀÇ ½ÃÀÛÀÌ¸é¼ ºòµ¥ÀÌÅ͸¦ Ȱ¿ëÇϱâ À§ÇØ »ç¿ëµÇ´Â ±â¼úÀÇ °áÁ¤±îÁö ¿µÇâÀ» ¹ÌÄ£´Ù. µ¥ÀÌÅÍ ¼öÁýÀ» À§Çؼ´Â µ¥ÀÌÅÍ¿¡ ´ëÇÑ Á¤È®ÇÑ ÀÌÇØ°¡ ÇÊ¿äÇÏ´Ù. µ¥ÀÌÅÍÀÇ Á¸Àç¶ó´Â Á¸Àç·ÐÀû Ư¼º°ú ¸ñÀû·ÐÀû(´çÀ§·ÐÀû) Ư¼º¿¡ ´ëÇØ °í·ÁÇØ¾ß ÇÑ´Ù.
Á¸Àç·ÐÀû Ư¼ºÀº ÈçÈ÷ ¾Ë ¼ö ÀÖ´Â µ¥ÀÌÅÍÀÇ Á¸Àç ÇüÅ¿¡ °üÇÑ Æ¯¼ºÀ¸·Î µ¥ÀÌÅÍÀÇ ¼öÁý¹æ¹ý ¹× ±â¼úÀÇ °áÁ¤¿¡ °ü¿©ÇÏ°Ô µÇ°í, ¸ñÀû·ÐÀû Ư¼ºÀº µ¥ÀÌÅÍ ¼öÁý Àü¿¡ ¼öÁýÇÒ ÁÖü°¡ °ü½ÉÀ» °®°í ÀÖ´Â »çÇ×À̶ó Á¤ÀÇÇÒ ¼ö ÀÖ´Ù. Áï ºÐ¼®À̳ª ¼ºñ½º Ȱ¿ëÀÇ ½Ã°¢À¸·Î µ¥ÀÌÅ͸¦ ¹Ù¶óº¸¾ÒÀ» ¶§, °ü½É ÀÖ¾î ÇÏ´Â ¸ðµç ´ë»óÀÌ °´Ã¼ÈµÈ °ÍÀ̶ó ÇÒ ¼ö ÀÖ´Ù. º» Àå¿¡¼´Â µ¥ÀÌÅÍ ¼öÁýÀ» À§ÇÑ ¹æ¹ý°ú ¼öÁý¹æ¹ýº°·Î ¼öÁý ±â¼ú¿¡ ´ëÇØ ¾Ë¾Æº¸°Ú´Ù.
2Àå. µ¥ÀÌÅͼöÁý ½Ç¹«
µ¥ÀÌÅÍ ¼öÁý ½Ç¹«¿¡¼´Â Çö¾÷¿¡¼ »ç¿ëÇϰí Àְųª ¿äÁò °¡Àå ÁÖ¸ñ¹Þ°í ÀÖ´Â ¼öÁý±â¼úÀ» Àû¿ëÇØ ½ÇÁ¦·Î µ¥ÀÌÅ͸¦ ¼öÁý¤ýó¸®ÇÏ´Â °úÁ¤À» ÇнÀÇÑ´Ù. 1ÀåÀÇ µ¥ÀÌÅÍ ¼öÁýÀÇ ÀÌÇØ¿¡ ´ëÇÑ ³»¿ëÀÌ ¡®µ¥ÀÌÅÍ ¼öÁý¡¯À̶ó´Â ¸ñÀû¸¦ ÀÌ·ç±â À§ÇÑ °úÁ¤ Áß ÃÑ·ÐÀ̾ú´Ù¸é, ¾ÕÀ¸·Î ¼³¸íÇÏ´Â µ¥ÀÌÅÍ ¼öÁý ½Ç¹«´Â µ¥ÀÌÅ͸¦ ¾î¶»°Ô ¼öÁý¤ýÀÀ¿ë(ó¸®)ÇÒ ¼ö Àִ°¡¿¡ ´ëÇÑ °¢·ÐÀÌ µÉ °ÍÀÌ´Ù. µ¥ÀÌÅÍ ¼öÁýÀÇ ÀÌÇØ¸¦ ¹ÙÅÁÀ¸·Î ¼öÁý±â¼úÀ» ¾î¶»°Ô »ç¿ëÇÏ´ÂÁö ¾Ë¾Æº¸µµ·Ï ÇÏÀÚ.
°ú¸ñ 2. µ¥ÀÌÅÍ ÀúÀå
ºòµ¥ÀÌÅÍÀÇ ¿©·¯ ºÐ¾ß¿¡¼ ´Ù¾çÇÑ ¿ÀǼҽºµéÀÌ Á¸ÀçÇÏÁö¸¸ ÀϹÝÀûÀÎ ºòµ¥ÀÌÅÍ ÀúÀå¿¡¼´Â Hadoop(HDFS)ÀÌ µ¶º¸ÀûÀÎ À§Ä¡¸¦ Â÷ÁöÇϰí ÀÖ´Ù. ÀÌ °ú¸ñ¿¡¼´Â ÀÌ¿¡ ´ëÇØ¼ ÁßÁ¡ÀûÀ¸·Î ´Ù·ç°í ºü¸¥ Á¶È¸¿Í °°Àº ƯÁ¤ »óȲ¿¡¼ ±âÁ¸ RDBMS·Î ó¸®Çϱâ Èûµç ¿µ¿ªÀ» À§ÇØ ¸¸µé¾îÁø NoSQLÀ» Ãß°¡·Î ´Ù·é´Ù.
1Àå. ºÐ»êÆÄÀϽýºÅÛ
Æø¹ßÀûÀ¸·Î Áõ°¡ÇÏ´Â µ¥ÀÌÅ͸¦ ó¸®Çϰí ÀúÀåÇÒ ¼ö ÀÖ´Â ÇÏµÓ ºÐ»ê ÆÄÀϽýºÅÛÀÇ Á߿伺Àº ½Ã°£ÀÌ Áö³¯¼ö·Ï Á¡Á¡ ³ô¾ÆÁö°í ÀÖÀ¸¸é, ÀÌÁ¦´Â ´ë±â¾÷»Ó¸¸ ¾Æ´Ï¶ó Áß¼Ò, º¥Ã³ ±â¾÷¿¡¼Á¶Â÷ ÇϵÓÀº ÇʼöÀûÀÎ ½Ã½ºÅÛÀÌ µÇ¾î°¡°í ÀÖ´Ù.
º» Àå¿¡¼´Â ÇÏµÓ ºÐ»êÆÄÀÏ ½Ã½ºÅÛÀÇ °³¿ä¿Í ´õºÒ¾î ³»ºÎ ±¸¼º ¾ÆÅ°ÅØÃ³, µ¿ÀÛ ¹æ½Ä, ±×¸®°í API¸¦ ÀÌ¿ëÇÑ ÆÄÀÏ ÀÔÃâ·Â ó¸® ¹æ¹ýÀ» ¼Ò°³ÇÑ´Ù. ½Ç¹«ÀûÀ¸·Î ±â¾÷ ¾÷¹« ȯ°æ¿¡¼ ÇÏµÓ ºÐ»ê ÆÄÀϽýºÅÛÀ» ¾î¶»°Ô Ȱ¿ëÇÒ ¼ö ÀÖÀ»Áö¸¦ ÀÌÇØÇÒ ¼ö ÀÖµµ·Ï ³»¿ëÀ» ±¸¼ºÇÏ¿´´Ù.
2Àå. ºÐ»êµ¥ÀÌÅͺ£À̽º
(NoSQL) NoSQL °³¿ä¿Í ´õºÒ¾î HBase, MongoDBÀÇ ¾ÆÅ°ÅØÃ³ ¹× Ȱ¿ë »ç·Ê¸¦ ¼Ò°³ÇÑ´Ù. ´ë·®ÀÇ µ¥ÀÌÅ͸¦ ½Å¼ÓÇÏ°Ô Ã³¸®Çϰí ÀúÀåÇϴµ¥ ÀÖ¾î NoSQLÀÌ ÇʼöÀûÀ̸ç, ½Ã°£ÀÌ È带¼ö·Ï ±× Á߿伺Àº ³ô¾ÆÁö°í ÀÖ´Ù. ÆäÀ̽ººÏ°ú Æ®À§Å͸¦ ºñ·ÔÇÑ ¼ö¸¹Àº ±Û·Î¹ú ±â¾÷¿¡¼ ´Ù¾çÇÑ ÇüÅ·ΠNoSQL Ȱ¿ë »ç·Ê¸¦ ´Ã·Á°¡°í ÀÖÀ¸¸ç, ±¹³»¿¡¼µµ Ȱ¿ëÇÏ´Â ±â¾÷µéÀÌ Á¡Á¡ ´Ã¾î³ª°í ÀÖ´Ù.
MongoDB¿Í HBase ¿ÜÀÇ ´Ù¸¥ NoSQLµµ ÇнÀÇØ °¡¸é¼ ¼·Î ºñ±³¸¦ ÇØ º»´Ù¸é ÇâÈÄ NoSQL µµÀÔ ½Ã ÀûÇÕÇÑ µµ±¸¸¦ ¼±ÅÃÇÒ ¼ö ÀÖÀ» °ÍÀÌ´Ù.
3Àå. Àθ޸𸮠µ¥ÀÌÅÍ ÀúÀå
ºòµ¥ÀÌÅÍÀÇ ½Ã´ë°¡ µµ·¡ÇÔ¿¡ µû¶ó ´ë·® µ¥ÀÌÅÍÀÇ ºü¸¥ ÀúÀå¤ý󸮰¡ Á¤º¸½Ã½ºÅÛÀÇ °æÀï·ÂÀÌ µÇ¾ú´Ù. ƯÈ÷ ½Ç½Ã°£À¸·Î µ¥ÀÌÅ͸¦ ó¸®ÇØ¾ß µÇ´Â °æ¿ì, ½ºÅ丮Áö¿¡¼ µ¥ÀÌÅ͸¦ ó¸®ÇÏ´Â ÀüÅëÀûÀÎ DBMSÀÇ Ã³¸® ¹æ¹ýÀº ±Ùº»Àû ÇѰ踦 °®°Ô µÈ´Ù. óÀ½ Àθ޸𸮠DB°¡ ±× ÇѰ踦 ±Øº¹Çϱâ À§ÇØ ´ë¾ÈÀ¸·Î µîÀåÇÏ¿´Áö¸¸ ¼º´É°ú ¾ÈÁ¤¼º ¹®Á¦¿¡¼ ¸¹Àº ½ÃÇàÂø¿À¸¦ °Þ¾î ¿Ô´Ù.
ÇöÀçµµ Àθ޸𸮠DB¿¡ ´ëÇÑ ³í¶õÀÌ Á¸ÀçÇÏÁö¸¸ ÀÌ´Â DBÀÚüÀÇ ¹®Á¦ º¸´Ù´Â ¾ÆÅ°ÅØÃ³ ±¸¼º°ú ¿î¿µÀÇ ¹®Á¦ÀÏ »ÓÀÌ´Ù. º» Àå¿¡¼´Â ÇöÀç ´Ù¼öÀÇ ±Û·Î¹ú ±â¾÷¿¡¼ »ç¿ë ÁßÀÎ ·¹µð½º¿¡ ´ëÇØ ¾Ë¾Æº¸°Ú´Ù.
4Àå. Oozie
¿ìÁö´Â ÇÏµÓ (Hadoop) ȯ°æ¿¡¼ º¹ÀâÇÑ ÀÛ¾÷ÀÇ È帧(workflow)À» °ü¸®ÇØ ÁÖ´Â °ÍÀ̹ǷΠÃÖ»óÃþÀÇ ÀÀ¿ë¼Ö·ç¼ÇÀ̶ó ÇÒ ¼ö ÀÖ´Ù. µû¶ó¼ ÇÏµÓ ¹× °ü·Ã ¿¡ÄڽýºÅÛ¿¡ ´ëÇÑ ±âº» °³³äÀÇ ÀÌÇØ°¡ ÇÊ¿äÇÏ´Ù. ³ª¾Æ°¡ ¸®´ª½º ȯ°æ ƯÈ÷ job °ü¸®¿¡ Ä£¼÷ÇÏ´Ù¸é job ½ºÄÉÁ층À» ÀÌÇØÇϴµ¥ µµ¿òÀÌ µÈ´Ù.
°ú¸ñ 3. µ¥ÀÌÅÍ Ã³¸®
ºòµ¥ÀÌÅÍ Ãʱ⿡´Â MapReduce¸¦ ÀÌ¿ëÇÏ¿© Å« µ¥ÀÌÅ͸¦ ó¸®ÇÏ´Â °ÍÀÌ À¯ÀÏÇÑ ¸ñÇ¥¿´Áö¸¸ °³¹ßÀÇ ÆíÀǼºÀ» À§Çؼ SQLÇüŸ¦ »ç¿ëÇÏ°Ô µÇ¾ú°í, ´õ ºü¸¥ 󸮸¦ À§Çؼ SQL-On-HadoopÀÌ µîÀåÇÏ¿´´Ù. ¶ÇÇÑ ÃÖ±Ù¿¡´Â ¹èġó¸® ´ë½Å ½Ç½Ã°£ 󸮸¦ À§ÇÑ ¿ÀǼҽº°¡ µîÀåÇÏ°Ô µÇ¾ú´Ù. ÀÌ °ú¸ñ¿¡¼´Â ¾Õ¼ ¾ð±ÞÇÑ ´Ù¾çÇÑ µ¥ÀÌÅÍ Ã³¸®¿¡ °ü·ÃµÈ ¿ÀǼҽºµéÀ» ¼³¸íÇÑ´Ù.
1Àå. ºÐ»êº´·Ä¹èġó¸®
½º¸¶Æ®Æù?SNS?»ç¹°Åë½Å¸Á È®»ê µîÀ¸·Î ¾öû³ ¾çÀÇ µ¥ÀÌÅͰ¡ »ý»ê?À¯Åë?°øÀ¯µÇ´Â ºòµ¥ÀÌÅÍ ½Ã´ë¿¡ ÁøÀÔÇÏ¸é¼ ´Ù¾çÇÑ ¼Ó¼ºÀ» °¡Áø °¡Áø µ¥ÀÌÅ͸¦ ó¸® Çϱâ À§ÇÑ »õ·Î¿î ¹æ¹ýÀÌ ¿ä±¸ µÇ¾ú´Ù. ÀÌ¿¡ ¸Ê¸®µà½º(MapReduce)°¡ µîÀåÇÏ°Ô µÇ¾ú´Ù. ¸Ê¸®µà½ºÀÇ Ãâ¹ßÀº ¾ÆÁÖ ´Ü¼øÇÏ´Ù. ÇÔ¼öÇü ¾ð¾îÀÎ Map°ú Reduce¶ó´Â ÇÔ¼ö¸¦ ±â¹ÝÀ¸·Î ±¸ÇöµÈ´Ù. ±¸±ÛÀº À̸¦ ÇÁ·¹ÀÓ¿öÅ©·Î °³¹ßÇØ ?MapReduce : Simplified Data Processing on Large Clusters?¶ó´Â ³í¹®°ú ÇÔ²² ¹ßÇ¥Çß´Ù. ÀÌ Àå¿¡¼´Â ºòµ¥ÀÌÅÍ Ã³¸®ÀÇ ±âº»ÀÎ ¸Ê¸®µà½ºÀÇ °³³ä ¹× ¾ÆÅ°ÅØÃ³ ±×¸®°í ¸Ê¸®µà½º°¡ »ç¿ëµÇ´Â ȯ°æ¿¡ ´ëÇØ¼ »ìÆìº¸°í ÇϵÓÀÇ Â÷¼¼´ë ÀÚ¿ø °ü¸®ÀÚ·Î °¢±¤¹Þ°í ÀÖ´Â YARNÀÇ ¼³Ä¡¹æ¹ý ¹× ±¸¼ºµÈ ÄÄÆ÷³ÍÆ®¸¦ ÅëÇÑ »ç¿ë¹æ¹ý¿¡ ´ëÇÏ¿© ¼³¸íÇϰڴÙ.
2Àå. SQL On Hadoop
¸Ê¸®µà½º´Â ÃæºÐÈ÷ °·ÂÇÑ ºÐ»ê ó¸® ¹æ¹ýÀÌÁö¸¸, ±âÁ¸ÀÇ º¹ÀâÇÑ ºñÁî´Ï½º ·ÎÁ÷À» ÀüºÎ ¸Ê¸®µà½º·Î ±¸ÇöÇϱ⿡´Â ½Ã°£°ú ÀÚ¿øÀÌ ¸¹ÀÌ ¼Ò¿äµÈ´Ù. ±×·¡¼ ±âÁ¸ ½Ã½ºÅÛ¿¡¼ ÁÖ·Î »ç¿ëÇÑ SQL Çü½ÄÀ¸·Î ÇϵÓÀÇ µ¥ÀÌÅ͸¦ ºÐ»ê ó¸®ÇÒ ¼ö ÀÖ´Â SQL-On-HadoopÀÌ ÁÖ¸ñ¹Þ°í ÀÖ´Ù. SQL-On-HadoopÀº SQL Çü½ÄÀ¸·Î µÇ¾î Àֱ⠶§¹®¿¡ ±âÁ¸ RDBMS¿ÍÀÇ Â÷ÀÌÁ¡°ú UDF ±¸Çö ¹æ¹ý µî¸¸ ÇнÀÇÏ¸é µÈ´Ù. ´Ü, °¢ ¿ÀǼҽº¸¶´Ù Áö¿øÇÏ´Â ±â´É°ú Äõ¸®º° ¼º´ÉÀÌ ´Ù¸£±â ¶§¹®¿¡ óÀ½ ½Ã½ºÅÛ µµÀԽà Àß °í·ÁÇØ¾ß ÇÑ´Ù.
À̹ø Àå¿¡¼´Â SQL-On-Hadoop¿¡¼ °¡Àå ´ëÇ¥ÀûÀÎ ÇÏÀ̺꿡 ´ëÇØ ÀÚ¼¼È÷ ¾Ë¾Æº¸°í, ½Ç½Ã°£ Äõ¸®°¡ °¡´ÉÇÑ Â÷¼¼´ë SQL-On-Hadoop Áß¿¡ ´ëÇ¥ÀûÀÎ ¿ÀǼҽº ¸î °¡Áö¿Í »ç¿ë¹ýÀ» ¾Ë¾Æ º¸°Ú´Ù.
3Àå. ½ºÆ®¸®¹Ö µ¥ÀÌÅÍ Ã³¸®
ÇϵÓÀÌ º¸Æíȵʿ¡ µû¶ó ´ë¿ë·® µ¥ÀÌÅ͸¦ ó¸®ÇÏ´Â °Í¸¸À¸·Î´Â ºÎÁ·ÇÔÀ» ´À³¢°Ô µÇ¾ú´Ù. ±×·¡¼ ½Ç½Ã°£ Äõ¸®¿Í °°ÀÌ ´ë¿ë·® µ¥ÀÌÅ͸¦ ó¸®Ç쵂 °¡´ÉÇÑ ºü¸£°Ô ó¸®ÇÏ·Á´Â ³ë·ÂÀ» Çϰí ÀÖ°í °Å±â¿¡ ´õÇØ µ¥ÀÌÅ͸¦ ½Ç½Ã°£À¸·Î ¹Þ¾Æ ó¸®ÇÏ´Â ½ºÆ®¸®¹Ö µ¥ÀÌÅÍ Ã³¸®¿¡ ´ëÇÑ ±â¼úÀÌ ÁÖ¸ñ ¹Þ°í ÀÖ´Ù.
½ÇÁ¦·Î ¿ÃÇØºÎÅÍ ½ºÆ®¸®¹Ö 󸮿¡ ´ëÇÑ Çö¾÷µéÀÇ ¿ä°ÇÀ̳ª ÇÁ·ÎÁ§Æ®°¡ »ý±â°í ÀÖ´Ù. ±×·±µ¥ ½ºÆ®¸®¹Ö 󸮴 ±¸Çöº¸´Ùµµ ¹«Áß´ÜÀÌ °¡Àå Å« À̽´ÀÌ´Ù. ±×·¸±â ¶§¹®¿¡ ½Ç½À¸¸ ÇÏ´Â °Íº¸´Ù´Â ½ÇÁ¦ Çö¾÷¿¡¼ »ç¿ëÇÏ¸é¼ ¿î¿µ ³ëÇϿ츦 ½×¾Æ°¡¾ß ÁøÂ¥ ÇÊ¿äÇÑ °ÍÀ» ¹è¿ï ¼ö ÀÖ´Ù. ¶ÇÇÑ, Ç÷³, Ä«ÇÁÄ«¿Í °°ÀÌ ÀÎDz µ¥ÀÌÅÍ ¼Ò½º¿Í RDBMS, HDFS, NoSQL°ú °°ÀÌ µ¥ÀÌÅÍ ÀúÀå¼Ò¿Íµµ ¿¬µ¿À» ÇØ¾ß Çϱ⠶§¹®¿¡ Ãß°¡·Î ÇнÀÇØ¾ß ÇÒ ºÎºÐÀÌ ¸¹´Ù. À̹ø Àå¿¡¼´Â ºòµ¥ÀÌÅÍ ½ºÆ®¸®¹Ö ó¸®ÀÇ ´ëÇ¥ÀûÀÎ µÎ °¡Áö ¿ÀǼҽº¿¡ ´ëÇØ ¾Ë¾Æ º¸µµ·Ï ÇϰڴÙ.
°ú¸ñ 4. µ¥ÀÌÅÍ ºÐ¼®
µ¥ÀÌÅÍÀÇ »çÀÌÁî°¡ Å©°Ç ÀÛ°Ç °á±¹¿¡´Â ºÐ¼®À» ÇØ¾ß ±× µ¿¾È ¼öÇàÇØ¿Â ÀÛ¾÷¿¡ ´ëÇÑ Àǹ̰¡ »ý±ä´Ù. ÀÌ¿¡ ºòµ¥ÀÌÅ͸¦ ó¸®ÇÒ ¼ö ÀÖ´Â ¿ÀǼҽº¸¦ ¾Ë¾Æº¸°í, ´Ù¾çÇÑ ºÐ¼®À» ÇÒ ¼ö ÀÖ´Â ¿ÀǼҽºÀÎ RÀ» ´Ù·é´Ù.
1Àå. ±â°èÇнÀ
ÃÖ±Ù µé¾î °¢±¤¹Þ°í ÀÖ´Â ºòµ¥ÀÌÅÍ ºÐ¼® ±â¼úµéÀ» ¼Ò°³ÇÑ´Ù.
´ëÇ¥ÀûÀÎ ºòµ¥ÀÌÅÍ ±â°èÇнÀ ¶óÀ̺귯¸®ÀÎ ¸ÓÇÏ¿ô(Mahout)Àº ÇϵÓ(Hadoop)ÀÇ ¸Ê¸®µà½º (MapReduce) ±â¹Ý ÇÏ¿¡ 󸮤ý°è»êµÇ±â ¶§¹®¿¡ ±âÁ¸ÀÇ R °°Àº ºÐ¼® µµ±¸·Î´Â ºÐ¼®ÀÌ ºÒ°¡´ÉÇÑ ´ë¿ë·® µ¥ÀÌÅÍ¿¡µµ º¹ÀâÇÑ ºÐ¼® ¾Ë°í¸®ÁòÀ» Àû¿ëÇÒ ¼ö ÀÖ´Ù. ÇÏÁö¸¸ ¸Ê¸®µà½º´Â ¹Ýº¹ÀûÀÎ µð½ºÅ© ¾²±â¿Í °°Àº ¼Óµµ ÀúÇÏÀÇ ¿äÀεéÀÌ ÀÖÀ¸¹Ç·Î ÀÌ·¯ÇÑ ÀÛ¾÷µéÀº ¸Þ¸ð¸®¸¦ »ç¿ëÇÏ´Â ½ºÆÄÅ©(Spark) MLlib¸¦ Ȱ¿ëÇÏ¿© ÈξÀ ºü¸£°Ô °á°ú¸¦ ¾òÀ» ¼ö ÀÖ´Ù.
ÃÖ±Ù ºòµ¥ÀÌÅÍ ºÐ¼®ÀÌ ¿ö³« À̽´°¡ µÇ°í ÀÖ´Ùº¸´Ï °ü·Ã ¿ÀǼҽºµéµµ ¼·Î ¿µÇâÀ» ÁÖ°í ¹ÞÀ¸¸ç ºü¸£°Ô º¯ÈÇÏ´Â Ãß¼¼ÀÌ´Ù. Mahout, Spark MLlib, H2O, Oryx2.0 µî ¸¹Àº ±â¼úµéÀÌ °æÀïÇϰí ÀÖÀ¸¹Ç·Î ÃßÀ̸¦ °ü½ÉÀÖ°Ô ÁöÄѺ¼ Çʿ䰡 ÀÖ´Ù.
2Àå. Åë°èºÐ¼®
ºòµ¥ÀÌÅÍ´Â HadoopÀ» ÀÌ¿ëÇÑ µ¥ÀÌÅÍ Ã³¸®¿Í R µîÀ» Ȱ¿ëÇÑ ºÐ¼®À̶ó´Â µÎ ¾ó±¼À» °¡Áø´Ù. ±×·±µ¥ À̵éÀº º°°³·Î Á¸ÀçÇÏ´Â °ÍÀÌ ¾Æ´Ï¶ó °ü·Ã Àü¹®°¡µéÀÌ °øµ¿ÀÛ¾÷ (cowork ³»Áö collaboration)À» ÇÔÀ¸·Î¼¸¸ ¼Ò±âÀÇ ¸ñÀûÀ» ´Þ¼ºÇÒ ¼ö ÀÖ´Ù. µ¥ÀÌÅͰ¡ °¡Áø ÀÇ¹Ì¿Í ±× ÇѰ踦 ¾î¶»°Ô ÇØ¼®ÇÏ´À³Ä¿¡ ÇÁ·ÎÁ§Æ®ÀÇ ¼ºÆÐ°¡ ´Þ¸± ¼ö Àֱ⠶§¹®ÀÌ´Ù.
ÇÑÆí Åë°èÀ̷аú ±â¹ýÀº ±× ÀÚü·Îµµ ¾ö¹Ð¼ºÀ» È®º¸ÇØ ÁÙ»Ó´õ·¯ ´Ù¾çÇÑ ¸¶ÀÌ´× ¾Ë°í¸®Áò Àû¿ë¿¡¼µµ ÇÙ½ÉÀû °³³äÀ» Á¦°øÇØÁØ´Ù.
ÀÌ ±Û¿¡¼´Â ±âÃÊÅë°è ÀÌ·Ð Áß¿¡¼´Â ±â¼úÅë°è¸¦ Á¦¿ÜÇÑ ÃßÁ¤°ú °¡¼³°ËÁ¤ ¹× ºÐ»êºÐ¼® µîÀ» ´Ù·ç°í °í±ÞÅë°èÀÌ·Ð Áß¿¡¼´Â ƯÈ÷ ´Ùº¯·® ºÐ¼®¿¡ ´ëÇØ R ÆÐŰÁö¸¦ Áß½ÉÀ¸·Î »ìÆìº»´Ù.
°ú¸ñ 5. µ¥ÀÌÅÍ ¿î¿µ°ü¸®
ÀÌÀü °ú¸ñ¿¡¼ µ¥ÀÌÅÍ ¼öÁý->ÀúÀå->ó¸®->ºÐ¼® °¢ ´Ü°è¿¡ ´ëÇÑ ³»¿ëÀ» ¸ðµÎ ´Ù·ç¾ú´Ù. ¸¶Áö¸·À¸·Î ½ÇÁ¦ ȯ°æ¿¡ Àû¿ë À§Çؼ °¢ ´Ü°è¿¡¼ °í·ÁÇØ¾ß ÇÒ ¿î¿µÀûÀÎ Ãø¸éÀ» ´Ù·é´Ù.
1Àå. ºÐ¼®½Ã½ºÅÛ°ü¸®
±â¾÷ÀÇ ºñÁî´Ï½º ¿µ¿ª¿¡¼ µµÃâµÈ ´Ù¾çÇÑ ºÐ¼® °úÁ¦µéÀ» Á¦ÇÑµÈ ÀÚ¿ø ³»¿¡¼ È¿°úÀûÀ¸·Î ¼öÇàÇϱâ À§ÇØ ¿ì¼±¼øÀ§¸¦ Æò°¡Çϰí, Æò°¡ °á°ú¿¡ µû¸¥ ´Ü°èÀû ±¸Çö ·Îµå¸Ê ¼ö¸³À» ÀÌÇØÇÑ´Ù. ºÐ¼® ½Ã½ºÅÛ¿¡¼ Àå¾Ö°¡ ¹ß»ýÇßÀ» ¶§ À¯ÇüÀ» ºÐ¼®Çϰí, µî±ÞÀ» ºÐ·ùÇØ ¿ì¼±¼øÀ§¸¦ Á¤ÇÏ´Â ¹æ¹ýÀ» ¾Ë¾Æº»´Ù. µ¥ÀÌÅ͸¦ ºÐ¼®Çϱâ À§ÇØ ¿ä±¸µÇ´Â ºÐ¼® ¼öÁØ¿¡ ´ëÇÑ Áø´Ü ¹æ¹ý°ú ºÐ¼® Á¶Á÷ ¹× Àη ±¸¼º, ±â¾÷ ³» ºÐ¼® ¹®È¸¦ Á¤Âø¤ýÈ®»êÇϱâ À§ÇÑ º¯È°ü¸® µî Àü¹ÝÀûÀÎ ºÐ¼® °Å¹ö³Í½º ü°è¸¦ ÀÌÇØÇÑ´Ù. ±â¾÷ ³»¿¡¼ µ¥ÀÌÅÍ ºÐ¼® ÇÁ·Î¼¼½º¸¦ ¼ö¸³Çϱâ À§ÇÑ °úÁ¤À» ¾Ë¾Æº»´Ù.
ºÐ¼® °úÁ¦ÀÇ ¿ì¼±¼øÀ§ ¼±Á¤À» À§ÇÑ Æò°¡¹æ¹ý ¹× ÀýÂ÷, ¿ì¼±¼øÀ§ Æò°¡±âÁØ¿¡ ´ëÇØ ¼³¸íÇÑ´Ù. Æò°¡°á°ú¸¦ Åä´ë·Î ºÐ¼® °úÁ¦ÀÇ ´Ü°èÀû ·Îµå¸Ê°ú ¼¼ºÎ ÀÏÁ¤°èȹÀ» ¼ö¸³ÇÏ´Â ¹æ¹ý¿¡ ´ëÇØ ¼³¸íÇÑ´Ù. Æò°¡°á°ú¸¦ Åä´ë·Î ºÐ¼® °úÁ¦ÀÇ ´Ü°èÀû ±¸Çö ·Îµå¸Ê ¹× ¼¼ºÎ ÀÏÁ¤°èȹÀ» ¼ö¸³ÇÏ´Â ¹æ¹ý¿¡ ´ëÇØ ¾Ë¾Æº»´Ù. ºÐ¼® ½Ã½ºÅÛ¿¡¼ ¹ß»ýÇÑ Àå¾ÖÀÇ º¹±¸ ¿ì¼±¼øÀ§¸¦ Á¤ÇÏ´Â ¹æ¹ý¿¡ ´ëÇØ ¾Ë¾Æº»´Ù. ºÐ¼® °Å¹ö³Í½º ü°è ¼ö¸³À» À§ÇÑ ºÐ¼® Áغñµµ ¹× ºÐ¼® ¼º¼÷µµ µî ºÐ¼® ¼öÁØÁø´Ü ÇÁ·¹ÀÓ¿öÅ©¸¦ ¾Ë¾Æº¸°í, ºÐ¼® Á¶Á÷ À¯Çü°ú ºÐ¼® Àη ±¸¼º¹æ¾È, ±³À° ¹× º¯È°ü¸® ¹æ¾È ¼øÀ¸·Î ±¸¼ºÇß´Ù. µ¥ÀÌÅÍ ºÐ¼®À» Çϱâ À§ÇÑ ÇÁ·Î¼¼½º¸¦ ´Ü°èº°·Î ³ª´©¾î ¼øÇà ÁØ°Å¿Í °í·Á»çÇ×, ÀÚ·á ¹× °ü·Ã ¼·ù¸¦ Á¦½ÃÇÔÀ¸·Î ÀüüÀûÀÎ Á¢±Ù ¹æ¹ýÀ» ¼Ò°³ÇÑ´Ù.
2Àå. ¿ë·®/ºñ¿ë °ü¸®
ºÐ¼® ½Ã½ºÅÛÀ» ÅëÇØ ºòµ¥ÀÌÅ͸¦ ¿î¿µ¤ý°ü¸®Çϱâ À§Çؼ´Â ¿ë·®°ú ºñ¿ë °èȹÀº ÇʼöÀûÀ¸·Î Á¸ÀçÇØ¾ß ÇÑ´Ù. ¸¸ÀÏ ¿ë·®°ú ºñ¿ë °èȹÀÌ ¹Ù¸£°Ô »êÃâµÇÁö ¾ÊÀ¸¸é, ¿øÈ°ÇÑ ¼ºñ½º Á¦°øÀÌ Èûµé°Ô µÅ ºñÁî´Ï½º¿¡ Ä¿´Ù¶õ ¼Õ½ÇÀ» ºÒ·¯¿Ã ¼ö ÀÖ´Ù. µû¶ó¼ ÀÌ Àå¿¡¼´Â ºÐ¼® ½Ã½ºÅÛ¿¡ ´ëÇØ ¾Ë¾Æº¸°í, ºÐ¼® ½Ã½ºÅÛ¿¡ ÀûÁ¤ÇÑ ¿ë·®À» »êÃâÇϴµ¥ ÀÖ¾î¼ °í·ÁÇØ¾ß ÇÏ´Â ¿ë·® °èȹ¿¡ ´ëÇØ ÇнÀÇÑ´Ù. ¶ÇÇÑ ºÐ¼® ½Ã½ºÅÛÀ» ¿î¿µÇØ ºòµ¥ÀÌÅ͸¦ °ü¸®Çϱâ À§ÇÑ µµ±¸¿¡ ´ëÇØ ¾Ë¾Æº¸°í, ¹æ½Ä¿¡ ´ëÇØ ÇнÀÇÑ´Ù. ÀÌ·± ¹æ½ÄÀ» ¿î¿µÇÒ ¶§ °í·ÁÇØ¾ß ÇÏ´Â ºñ¿ë »êÃâ Ç׸ñ¿¡ ´ëÇØ È®ÀÎÇØ º¸°í ÀûÁ¤ÇÑ ¿î¿µºñ¿ëÀ» »êÃâÇÏ´Â ¿î¿µºñ¿ë °èȹ¿¡ ´ëÇØ ¾Ë¾Æ º»´Ù. ÀÌ ÀåÀ» ÇнÀÇÔÀ¸·Î½á ÀûÁ¤ÇÑ ¼öÁØ¿¡¼ÀÇ ÃÖÀûÀÇ ºñ¿ëÀ¸·Î ºòµ¥ÀÌÅÍ ºÐ¼® ½Ã½ºÅÛÀ» ¿î¿µÇÏ´Â ¹æ¹ý¿¡ ´ëÇØ ¾Ë ¼ö ÀÖ´Ù
3Àå. º¸¾È°ü¸®
¿ì¸® »çȸ´Â Áö½Ä Á¤º¸ »çȸ·Î ºü¸£°Ô º¯ÈÇϰí ÀÖ¾î¼ ±â¾÷°ú °³ÀÎÀÇ Á¤º¸ ¼ö¿ä´Â Æø¹ßÀûÀ¸·Î Áõ°¡Çϰí ÀÖ´Ù. °³ÀÎÀº ¹°·ÐÀÌ°í ±â¾÷À̳ª Á¤ºÎ±â°ü¿¡ À̸£±â±îÁö ´õ ÀÌ»ó IT¿Í Á¤º¸½Ã½ºÅÛÀÇ µµ¿ò ¾øÀÌ´Â º»¿¬ÀÇ ¸ñÀûÀ» ´Þ¼ºÇÒ ¼ö ¾ø´Â »óȲ¿¡ À̸£·¶´Ù. ±×·¯³ª ±ÞÁõÇϰí ÀÖ´Â Á¤º¸ ¼ö¿ä¸¸ÅÀ̳ª ÀÌ¿¡ ´ëÇÑ À§ÇùÀ̳ª Ä§ÇØ »ç°í ¶ÇÇÑ µ¿¹Ý »ó½ÂÇÏ´Â Ãß¼¼ÀÌ´Ù. µ¥ÀÌÅͺ£À̽º¿¡ ÀúÀåµÈ Á¤º¸¸¦ ºÒ¹ýÀûÀ¸·Î Á¢±Ù ¶Ç´Â À¯ÃâÇØ »çȸÀû È¥¶õ°ú ÆÄÀåÀ» ¾ß±âÇϰųª, ÇãÀ§ Á¤º¸³ª ¸í·ÉÀÇ ÀÔ·Â, ¶Ç´Â ÆÄ¼Õ µî°ú °°Àº ÇàÀ§·Î µ¥ÀÌÅͺ£À̽º ½Ã½ºÅÛÀÇ Á¤´çÇÑ »ç¿ë ¸ñÀûÀ» ÀúÇØÇÏ°í ±â¾÷°ú °³ÀÎ ¸ðµÎ¿¡°Ô ½É´ëÇÑ ÇÇÇØ¸¦ ÀÔÈ÷´Â ÇàÀ§ ¶ÇÇÑ ÇØ¸¶´Ù ±ÞÁõÇϰí ÀÖ´Ù. ´õ±¸³ª ½º¸¶Æ® ¹Ìµð¾î°¡ ´ëÁßÀûÀ¸·Î È®»êµÇ°í ¸ð¹ÙÀÏ ¿ÀÇǽº°¡ ºü¸£°Ô µµÀԵʿ¡ µû¶ó ÀÌÁ¦´Â PC ȯ°æ¿¡¼ ³ªÅ¸³µ´ø º¸¾È À§ÇùÀÌ ½º¸¶Æ® ¹Ìµð¾î ȯ°æÀ¸·Î À̵¿ÇØ ±×µéÀ» ÅëÇÑ Á¤º¸À¯Ãâ À§Çù±îÁö ÇÔ²² Áõ°¡Çϰí ÀÖ´Â Çö½ÇÀÌ´Ù. ÃÖ±Ù ±¹³»¿¡¼ ¸Å¿ì ¸¹Àº »ç¶÷µéÀÇ °³ÀÎÁ¤º¸°¡ À¯ÃâµÇ´Â ½É°¢ÇÑ º¸¾È »ç°í°¡ ¿¬ÀÌ¾î ¹ß»ýÇØ °³ÀÎÁ¤º¸°¡ À¯ÃâµÈ ´ç»çÀڵ鿡°Ô Á÷Á¢ÀûÀÎ ÇÇÇØ°¡ ¹ß»ýÇϱ⵵ ÇÏ°í ½ºÆÔ ¸ÞÀÏ ±ÞÁõ°ú °°Àº 2Â÷, 3Â÷ ÇÇÇØ·Î À̾îÁö°í ÀÖ´Ù.
¡Ü ÃâÆÇ»ç ¼Æò
µ¥ÀÌÅÍÀÇ Æø¹ßÀûÀÎ Áõ°¡·Î ºòµ¥ÀÌÅÍÀÇ ºÐ»êó¸® ¹× ÀúÀå ±â¼úÀº ÃÖ±Ù µé¾î °¡Àå Áß¿äÇÑ À̽´·Î ¶°¿Ã¶ú´Ù. ºòµ¥ÀÌÅ͸¦ Ȱ¿ëÇϱâ À§Çؼ´Â µ¥ÀÌÅÍÀÇ ¼öÁý ó¸® ÀúÀå ºÐ¼® ½Ã°¢È±îÁöÀÇ ±â¼úÀÌ ÇÊ¿äÇÏ´Ù. Çѱ¹µ¥ÀÌÅͺ£À̽ºÁøÈï¿øÀÇ ºòµ¥ÀÌÅÍ ½Ç¹« ±â¼ú °¡À̵å´Â ÀÌ·¯ÇÑ ºòµ¥ÀÌÅÍ¿¡ ´ëÇÑ ÀÏ·ÃÀÇ °úÁ¤À» Àϸñ¿ä¿¬ÇÏ°Ô Àß Á¤¸®ÇÑ ½Ç¹«¿ë ±â¼ú °¡À̵åºÏÀÌ´Ù. ÀÌ Ã¥À» ÅëÇØ ±¹³» ºòµ¥ÀÌÅÍ Àü¹®°¡ ¾ç¼º°ú ºòµ¥ÀÌÅÍ »ê¾÷ÀÇ ¹ßÀüÀ» ±â´ëÇØ º»´Ù.
- ¹éµÎ±Ç (°í·Á´ëÇб³ ±³¼ö / µµ»ê¾ÆÄ«µ¥¹Ì ¿øÀå) -
ºòµ¥ÀÌÅÍ¿¡¼ ³ëÀÌÁ Á¦°ÅÇÏ°í ¼û°ÜÁø ÆÐÅÏÀ» ¹ß°ßÇÏ´Â ÀÏÀº ºÐ¸í ¿¢¼¿·Î ±×·¡ÇÁ¸¦ ±×¸®´Â °Íº¸´Ù´Â ´ë´ÜÈ÷ ¾î·Æ°í º¹ÀâÇϸç, ´Ù¾çÇÑ °æÇè°ú ±â¼úÀ» ÇÊ¿ä·Î ÇÏ´Â ÀÏÁ¾ÀÇ ±â¼úÀû Á¾ÇÕ ¿¹¼úÀÌ´Ù. ±×°£ ºòµ¥ÀÌÅÍ¿Í °ü·ÃÇÑ ´Ù¾çÇÑ °³³ä¼ ¶Ç´Â ±³¾ç¼ °°Àº °ÍµéÀÌ ÀÖ¾úÁö¸¸ Çö¾÷¿¡ µµ¿òÀÌ µÉ¸¸ÇÑ ±â¼úÀû ½Ç¹«¼°¡ Áý´ë¼ºµÈ ÀûÀº ¾ø¾ú´ø °Í °°´Ù. ÀÌ Ã¥Àº ±×·± Àǹ̿¡¼ ´Ü¼øÇÑ ±â¼ú °¡À̵å ÀÌ»óÀÇ ¿ªÇÒÀ» Çϸ®¶ó ±â´ë°¡ µÈ´Ù. µ¥ÀÌÅÍÀÇ ¼öÁý, ÀúÀå¿¡¼ ºÐ¼®°ú ¿î¿µ°ü¸®¿¡ À̸£±â±îÁö ºòµ¥ÀÌÅÍ ¿£Áö´Ï¾î¸¦ À§ÇÑ ±³°ú¼ ¿ªÇÒÀ» Çϸ®¶ó ±â´ë°¡ µÇ¸ç ÆíÁßµÇÁö ¾ÊÀº ±â¼úÀû Å« ±×¸²À» ±×¸± ¼ö ÀÖµµ·Ï µ½´Â Áöħ¼°¡ µÉ °ÍÀÌ´Ù.
- À̰æÀÏ(¼ÖÆ®·è½º/´ëÇ¥ÀÌ»ç) -
ºòµ¥ÀÌÅÍ¿¡ ´ëÇØ °ü½ÉÀº ÀÖÁö¸¸ Çѹøµµ ½ÇÀüÀ» °Þ¾îº¸Áö ¾ÊÀº »ç¶÷À̶ó¸é, ºòµ¥ÀÌÅ͸¦ ¿¬±¸ÇØ º¸°í½Í¾îµµ ¾î¶² ºÐ¾ß°¡ ÀÖ´ÂÁö, ¾î¶»°Ô ¹«¾ùºÎÅÍ ½ÃÀÛÇØ¾ß ÇÒÁö ¸·¸·ÇÒ ¼ö ÀÖ´Ù. ÀÌ Ã¥Àº ºòµ¥ÀÌÅÍÀÇ ¿©·¯ ±¸¼º ºÐ¾ß¸¦ µ¥ÀÌÅÍ ¼öÁýÀ¸·ÎºÎÅÍ ºÐ¼®¿¡ À̸£±â±îÁö ÃѰýÇÏ¿©, ´ëÇ¥Àû ¼ÒÇÁÆ®¿þ¾î¸¦ °£´ÜÇÑ ¼³¸í°ú »ç¿ë·Ê Áß½ÉÀ¸·Î ¼Ò°³Çϰí ÀÖ¾î, °ü·Ã ±â¼úÀ» ÀÍÈ÷´Â µ¥ ÀÖ¾î ½ÃÀÛ°ú Áغñ·Î¼ µµ¿òÀÌ µÉ °ÍÀÌ´Ù.
- ±Ç´ë¼®(Ŭ·ç´Ð½º/´ëÇ¥ÀÌ»ç)-
ºòµ¥ÀÌÅÍ ¿µ¿ªÀº ³Ê¹« ³Ð¾î¼ ´Ù¾çÇÑ ¿µ¿ª¿¡¼ÀÇ Àü¹®°¡¸¦ ÇÊ¿ä·Î ÇÕ´Ï´Ù. °³º° ¿µ¿ª ½Ç¹«ÀÚ¸¦ À§ÇÑ ¼ÀûµéÀÌ Á¾Á¾ ÀÖ¾úÁö¸¸, ¡®ºòµ¥ÀÌÅÍ ½Ç¹« ±â¼ú °¡À̵塯´Â ºòµ¥ÀÌÅÍ Àü ¿µ¿ª¿¡¼ÀÇ ½Ç¹«Àڵ鿡°Ô ÇÊ¿äÇÑ ½ÉµµÀÖ´Â ³»¿ëÀ» Àü´ÞÇϰí ÀÖ½À´Ï´Ù. µ¥ÀÌÅÍ »çÀÌ¾ðÆ¼½ºÆ®´Â ƯÁ¤ ¿µ¿ª¿¡¼ÀÇ Àü¹®¼ºµµ Áß¿äÇÏÁö¸¸ ´Ù¾çÇÑ ¿µ¿ª°úÀÇ ¿¬°á¼ºµµ Áß¿äÇÏ°Ô °í·ÁÇØ¾ß ÇÏ´Â ¸¸Å ÇâÈÄ ºòµ¥ÀÌÅÍ Àü¹®°¡·Î ¼ºÀåÇϰíÀÚ ÇÏ´Â ºÐµé¿¡°Ô Áß¿äÇÑ µðµõµ¹ÀÌ µÉ ¼ö ÀÖÀ» °ÍÀ¸·Î ±â´ëÇÕ´Ï´Ù.
- ÀÌÁ¾¼®(½ÅÇÑÄ«µå BigData ¼¾ÅÍ /º»ºÎÀå) -
´Ý±â