Web Analytics 관련된 것을 이해해 보고 싶습니다.
2013.04.11 11:01
질문하시기 전에 게시판 검색을 먼저 해주세요.
타블릿PC, 스마트폰에 관한 질문 또는 요청은 <포터블기기 질문답변> 게시판을 이용해주세요.
=============================================================================================
제가 일하는 분야에서 요즘 화두가 되고 있는 것이 빅 데이터입니다. 솔직히 저는 빅데이터라는 개념은 아직 못잡겠고, 그것과 비슷한 웹분석에 대한 것을 해보려고 합니다. 저는 이 분야에 대해서는 초보자라서, 입문서나 좋은 사이트가 있다면 좀 알고 싶어서 그렇습니다. ^^
많은 분들의 의견 부탁 드리겠습니다.
코멘트 10
-
현수아빠
04.11 13:19
-
해색주
04.11 15:17
자료 감사 드립니다. 저는 주로 정형화된 자료만 써봐서 감이 아예 없네요.
-
꼬소
04.11 14:26
전 요즘 이 책 보고 있습니다.
분석이야 데이터만 있고 쿼리만 짤 수 있으면 뽑아 낼 수 있는 것인지라..
내가 뭘 해볼만한 자리를 만들고 나서 진행하는게 나을 듯 합니다.
프로그래밍도 컴파일 할 자리 만들고 나서 그림 그리고 코딩 하잖아요..
그거랑 별반 차이 없다고 생각해서 혼자서 삽질하고 있습니다. EC2는 안 쓰구요.. 집에 컴텨 만들어서 해보고 있어요..
-
꼬소
04.11 14:35
그리고 개념이랄게 별거 없습니다.
서버 한대로 실시간적으로 처리하기 힘들고 엄청난 용량과 비정형 데이터들을 적절한 성능의 컴텨들 여러대 모으고 확장하여 실시간적으로 처리 할 수 있도록 만든 다음 가공 된 데이터를 기반으로 내가 원하는 데이터를 뽑아 내는것이 빅데이터 입니다.
보통 3V라고 이야기 하는데..
Volume
Velocity
Vaierty
입니다.
그걸 해결하기 위한 eco-system으로 hadoop이 제안되었고,
Volume은 HDFS
Velocity는 MapReduce와 노드의 scale up으로
Variety는 noSQL로 해결하려고 하고 있습니다.
일단 해결 할 수 있는 기술적인 가능성을 열어 둔 상태이고, 아직까지 계속 진행되고 있습니다.
기술적인 부분에도 보완 할 부분이 있어서 계속 발전 중이구요..
국내에도 여러 시도가 있습니다.
그리고 막상 혼자서 hadoop 공부 하시면 참 재미 없습니다.. 뭘 해야 할지도 모르구요..
그리고 비정형 데이터라는게 코에 걸면 코걸이 귀에 걸면 귀걸이라서 원하는 데이터를 이런 내용을 기반으로 뽑아 내었다..라고 말하는게 참 어렵습니다. data mining이 기본인지라... 많이 보고 잘(?) 하는거 말곤 답이 없습니다;;
-
데이터 분석이라는 게 다 다룰줄 알고 많은 형식으로 뷰를 볼 줄 안다. 이상은 없습니다.
빅데이터라는 것은 그냥 말장난이고 이제는 저렴한 가격으로 이런 분석도 가능합니다. 정도로 생각하시면 됩니다.
이러면 되지 않을까요? 이런 식의 분석이 되나요? 등과 같은 무수한 Request에 의해 나온 것(비교적 저렴한 비용내에서) 중의
하나가 Hadoop같은 것이고.. 이를 기반으로 무수히 많은 새로운 차원(?)으로 보는 것은 표현의 방법입니다.
잘 분석하려면 결국 수학적 능력이 있어야 하고 그에 따라 능력이 좌우되는 것이지요.
볼 줄 모르면 줘봐야 장난감이지요.
-
해색주
04.11 15:23
꼬소님// 저도 마구 동감하고 있습니다.
냠냠님// 수학적 능력이 필요하다는 것에는 동감합니다. 컨셉만 있다면 인터넷에서 왠만한 검색으로 가능하다고 생각을 해서요. 이것도 재미 있지 않을까 해서 이것저것 알아보고 있습니다.
결국 수학적 지식이 많이 필요한 것이고, 하둡은 아직 잘모르겠습니다. 하나하나 들여다 보려고 준비중입니다.
-
김강욱
04.11 15:55
"해색주님의 강의를 기다리..." 누워서 감 떨어지기를 기다리겠다는 심보...는 아니라고 말씀 드리고 싶기도 하지만서도~
ㅡ,.ㅡ
-
해색주
04.11 18:03
제가 R로 강의를 듣는데 생각보다 괜찮은데, 실무에서는 쓰지를 않아서 어떤지 모르겠습니다. 저도 짬짬이 배워볼려고 요즘 생각중입니다. 좀 정리가 되면 간간이 글로 정리해서 올려 놓을게요.
-
김강욱
04.11 23:02
앗, 감사합니다.
근데 R 강의가 있나요?
-
맑은하늘
04.12 08:55
늘 노력하는 분들이 많으시네요.
전, 빅데이터 하면, 구글이 생각납니다. 제 이메일을 늘 분석하여, 옆에 광고해주는 구글...
구글에서 어떤 서비스가 있지 않을까요 ?
킨들 무료책들이 있고요
http://www.amazon.com/s/ref=nb_sb_noss_1?url=search-alias%3Daps&field-keywords=oreilly%20big%20data&sprefix=oreilly+big%2Caps&rh=i%3Aaps%2Ck%3Aoreilly%20big%20data
그리고 책은
http://www.amazon.com/Data-Analysis-Open-Source-Tools/dp/0596802358/ref=sr_1_9?ie=UTF8&qid=1365653787&sr=8-9&keywords=oreilly+big+data
http://www.amazon.com/Python-Data-Analysis-Wes-McKinney/dp/1449319793/ref=sr_1_8?ie=UTF8&qid=1365653787&sr=8-8&keywords=oreilly+big+data
그리고 하둡으로 처리하고요...
한국분의 웹싸이트인 고감자(http://freesearch.pe.kr/) 이분이 옛날에 web analysis를 많이 하신듯해요, 옛날 포스팅 보면요, 그러다가 데이타싸이언티스트가 되신듯한데요...
저도 하도 유행이라 들여다봤지만.. 솔직히 아무리 업계에서 "아니다"라고 해도 제겐 "엄청 많은 데이터 가지고 놀다 지 나름대로 해석해서 납득할만한 결과를 윗사람에게 보여줘서 오~ 하는 소리 나오게 하는" 이라고 생각되요. ^^