감사합니다. 

저로써도 여하튼 논쟁에 좀 필요한 내용이었습니다.

 저는 개발자도 아니고 IT 전문가도 아니고, 분석가라는 한 귀퉁이 부분을 차지하고 있는 사람입니다. 제가 보기에 빅데이터는 기존에 있었던 고객관리나 통계분석의 연장선이며 또한 분산처리를 통한 대규모 데이터를 이용해서 자료를 분석하는 것입니다. 네, 저는 개발자가 아니므로 기술적인 부분이나 프로그래밍 부분에는 약하지만, 저러한 빅데이터 처리 기술을 이용해서 어떠한 것을 분석해야 하는지 그리고 그것으로 어디서 돈을 버는지 고민하는 일을 합니다.

 따라서 개발자나 기술자와는 다른 관점에서 저것들을 어떤 부분에서 써야 할지 관심이 있고 거기서 R, SAS와 같은 통계툴과 알고리즘을 어떻게 해야 할지 고민하는 부분이죠. 요즘 대부분의 빅데이터 관련된 컨퍼런스가 고속도의 처리와 같은 부분에 집중하지, 실제 어떤 부분에서 혁신을 일으켰는지 그리고 효용이 있었는지에 대해서는 그리 많은 시간을 할애하지 않습니다. 기술적인 부분에서도 조금식 한계나 약점이 튀어나고 있는 부분이 있구요, 단순히 빠른 속도라면 그걸로 어떻게 돈을 벌지는 고민하지 않은 부분도 있는 것 같습니다.

 IT 회사나 기술업체들은 그 부분은 이용자가 고민해야 하는 부분이라고 말하겠지만, 솔직히 한국에는 그런 부분에서 깊숙이 고민하는 갑은 그리 많지 않다고 봅니다. 그리고 기존의 내부 데이터를 어떻게 효율화 할 것이냐, 그리고 이것을 어떻게 외부 자료와 연계해서 돈을 만들 것이냐는 아직 확인되지 않은 부분이라고 봅니다.

 R은 어느 날 하늘에서 떨어진 것이 아니라 기존에 있던 통계언어가 S-Plus를 거쳐서 오픈소스화 해서 만들어진 것이지, 실제 SAS와 같은 통계팩키지 시스템/언어와 전혀 다른 것은 아닙니다. 실제로 2000년대 들어서 한국의 많은 학교에서 대안으로 가르치던 언어였고 아주 빠르고 가벼운 대화식 통계 언어인데, 백엔드로 많이 사용되더군요.

 주변에서는 Java로 전체적인 프로세스를 짜고 통계 알고리즘이 필요한 경우에는 R을 이용해서 처리하는 방식으로 프로젝트를 진해하고 있더군요. 나름 이 분야에서 일하는 현업이라서 트렌드에 뒤쳐지지 않기 위해서 많이 배우고 따라가려고 노력하는데, 현재 빅데이터의 경우 지나치게 기술 위주/속도 위주라서 조금은 걱정이 됩니다. 대부분의 대기업/금융회사들은 빅데이터를 운용하기 위해서 자체 팀을 꾸리고 시스템 도입을 준비하고 있지만 성공사례가 아직 한국에서는 없다고 압니다.

 미국의 경우 아마존이나 넷플릭스의 경우 빅데이터를 이용해서 고객 세분화, 오퍼 최적화 등등을 이용해서 사용자들의 요구를 분석하여, 더이상 고민하지 않고 아마존의 오퍼를 받아들이는 상황까지 이르렀다고 합니다. 한국에서도 이러한 것들이 적용되고 계속 발전하기 위해서는 기술적인 부분과 더불어 실제 적용에서도 성과를 내는 방식으로 진행되었으면 합니다.

 정말 분석가로서, 빅데이터는 또다른 좌절입니다. 고생해서 통계와 통계 팩키지 이해할만하니까 전혀 새로운 패러다임이 왔고 전혀 모르는 언어로 개발자들이 빅데이터를 말하기 시작했거든요. 작년 빅데이터 컨퍼런스 가보니 이제 TechDay라고 해서 개발자들만 별도로 모이는 컨퍼런스를 따로 기획중이더군요. 아, 너무 어렵습니다.

 아래는 해당 분야를 잘 정리한 제 선배의 블로그입니다. 참조할만한 자료들이 참 많습니다.

http://han90210.blog.me/80203661145

메모리 검색도 느리단 얘기가 곧 나올듯. 어디나 통하는 얘기지만, 빅데이타가 좋은 일에 쓰일 수도 있지만, 나쁜 일에도 쓰일 수 있다는 점은 잊지 않았으면 합니다.