업계 트렌드를 따라 가는게 쉽지만은 않습니다.
2013.07.16 01:35
여기 kpug에서는 각자의 분야에서 전문적인 역량을 갖고 일하시는 분들이 많습니다. 저는 통계학 전공자들이 주축인 부서에서 경영 전공자가 일하면서 재미있는 분야를 찾아가는 중입니다. 대학원도 통계대학원이 아니라 MBA로 했고, 세부 전공도 사정상 경영과학이 아닌 재무를 했습니다. 그런 반면에 이 분야에서는 참 재미있는 것을 많이 해볼 수 있습니다. 일단 데이터를 분석해서 수치로 가공하기 때문에 이런 저런 분야에 대해서 많은 지식을 갖춰야 하고, 그런 면에서는 제가 좀더 나은 이해를 갖출 수 있죠.
상대적으로 정말 통계모델링으로 들어가는 전문 분야로 간다고 하면, 저는 지식과 경험이 부족해서 많이 밀리는 모습을 보여 줍니다. 예전에는 혼자 남아서 통계 모델링도 만들어 보고 그랬는데, 대학원 다니면서 시간에 치여서 손을 놓은지가 꽤 되었네요. 요즘에 이쪽 분야에서 유행처럼 번지는 것이 빅데이터라는 것입니다. 원래부터 있었던 것이었고 다만 처리나 시각화를 못해서 손을 대지 못했던 것들을 기술의 발전으로 이제 다양한 주제로 발전하는 분야이지요.
일반적인 사람들은 생각도 못하던 하둡, R과 같은 오픈소스 기반의 대용량, 실시간 데이터 처리하는 개념이라고 합니다. 문제는 이것에 대한 이해가 제조업, 통신업계, 금융업체 등등이 모두 다르고 다른 정의를 사용한다는 것입니다. 우리 나라에서는 별다른 분석도 없고 프로세싱 분야에서만 일부 성과가 나오려고 하는 상황에서도 시장에서는 마켓 리더, 전문가를 초빙하기 위해서 많은 노력을 하더군요. 아직 제대로 성장도 하지 못한 분야라서 다들 많이 발전한 것이라고 생각은 하지만 아직 정립되지 않은 분야이네요.
주변에서 하도 난리이고, 저번주 OB 모임에 가서도 이것은 실체가 없다, 과연 핵심이 될까 아니면 지나가는 하나의 흐름일까 하면서 논의가 많았습니다. 저는 아직도 제대로 이것을 해보지는 못했지만 하게 된다면 많은 것을 찾아볼 수 있지 않을까 생각되더군요. 전문적인 지식과 프로그래밍이 필요하겠지만 나중에는 좀더 사업적인 분야로서 진화하지 않을까 생각을 해봅니다.
정작 제 일과는 아직 좀 거리가 있지만 업계 트렌드를 따라 가는 것은 중요하다고 하네요. 빅 데이터라는 것은 아직 정의되지도 성공하지도 않은 아직 완성되지 않은 거라서 더 뜬구름 잡는 것 같습니다. 다들 전문 분야에서 살아남기 위해서, 성공하기 위해서 노력을 많이 하시겠지요. 저도 늦게까지 책도 보고 생각도 하면서 따라가려고 하는데 쉽지가 않네요. 이거 원 사방이 전산 이야기라서 말이지요.
코멘트 26
-
해색주
07.16 02:05
빅데이터라는게 회사 내에서 그저 쌓여만 있는 데이터를 가공하는 것도 있어서 생각보다 다양한 응용분야가 있더군요. 저는 웹이나 실시간 분석만 생각했는데, 생각보다 응용분야도 많고 요즘에는 내부 데이터를 어떻게 가공해 볼까 하는 것도 있지요. 북미나 유럽처럼 내부적인 데이터를 가공하는 방향으로 간다면 실제 많은 도움이 될 것이라고 봅니다. 문제는 대부분 일회성 상부 발표 용도로 생각하고 체계적인 접근이나 활용 방안을 별달리 갖지 않는다는 것이 문제가 되겠지요.
-
하뷔
07.17 01:36
+1
-
전설의주부용사
07.16 02:24
초라하지만 db에 관련된일을 일년 넘게 했고요...
부족함에 나름 막대한 돈과 시간을 들여 db를 공부 하고 있습니다만.......보는관점이 어떻게 덜아갈지 모르겠습니다....다른 전문가분들 의견더 분분한걸로 알거있습니다만...글세요 회익적이다 영토가 좁다하고 전혀 관련없는걸로 알고있습니다. -
전설의주부용사
07.16 10:09
잠을못자서 -_- 전혀상관없는 댓글을달았네요 -_- -
왕초보
07.16 02:27
영토가 좁고 모두 유행을 엄청 따라다닌다는 것도 빅데이타를 쓰는 한 데이타일 뿐이죠. 기존의 데이타를 가공해서 미래를 점치는게 빅데이타의 목적이라면.. 저런 확실한 경향이 있는 것도 큰 도움이 아닐까요. 뭐 너무 확실해서 데이타 분석 까이꺼 싶을 수도 있고요.
옛날엔 일본에서 유행한건 몇년뒤에 우리나라에.. 이런 경향이 있었다는데.. 이젠 그 반대일 것이라.. 차라리 사업을 아시아 다른 나라, 즉 우리나라를 따라하는 나라들에 집중하는 것이 쉬울 것 같기도 하고요.
-
어차피 빅데이터라는 자체가 Chaos이론부터 부터 나오긴 했지만 거대한 데이터자체를 혼란스럽지는 않지만 예측 가능한 결과를 시뮬레이션 한다라는 의미가 커서 말이죠.
저희쪽으로 따진다면 각 인종, 나이, 성별, 키, 체중에 따라서 병이 발생하면 그 일정한 데이터에 맞춰서 지금보다 휠씬 정확하게 약의 용량을 투여한다 정도가 되겠죠.
-
토토사랑
07.16 08:36
사회현상으로 부터 얻을 수 있는 수많은 종류의 데이터가 있지만 바이오 데이터도 그 한가지가 되지 않을까요? 가령, 수십년 동안의 환자 샘플에서 바이러스 변이 정보를 모아서 분석해보면 유행한 질병과 향후 유행할 질병에 대한 예측이 가능해지지 않을까요? 이런 것도 빅데이터 분석의 일환이 될 수 있을 것같다는 생각입니다.
-
아래 빠빠이야님이 이야기 하신것과 같은 시도 말씀이죠?
어떻게 보면 게놈프로잭트도 그 일환이라고는 볼수 있습니다만 바이러스의 Variation이 바뀌는걸 가지고 (엄밀히 말하면 바이러스의 정보가 바뀜으로써 세포표면적에 나타나는 viral protein의 체내에서의 인식이겠죠 ^^;) 하기는 상당히 쉬운편은 아닙니다. 단순히 influenza virus도 한번 바뀌면 백신이 먹혀들지는 않는 상황인데요. 이걸 단백질 process할때 codon이 바뀌는 경향을 분석한다라면 기상청의 슈퍼컴퓨터가지고도 모자라는 일이라서요.
-
김강욱
07.16 02:48
그러게요.
하둡, NoSQL, R, Data Visualization 이거 배우는게 것도 힘든데, 통계학은 어떻게 배워야 할 지~
헐~
-
토토사랑
07.16 08:29
그냥 통계 전공자 뽑으시면 됩니다.
그리고 가끔 밥사주시고 도망않가게 잘 데리고 계시면....ㅋ
-
해색주
07.16 19:15
R은 통계를 모르면 기본적인 기술적 통계를 뽑는데만 쓸 수 있습니다. SAS는 데이터 핸들링라도 되는데 R은 통계분석이 아니면 하등 쓸데가 없죠. 대신 통계분석에는 나름 꽤 좋더군요.
-
라즈곤
07.16 07:36
빅데이타는 앞으로의 가능성이 높은 학문이라고 생각됩니다. 다만 비산술적인 데이타의 가공을 위한 수학적인 혹은 기술적인 개발이되야하는데 우리나라는 힘듭니다. 왜? 이거 기초과학이 기반돠야하거든요. 입시공부한 애들에게 어제의 기분을 시로지어보거라. 하면? 잘될까요? 정형시는 나름만들겠지만, 산문시는 부족할듯합니다만, 차라리 홍대레퍼들이 그점은 더 강점이겠죠. 간혹 슈퍼스타가 나타날수도 있겠죠. -
빅데이터라는건 그냥 공부한다고 되는건가 하는 생각이 들더라구요. 레코드와 필드라는 기존 데이터의 개념 자체를 버리고, 세상을 폭넓게 보자..라는 아주 게으른 생각으로 머엉~하니 쳐다보는겁니다.!!! 공학이 아니라 철학인거죠! ㅎㅎㅎ
그냥 모든건 내가 안따라가도 어차피 내 앞에 다가올거라고 생각하면서, 신경안쓰고 맘편히 있습니다.
-
빠빠이야
07.16 09:35
바이오 쪽에서는 상당한 진전이 있습니다. 머지 않은 때에 손으로 잡히는 뭔가가 나올것 같아 보이구요.
바이오인포마틱스 관련한 일을 일부 하면서 업계있는 분들을 초청해서 이야기를 들은 얘긴데요
크레딧 카드 사용을 분석해보면 부부가 이혼을 할 것인지 90% 이상의 확률로 예측이 가능하다고 하더군요.
아무래도 카드사다 보니 분석을 통해 효과적인 고객, 프로모션 집중계층 등등을 분석하는 작업을 위주로 데이터 분석을 한다는 소리를 들었습니다. 가능성이 큰 분야임에는 틀림없어 보입니다.
-
해색주
07.16 19:18
바이오통계 분야에서는 가장 최첨단 기법을 많이 사용하더군요. 크레딧 카드는 제가 분석하는 자료인데, 이혼하는 특정군에 대한 자료를 찾는게 더 어렵다고 생각이 드네요. 모델을 만드는 것보다 유지보수 하기가 더 어렵더군요. 아, 싫어~
-
하뷔
07.16 10:46
기술적인 것은 잘 모르겠습니다만,
어쨌든 회사에 적용을하려면 Business Driven되지 못하면 힘들게 될 기술이라고 생각합니다.
나름 국내 굴지의 회사에서 과거 몇 년간 DW, Data Mining 시스템을 구축/운영해 본 경험으로는
좀 어렵지 않을까 싶습니다. 물론 제조사만 경험을 해봐서 직접 B to C 하는 회사는 어떤지 모르겠네요.
앞에서 여러분 들이 말씀하신 의료 분야나 카드사, 통신사 등에서는 무궁무진하게 활용할 곳이 있으리라 생각됩니다.
음...
제가 하고 싶은 이야기는 기술적인 구현 완성도, 이러이러한 것을 할 수 있다. 를 정의하는 것이 매우 중요한 문제이나,
실제 Field에서 얼마나 써먹을 수 있고, 그 효과가 어떠할지에 대한 것이 없다면,
부흥(?)하기에는 어렵지 않을까... 라는 것이고,
기술적인 것+활용성에 대해 많이 고민해야한다. 입니다.
-
+1 던집니다.
그럴 수 있는 인프라가 저렴한 가격에 구축할 수 있다는 것이고
그럴 수 있는 lingo가 생겼다는 겁니다.
원래도 돈 들이면 다 할 수 있었던 건데 그게 초기 도입 단가가 내려가고 신규 시장이니 웅성대는 것이지요.
-
해색주
07.16 19:21
그래서 시스템을 통으로 도입하고 그것으로 어떤 수익을 낼지 고민하는 현업이 많지요. 저도 그중에 하나이구요. 장치 사업이나 프로세싱 업무 분야에서는 기존에 못 건드리던 대용량 데이터를 전수 검증하게 되면서 통제 및 품질관리를 통해서 수익을 뽑아가는 전략을 취하더군요. 근데 현재 말하는 감성적인 마케팅 기법은 시간이 좀 걸릴 것 같습니다. 트위터가 별다른 힘을 쓰지 못하는 한국에서는 좀 어렵지 않을까 생각됩니다.
마케팅에 쓰려면 법도 정비되어야 하는데, 한국의 경우 점점 사업하기 어려운 방향으로 이상한 규제로 변화하는 추세라서요. 정말 요즘에는 선무당 같은 공무원이나 준공무원이 나라 경제를 다 잡아먹는다는 생각이 들더군요. 이전 정부부터 왜 이리 공무원, 준공무원들이 무식하면서도 권위적으로 변하는지 모르겠습니다.
-
하뷔
07.17 01:23
해색주님께서는 아무래도 실제 시스템을 활용하여 업무에 사용하시는 입장이시군요. 이전에 올리신 글이나 지금 댓글이나 보면요. (저는 IT 구축 헐랭이 전산쟁이)
말씀하신 전수 검증, 통제, 품질 관리에 대해서는 전반적으로 긍정적이라고 생각합니다. 이전에는 그런 것들이 존재했으나, 시간이 지날 수록 유명무실해졌던것 같습니다. 이전에는 기술적으로 많은 Data를 쌓는데에 촛점이 있었던것 같고, 이를 어떻게 활용할지에 대한 화두를 Big Data가 던지고 있는 것 아닌가 싶습니다. 그리고, 당장은 과거에 쌓기만하고 당장 어떻게 하지 못했던.... 하고는 싶었으나... 검증, 통제 뭐 이런식으로 진행되는 것은아닌가...
법에 대해서는 제가 무지하고, 공무원을 본적도 없고, ... 현업 혹은 IT기획 업무를 할 기회가 없어 잘 모르겠습니다.
말씀하신대로의 방향이라면 IT업을 떠나야겠다는 생각밖에는 다른 생각이 들지를 않습니다.
-
빅데이타가 트렌드이긴 하죠...
그냥 재미있게 하시면 어떨까요?
이미 통계학 이용에도 상당한 경지에 이르셨는데 계속 선두그룹에 있어야겠다는 생각에서 좀 벗어나시고
슬슬 취미활동도 하고 머리도 식히시면 창의력이 퐁퐁 솟아나서
남들이 생각하지 못하는 빅데이타 활용을 하시게 되지 않을까요?
-
해색주
07.16 19:21
넵, 하얀님 말씀이 맞네요. ^^
-
해색주
07.16 19:22
나중에 실력을 키우면 일해 보고 싶은 분야가 게임이죠. ^^ 많이 쓰고 있네요. 예상했던 분야에서 사용하고 있구요.
-
유태신
07.17 10:28
빅 데이터.... 저도 전산으로 30년 가까이 밥먹고 있습니만...
사실 여러 분양에서 그동안 감히 손도 못 대고 수박 겉핣기 식으로 다루어 온 엄청난 양으로 쌓여있는 자료가 무궁무진합니다...헉헉!
빅 데이터 하면 흔히 인적정보나 재무정보를 생각하시거나 위에서 말씀하신 바이오도 있습니만,..
정작 필요한 분야가 교통, 지리, 해양, 천문, 기상, 물류 등 실생활에 밀접한 분야 입니다.
하지만, 이런 쪽은 아예 꿈도 못 꾸고 다들 말로만 도입해야 되는데... 되는데... 하고 있는 처지죠.. ㅎㅎ
제가 최근 6년째 우연찮게 ITS와 GIS 분야 발을 담고 있는데, 여긴 뭐... 답 없습니다.
일단 이쪽 분야에서 우리나라의 역사가 짧고(아무리 길게 잡아도 30년이 채 안됩니다), 그나마 많은 투자가 이루어진게 최근 10년 안쪽이라서 제대로 시스템이 구축된 곳도 거의 없고..
국토해양부도 별반 다르지 않습니다. 저도 초기에 일부 참여했었고... 쩝! 지금 생각하면 그때 정말 아무것도 모르고 어떻게 용감하게 도전해서 일을 했는지... 부끄럽고 한참을 반성하고 있습니다... OTL
하여간, 빅데이터.. 이제야 관심을 막 가지기 시작한 분야이고 보니 아직도 갈길이 멀고도 멉니다...
-
해색주
07.17 10:59
유태신님// 마케팅에서 각광 받는 분야와는 실제 필요한 분야는 좀 다른듯 합니다. 말씀하신 분야는 주로 정부이거나 별로 돈이 없는 분야라서 아직은 별달리 케이스가 없죠. 그러나 실제 필요한 것은 맞습니다. 저번에 컨퍼런스 가보니 서울시에서 교통과 관련된 빅데이터 분석을 보여줬는데 생각보다 괜찮더군요. 다들 아는 것이지만 실제 화면으로 보여주는 것과 말로 '떠드는' 것은 엄청난 차이가 있더군요.
저도 최근에 GIS 분석을 해보고 있는데, 이거 진입장벽이 상당히 높던데요. 요즘 그래서 좌절하고 있습니다.
한국은 빅데이터를 구현하기 어려운 곳중에 하나입니다.
빅데이터라는 건 어떻게 보면 많은 사람들이 따라갈 트랜드를 파악해서 거기에 역량을 집중한다라는 걸로 해석되긴 하는데 한국의 경우에는 일단 유행이 될것 같다라고 판단이 되면 금방 포화상태가 됩니다. 북미나 유럽처럼 일정부분에서만 필요한걸 바탕으로 Epidemic하게 넘어갈려면 영토도 좁은편이며 상당히 획일적인 구조니까요.