아마존 aws에 파산 도우미를 만들었어요.
2013.01.30 00:54
아마존에 우분투 서버 돌리고 있는 1인입니다. 거창하게 우분투 12서버까지 깔아놓고 별로 하는 일은 없지만 cron으로 10분 마다 웹에 있는 자료 긁어 모아서 텍스트 파일로 저장시키는 단순 작업을 돌리고 있습니다. 워낙 부하가 적은 작업이라서 나중에 아마존 무료 1년 맛보기가 끝나면 한국에 128M 램의 월 2000원 짜리 서버를 돌려도 될것 같은 생각이 듭니다.
이렇게 제 잡기술이 계속 늘다보니, 이젠 유닉스/리눅스의 cURL 명령어로 인터넷에 있는 대부분의 모든 자료를 들고 와서 가다듬을 수 있습니다. 여기에 지난 반년동안 모아놓았던 코드들을 조금씩 수정해서 적용하면 장터 모니터링 로봇 (일명: 개인 파산 도우미)도 만들 수 있네요. -_-;;
타겟으로 잡아 놓은 사이트 (예: http://www.expansys.co.kr/outlet/ ) 에서 텍스트를 읽게 하고 그 안에 제가 필요한 검색어가 걸리는지를 매 10분마다 확인합니다.
여기서 푸쉬 기능을 더하려면 터미널용 트위터를 연동시키면 되요. 즉 계속 없다가 리스트에 올라가면 트위터 메시지 발송하는 식으로 설정해 놓았습니다. 물건이 매일 얼마나 풀리는지도 예측할 수 있는 수준까지 왔습니다.
이런 잡기술 말고 일을 해야 하는데 시간을 소비해야 하는데 말이죠. -_-;;;
코멘트 9
-
purity
01.30 01:03
-
하나씩 해보시면 생각보다 안 힘들어요. ㅎㅎ
예를 들어 regular expression은 배워 놓으면 많이 편하더라고요. 제가 워드 편집일을 많이 하는데요. 윈도우 워드에도 regular expression를 인식하기 때문에 예를 들어 '괄호안에 4자리 숫자가 있으면 이것들을 모두 빨간색으로 칠해라' 라던가 사람이 해야 하는 모든 반복작업들을 눈깜짝 할 사이에 다 해줍니다.
-
purity
01.30 01:12
아우~ 전 적당한 자동화만 하려고요 ㅎㅎ;;; 너무 일 빨리 끝내면 일이 늘어서...;;; 실은 제가 일하는 직군은 데이터를 모으고 다루는 쪽 보다는 그 데이터를 표출하는 방법에 대한 것이라 백업용의 간단한 배치용 쉘 스크립트라던가 배포용의 실행용 스크립트 외에는 쓰지 않게되더라구요. 업무 보다는 후에 개인적인 자료 정리 등이라던가 등에 유용함이 클 것 같습니다. 말씀 감사합니다. -
저도 그 말씀 100% 동감합니다. 일을 빨리 끝내놓으면 일감이 더 늘어나더라고요. ㅜ_ㅜ
-
김강욱
01.30 11:14
헐...그런게 되나요....배우고 싶은데....연습을 못하니 전혀 스텝이 안나가네요.
-
전 진짜 '파산'관련 내용인줄 알고 깜짝놀랬네요;
음? 잘생각해보니 진짜 파산내용 맞군요; ㄷㄷ; -
예전에 클리앙이었던가? 어느 싸이트 회원분께서 동일한 이름으로 장터 검색 전문 앱을 만들었던걸로 기억하고 있습니다. ㅎㅎ
-
푸른들이
01.30 08:44
장터 매복용으로 만드셨던 '파산친구' 말씀이시죠? 예전 KPUG 아니었던가요?
-
케이퍽의 '파산친구' 였군요. "파산도우미"라는 이름은 어서 나온건지. ㅎㅎ
참고로 제껀 사람이 일일히 확인하지 않아도 되고 트위터로 푸쉬 메시지가 와요. 서버 돌리니 이런게 편하네요. ㅎㅎ 이걸로 일본 애플 스토어도 모니터링하고 있습니다.
이러다 크롤링 솔루션을 선보이시는 것은 아니신지 ㅎㅎ;;; 최적의 활용을 하시는 모습에 그냥저냥 엔드유저인 스스로가 부끄럽기도 하고 배움도 얻습니다.