웹사이트에서 데이터 추출하는 방법 문의드립니다..
2014.04.08 17:50
질문하시기 전에 게시판 검색을 먼저 해주세요.
타블릿PC, 스마트폰에 관한 질문 또는 요청은 <포터블기기 질문답변> 게시판을 이용해주세요.
=============================================================================================
국토교통부 아파트 실거래가 사이트에서 분기별 아파트 거래가격만 간단하게 추출할 수 있는 방법이 있는지요?
분기별 년도별 아파트 거래가격 참고자료를 만들고 싶은데 양도 많고 하나하나 클릭하려니 한세월이네요..
데이터만 추출할 수 있는 방법 있으면 금방끝나겠는데 아는게 없는지라...;;;
아시는 분 답글 부탁드립니다...
모두모두 행복하세요~
코멘트 4
-
감자마을
04.09 10:09
저도 완전초보인데 맨땅에 헤딩하게 생겼네요...^^;
좋은 정보 감사합니다...
-
왕초보
04.09 08:06
사실 cron은 윈도에서도 돌릴 수 있습니다. 리눅스/유닉스가 훨씬 사용하기 편하지만요. (제 입맛일듯) 여튼 가상호스팅은 옵션입니다. 넷웍에 물린 컴터가 하나 있어야 한다 정도면 되고요.
웹상에 올라와 있는 정보를 가공하는 것은 그 타겟으로 하는 홈피의 포맷이 바뀌면 꽝입니다.. 바뀔때마다 다시 작업해줘야 한단..
요약 -- 그리 어려운 일은 아닙니다. 다만 노가다가 좀 필요하고.. 어느정도는 늘 들여다 보고 있어야 합니다. 일단 curl linux 하고 검색해보세요. ^^ 외계어가 좍 나올 겁니다. ( ..)
그런데 저 사이트 가보니.. 만약 많은 아파트를 따라다니거나, 전체 아파트의 거래가격 동향 같은 정보를 낼려면 엄청난 일을 해야 할 듯 보입니다.
-
감자마을
04.09 10:15
해결의 실마리를 제공해주셔서 감사합니다...
아무것도 모르는 상태에서 작업할려니 눈앞이 캄캄하지만 뭐.. 어떻게든 되겠죠... ㅡㅜ
쓰고 보니 별 도움이 안될수도 있네요. 그냥 이런 잡 기술이 있다고 알고만 계셔야 할것 같아요. >__<
제가 관련해서 예전에 글을 몇번 올렸는데요. 현재는 웹브라우저에 올라오는 문자 정보는 모두 가공해서 제 입맛대로 보낼 수 있습니다. 짧은 답으로는 유닉스/리눅스에서 curl 을 사용하시면서 cron을 물려 놓으면 정해놓은 주기마다 자료를 긁어 옵니다.
조금 긴 답으로는 이 작업을 상시 해줄 서버가 있어야 하고요. 개발환경도 있어야 합니다. 리눅스 머신(혹은 OSX 머신)을 한대 돌리시면서 테스트하면서 스크립트를 만드신 다음에 이걸 외부 리눅스 가상호스팅에 심으면 알아서 다 자료를 뽑아서 정리해줍니다.단, 가상 호스팅은 html 계정만 받는 것이 아니라 서버의 전반적인 운영도 필요하기에 한달에 500원짜리 말고 최저가 5500원은 주셔야 위에 말씀드린 cron 명령어를 돌릴 수 있습니다. 저는 완전 초보에서 순전히 호기심을 갖고 작업한거라서 서버 관리 빼고 curl 다루는 데 꽤 걸렸습니다.