웹사이트에서 데이터 추출하는 방법 문의드립니다..
2014.04.08 17:50
질문하시기 전에 게시판 검색을 먼저 해주세요.
타블릿PC, 스마트폰에 관한 질문 또는 요청은 <포터블기기 질문답변> 게시판을 이용해주세요.
=============================================================================================
국토교통부 아파트 실거래가 사이트에서 분기별 아파트 거래가격만 간단하게 추출할 수 있는 방법이 있는지요?
분기별 년도별 아파트 거래가격 참고자료를 만들고 싶은데 양도 많고 하나하나 클릭하려니 한세월이네요..
데이터만 추출할 수 있는 방법 있으면 금방끝나겠는데 아는게 없는지라...;;;
아시는 분 답글 부탁드립니다...
모두모두 행복하세요~
코멘트 4
-
감자마을
04.09 10:09
저도 완전초보인데 맨땅에 헤딩하게 생겼네요...^^;
좋은 정보 감사합니다...
-
왕초보
04.09 08:06
사실 cron은 윈도에서도 돌릴 수 있습니다. 리눅스/유닉스가 훨씬 사용하기 편하지만요. (제 입맛일듯) 여튼 가상호스팅은 옵션입니다. 넷웍에 물린 컴터가 하나 있어야 한다 정도면 되고요.
웹상에 올라와 있는 정보를 가공하는 것은 그 타겟으로 하는 홈피의 포맷이 바뀌면 꽝입니다.. 바뀔때마다 다시 작업해줘야 한단..
요약 -- 그리 어려운 일은 아닙니다. 다만 노가다가 좀 필요하고.. 어느정도는 늘 들여다 보고 있어야 합니다. 일단 curl linux 하고 검색해보세요. ^^ 외계어가 좍 나올 겁니다. ( ..)
그런데 저 사이트 가보니.. 만약 많은 아파트를 따라다니거나, 전체 아파트의 거래가격 동향 같은 정보를 낼려면 엄청난 일을 해야 할 듯 보입니다.
-
감자마을
04.09 10:15
해결의 실마리를 제공해주셔서 감사합니다...
아무것도 모르는 상태에서 작업할려니 눈앞이 캄캄하지만 뭐.. 어떻게든 되겠죠... ㅡㅜ
| 번호 | 제목 | 작성자 | 작성일 | 조회 |
|---|---|---|---|---|
| 공지 | 게시판 성격에 맞지 않는 글은 예고없이 삭제합니다. [6] | 星夜舞人 | 2011.10.10 | 216205 |
| 공지 | [공지] 만능문답 게시판을 이용하는 분들을 위한 당부 말씀 [3] | iris | 2010.03.16 | 196282 |
| 5898 | 언더싱크 정수기 추천 바랍니다. | 아람이아빠 | 11.09 | 7 |
| 5897 | 요기 음악들을 한꺼번에 다운받는 방법이 없나요? [4] | 海印 | 10.07 | 170 |
| 5896 | 포인트 확인 방법을 못 찾겠습니다. [1] | 수퍼소닉 | 02.02 | 398 |
| 5895 |
Palm V 와 Palm Vx 는 서로 호환되나요?
[4]
| 海印 | 03.09 | 399 |
| 5894 | 음악을 즐기는 방법 문의드립니다. [2] | 맑은하늘 | 12.24 | 400 |
| 5893 | 팜 TX 배터리 교환하는 좋은 방법 조언 부탁드립니다. [2] | SON | 10.29 | 409 |
| 5892 | 시인 혹은 시집 추천 부탁드립니다. [9] | 쿠후^^ | 06.19 | 414 |
| 5891 | 전남 화순 여행지 추천 바랍니다. [6] | 해색주 | 03.03 | 414 |
| 5890 |
어디로 가야할까요??
[2]
| 인간 | 01.06 | 417 |
| 5889 | 공유기 추천좀 해주세요. [1] | 앙겔로스 | 02.19 | 417 |
| 5888 |
다익스트라 알고리즘 질문 있습니다.
[6]
| 스파르타 | 12.08 | 420 |
| 5887 | 호텔예약? [4] | 도원 | 07.07 | 424 |
| 5886 | 캘리포냐 이너넷, 뭘 쓰면 좋을까요 ? [3] | 왕초보 | 10.06 | 427 |
| 5885 | 메뉴와 파이어폭스 [5] | 베이스 | 10.02 | 429 |
| 5884 | [PC] 업그레이드를 고민 중입니다만... [2] | 하뷔 | 02.20 | 430 |
| 5883 | 라즈베리파이를 사려면 어디가 좋을까요? [4] | 조슈아 | 10.11 | 430 |
| 5882 | 광부 한분 영입해도 될까요? [4] | 우야씨 | 01.17 | 433 |
| 5881 |
절연 테이프 위치
[1]
| 우야씨 | 09.12 | 434 |
| 5880 | 담보대출 금리 때문에 여쭙니다 ㅜㅜ [18] | 청부업자 | 06.25 | 435 |
| 5879 | 구글 My Tracks 대체 앱이 있을까요 ? [4] | 맑은하늘 | 08.17 | 437 |


쓰고 보니 별 도움이 안될수도 있네요. 그냥 이런 잡 기술이 있다고 알고만 계셔야 할것 같아요. >__<
제가 관련해서 예전에 글을 몇번 올렸는데요. 현재는 웹브라우저에 올라오는 문자 정보는 모두 가공해서 제 입맛대로 보낼 수 있습니다. 짧은 답으로는 유닉스/리눅스에서 curl 을 사용하시면서 cron을 물려 놓으면 정해놓은 주기마다 자료를 긁어 옵니다.
조금 긴 답으로는 이 작업을 상시 해줄 서버가 있어야 하고요. 개발환경도 있어야 합니다. 리눅스 머신(혹은 OSX 머신)을 한대 돌리시면서 테스트하면서 스크립트를 만드신 다음에 이걸 외부 리눅스 가상호스팅에 심으면 알아서 다 자료를 뽑아서 정리해줍니다.단, 가상 호스팅은 html 계정만 받는 것이 아니라 서버의 전반적인 운영도 필요하기에 한달에 500원짜리 말고 최저가 5500원은 주셔야 위에 말씀드린 cron 명령어를 돌릴 수 있습니다. 저는 완전 초보에서 순전히 호기심을 갖고 작업한거라서 서버 관리 빼고 curl 다루는 데 꽤 걸렸습니다.