말씀하시는 것이 바로, 검색엔진의 기능 중 가장 중요한 text mining 기술이죠.. ㅎㅎ

기본은 그리 어려운 기술이 아니라서 조금한 알아보시면 금방 익히실 수 있는 건데요...

문제는 쌓여가는 html 문서에서 딱 맞는 자료를 찾는 것이 어렵다는 겁니다..

가장 쉬는 것이 하나의 html 문서 안에 찾는 낱말(keyword)이 얼마나 많이 들어있는 가하는 확률로 점수를 매기는 방법인데요.

이 방법도 글의 성격에 따라 꼭 맞는 것은 아니라서 관계어, 유사어 등에 대한 것도 비교하고, 관련 참조 문서와의 연관성 등도 비교하는 등 많은 보강이 필요합니다.

전 97년말에 asp와 vb, javascript 등으로 구현한 기억이 있네요... 워낙 오래 전이지만요.. ㅋㅋ

말씀하시는게 Lucene 아닌가 싶기도 하공...-_-;;;