반응형
전처리
-
검색 서비스 기획 기초 2편검색 엔진 뜯어보기 검색 엔진의 품질을 높일 수 있는 요소는 크게 다음과 같습니다. 1. 텍스트 전처리 2. 색인 3. 검색 알고리즘 이 문서에서는 위 세 가지 요소에 대한 기초 지식을 다룰 예정입니다. 텍스트 전처리 과정 이전 글에서 색인 과정에서의 전처리에 대해 언급했습니다. 사용자의 검색어를 죄다 뜯어서 사전을 만든다고 생각해 봅시다. 문제집 맨 뒷장에 보면 주요 키워드들이 어느 페이지에 나오는지 적혀있던 기억을 떠올려 보세요. 그 키워드 사전을 만들기 위해 필요한 것이 텍스트 전처리 과정입니다. 검색 결과가 나오지 않는 문제는 텍스트 전처리 과정을 의심해 볼 수 있습니다. 아예 사전에 등재돼있지 않은 키워드를 찾으려고 하는 꼴이니까요. 과정의 순서가 중요한 것은 아니나, 일반적인 흐름으로 소개합니..
반응형