파이썬 150줄로 Full-text 검색 엔진 만들기...에 관한 글

저는 Geeknews라고, 개발 관련 뉴스들을 묶어 매주 이메일로 알려주는 서비스를 애용하고 있는데요, 이번 내용에 조금 흥미로웠던 것이 있어서 가져와봅니당 ㅎㅎ 

원문 링크

news.hada.io/topic?id=4014&utm_source=weekly&utm_medium=email&utm_campaign=202115

150줄의 파이썬 코드로 Full-Text 검색엔진 만들기 | GeekNews

bart.degoe.de/building-a-full-text-search-engine-150-lines-of-code/

Building a full-text search engine in 150 lines of Python code · Bart de Goede

 

참고하면 좋을 글 - 구글에서 full-text search가 이루어지는 과정

예전에 봤던 유튜브인데 ㅋㅋㅋ 구글 검색이 어떻게 이루어지는가에 관한 동영상입니다. 여러분들도 한번 보시는 것을 강추해요 ㅎㅎㅎ youtu.be/0eKVizvYSUQ

(참고로 구글은.. 이런 기초 동영상들이랑 팟캐스트가 있는데 꽤 재미있는 주제들이 많습니다. 보시는 것 추천추천 ㅎㅎ)

사담으로 저희 팀은 검색과 아주 긴밀하게 연관되어있어서, 어떻게보면 하는 일 모두가 검색 품질을 개선하기 위한 업무입니다. 최근에는 (제가 한것은 아니지만..;;) 이런 Full-text의 컨텐츠를 바탕으로 어떤 상품을 추천하면 좋을지에 관한 것을 진행했었어요. 세미나를 들으면서 꽤 흥미로웠는데, 추천 이전에 이런 full-text 검색이 어떻게 이루어지는지에 대해 알고있으면 좋다고 생각합니다. (제가ㅎ)

 

내맘대로 프로세스를 정리하자면

클래스 -> 인덱스 생성 -> 토큰화 -> 대소문자 처리 -> 어간 추출 -> 불용어 추출 -> 기본 검색 -> 연관도 기능 -> Inverse Document Frequency 추가

이렇게 되는데... 실제 포털 사이트들에서는 여기에 퍼포먼스를 높이기 위해 약간의 처리를 더해주겠죠????? 

 

---

매우 짧은 코드로 full-text 검색의 기본을 알게될 수 있어서 좋았던 글 입니다. ㅇㅅㅇ;; 자연어처리의 기본인 것 같기도 하고.. 아직 갈길이 멀지만 주절주절 정리해봅니다 후후