• 색인 작업은 사용자가 원하는 내용을 빠르고 손쉽게 찾아낼 수 있게 서비스를 제공할 때 반드시 거쳐야 할 필요악이라고 볼 수 도 있다
• 그렇다고 색인 작업에 너무 집중하기 보다는 검색 과정에서 더 나은 경험을 할 수 있게 신경써야 한다

2.1 루씬 데이터 모델

2.1.1 문서와 필드

• 문서는 루씬에서 색인과 검색 작업을 진행할 때 한 건이라고 부를 수 있는 단위다

• 문서는 하나 또는 그 이상의 필드를 담 고 있으며, 필드 안에 실제 내용(텍스트나 바이트 배열의 값)이 들어간다

• 각 필드를 기준으로 처리하는 작업

  1. 필드의 내용을 색인할 것인지 하지 않을 것인지 여부
     • 색인한다고 하면, 토큰나이징 작업을 거친다
  2. 필드의 내용을 색인하는 경우
     • 필드마다 추가적으로 텀 벡터(term vector)를 저장하게 설정할 수 있다
     • 해당 필드에서 생성된 텀 벡터를 모두 모으면 해당 필드 내부의 역파일 색인이라 볼 수 있다
     • 텀 벡터를 통해 필드의 토큰을 모두 찾아 볼수도 있다
  3. 색인 여부와 관계없이 필드의 내용을 저장할 것인지 설정 할 수 있다
     • 분석 절차를 거치지 않은 텍스트가 색인에 그대로 저장되며, 나중에 불러와 사용할 수 있다
     • 사용자에게 그대로 보여줄 필요가 있는 문서의 제목, 논문의 초록 등이 이에 해당한다

• 노트

  

2.1.2 유연한 스키마

• 데이터베이스와 달리 루씬에서는 별도의 스키마가 존재하지 않는다

  → 색인에 추가하려고 준비하는 각 문서 객체가 서로 완전히 다른 필드 구조를 가지더라도 문제 X

• 하나의 색인에 두 종류 이상의 문서를 함께 넣어둘 수도 있다

  Ex) 판매 중인 상품의 이름과 가격 등을 넣은 필드, 사람의 이름과 나이 성별 등을 넣은 문서를 하나의 색인에 함께 넣어둘 수 있다

• 심지어 '메타 문서'(색인을 마지막으로 업데이트한 시점, 내용에 대한 부가 설명)을 함께 담을 수도 있다

2.1.3 비정규화

• 데이터베이스와 달리 색인에 추가하려는 정보는 모두 텍스트로 변환하고 비정규화(denormalize)해야 한다

• 항상 루씬이 지원하는 문서 표현 방식에 맞춰 원본 파일을 적절하게 변형해야 한다

• 루씬의 문서는 완전히 1차원적

  → 별다른 조인 연산이 없고 본문을 중복해서 저장하거나 애플리케이션에서 처리해야 한다는 것!!

2.2 색인 절차

• 색인 작업은 다음(그림 2.1)과 같이 크게 세 개의 기능 단위로 구분 가능

  

• 색인 작업은 다음과 같은 과정을 거친다

  1. 원본 문서 파일에서 텍스트 추출
  2. 루씬의 Field 객체를 만들어 최종적으로는 Document 객체 생성
  3. Field 객체에 담겨 있는 텍스트는 분석 절차를 거쳐 일련의 토큰 스트림으로 변환
  4. 세그먼트 구조의 색인에 토큰이 하나씩 추가

2.2.1 텍스트 추출과 문서 생성