용어 사전
Struct4Search 문서와 코드에서 반복해서 사용하는 주요 용어를 정리합니다.
파이프라인 단계
| 용어 | 뜻 |
|---|---|
| 문서 파싱 | PDF를 읽어 공통 문서 구조인 IDR로 변환하는 단계 |
| 원문 청킹 | 원문을 400토큰 단위로 나누어 검색에 사용할 원문 청크를 만드는 단계 |
| NER | 문서에서 주요 Entity를 추출하는 단계 |
| Metadata 생성 | 원문 청크를 근거로 도메인 정보 18종을 추출하는 단계 |
| KG 구축 | Entity 사이의 관계를 Triple로 추출해 문서 지식그래프를 만드는 단계 |
| 검색표현 생성 | 지식그래프와 Metadata를 바탕으로 검색용 문장을 만드는 단계 |
| 인덱싱 | 원문 청크와 검색표현을 OpenSearch에 저장하는 단계 |
| 질의 처리 | 사용자 질의 원문과 임베딩 벡터를 준비하는 단계 |
| Hybrid 검색 | BM25와 Dense 검색을 함께 수행하는 단계 |
| RRF 통합 | BM25와 Dense의 순위를 통합해 검색 후보를 만드는 단계 |
| 검색 결과 점수 통합 | 검색표현을 원문 청크로 연결하고 최종 Top-10 원문 청크를 선정하는 단계 |
| LLM Context 구성 | 최종 원문 청크를 답변 모델의 근거로 구성하는 단계 |
| 답변과 출처 표기 | LLM이 claim과 이를 뒷받침하는 원문 청크 ID를 함께 반환하는 단계 |
| 답변 후처리 및 원본 출처 연결 | Citation을 검증하고 실제 문서와 원본 페이지에 연결하는 단계 |
데이터
| 용어 | 뜻 |
|---|---|
| IDR | 사용하는 파서와 관계없이 이후 단계가 같은 형식으로 처리할 수 있도록 만든 표준 문서 표현 |
| 원문 청크 | 원문을 일정한 크기로 나눈 검색·답변의 기본 근거 단위 |
| 검색 단위 | OpenSearch에 색인되는 단위. 원문 청크와 검색표현 두 종류가 있습니다 |
| 검색표현 | Metadata와 지식그래프를 바탕으로 생성한 검색 보조 문장. rte_ ID를 사용합니다 |
| Entity | 문서에서 추출한 개체. e_ ID를 사용합니다 |
| Triple | (주체, 관계, 대상) 형태로 표현한 관계. kgtr_ ID를 사용합니다 |
| 문서 지식그래프 | 문서 하나에서 추출한 Entity와 Triple을 모아 구성한 그래프 |
| Metadata | 문서에서 추출한 도메인 정보 18종. 저장 키는 domain_ 접두사를 사용합니다 |
| claim | 독립적으로 확인할 수 있는 답변의 주장 하나와 그 Citation |
| Citation | claim을 직접 뒷받침하는 원문 청크. 검색표현은 Citation으로 사용할 수 없습니다 |
ID
| ID | 뜻 |
|---|---|
d… | 문서 ID |
#p…#b…#e… | 문서 안의 페이지 · 블록 · 요소 위치 |
fc_… | 원문 청크 ID |
ruf_… | 검색과 Citation에서 사용하는 원문 검색 단위 ID |
e_… | Entity ID |
kgtr_… | Triple ID |
rte_… | 검색표현 ID |
문서 d…
└─ 요소 #p…#b…#e…
└─ 원문 청크 fc_…
├─ 원문 검색 단위 ruf_…
└─ Triple kgtr_…
└─ 검색표현 rte_…
└─ 근거 원문 검색 단위 ruf_…
fc_ 원문 청크와 원문용 ruf_ 검색 단위는 1:1로 연결됩니다. Triple은 fc_를 근거로 생성되고, rte_ 검색표현은 하나 이상의 ruf_ 원문 검색 단위를 가리킵니다. 검색과 답변의 Citation에서는 ruf_를 사용하며 rte_는 Citation으로 사용할 수 없습니다.
검색
| 용어 | 뜻 |
|---|---|
| BM25 | 질의와 문서의 어휘 일치를 이용하는 검색 방식 |
| Dense | 질의와 검색 단위의 임베딩 벡터 유사도를 이용하는 검색 방식 |
| RRF | 여러 검색 채널의 순위를 하나의 순위로 통합하는 방식 |
| search pipeline | OpenSearch에서 Hybrid 검색 결과의 RRF 통합 등을 수행하는 검색 처리 설정 |
unit_kind | 검색 단위의 종류. source 또는 retrieval_expression |
| Top-30 | OpenSearch가 RRF 통합 후 반환하는 후보 수 |
| Top-10 | 최종 답변 근거로 사용하는 원문 청크 수 |
| 투영 | 검색표현의 점수를 연결된 원문 청크에 전달하는 처리 |
| Max Score | 같은 원문 청크가 여러 점수를 받았을 때 사용하는 가장 높은 점수 |
실행과 평가
| 용어 | 뜻 |
|---|---|
| 프로파일 | 파이프라인의 실행 설정을 정의한 YAML 파일 |
| 서비스 정의 | 실행할 모델·검색 서비스와 실행 방식을 정의한 파일 |
| 워크플로 ID | 실행 조건을 기준으로 각 인덱싱 실행을 구분하는 ID |
| 완료 기록 | 문서 하나의 처리가 완료되었음을 나타내는 산출물 |
| 부분 완료 | 일부 단계만 처리된 상태. 완료된 문서로 계산하지 않습니다 |
| 재색인 | 새로운 검색 데이터를 OpenSearch 인덱스에 다시 저장하는 작업 |
| 평가셋 릴리스 | 문서·질의·정답 등 평가 자산을 하나의 버전으로 고정한 구성 |
| 기준선 | 변경 전후의 성능을 비교하기 위해 사용하는 평가 결과와 실행 조건 |
코드에서 사용하는 이름
웹 문서에서는 의미가 드러나는 이름을 사용하지만, 코드를 읽을 때는 다음 이름을 함께 볼 수 있습니다.
| 코드 이름 | 문서에서 부르는 이름 |
|---|---|
F400 · f400 | 원문 청크 |
G2 | 검색표현 |
V3 | KG 구축의 Entity-Local 청크 묶기 |
RTE · rte_ | 검색표현 |
cold | 문서 인덱싱 실행 |
reader | 답변 모델 또는 답변 생성 단계 |
projection | 검색표현 점수 투영 |