반응형 벡터화1 청크(Chunk)와 임베딩 (Embedding)이란 안녕하세요. 오늘은 지난 시간에 공부한 RAG와 파인튜닝에 이어서 청크와 임베딩에 대하여 알아보겠습니다. 청크 (Chunk)1. 개념청크(Chunk)란, 큰 텍스트 데이터를 작은 조각으로 나누는 것을 말합니다.주로 RAG와 같은 검색 기반 모델에서 사용되며, 한 번에 너무 많은 텍스트를 처리하면 모델의 한계(예: 토큰 제한)에 걸리기 때문에, 효율적인 검색을 위해 청크로 나누어 처리합니다.2. 청크를 나누는 기준길이 기준: 일반적으로 512~1024 토큰 정도로 나눔.문단 기준: 의미가 잘리지 않도록 문단 단위로 나눔.주제 기준: 같은 주제나 문맥을 가진 부분끼리 묶음.3. 청크의 활용RAG:질문에 맞는 청크를 찾아서 관련 정보를 제공.검색 단계에서 청크별로 유사도를 계산해 적합한 청크를 참조.파인튜닝:.. 2025. 3. 10. 이전 1 다음 반응형
