반응형 파인튜닝2 청크(Chunk)와 임베딩 (Embedding)이란 안녕하세요. 오늘은 지난 시간에 공부한 RAG와 파인튜닝에 이어서 청크와 임베딩에 대하여 알아보겠습니다. 청크 (Chunk)1. 개념청크(Chunk)란, 큰 텍스트 데이터를 작은 조각으로 나누는 것을 말합니다.주로 RAG와 같은 검색 기반 모델에서 사용되며, 한 번에 너무 많은 텍스트를 처리하면 모델의 한계(예: 토큰 제한)에 걸리기 때문에, 효율적인 검색을 위해 청크로 나누어 처리합니다.2. 청크를 나누는 기준길이 기준: 일반적으로 512~1024 토큰 정도로 나눔.문단 기준: 의미가 잘리지 않도록 문단 단위로 나눔.주제 기준: 같은 주제나 문맥을 가진 부분끼리 묶음.3. 청크의 활용RAG:질문에 맞는 청크를 찾아서 관련 정보를 제공.검색 단계에서 청크별로 유사도를 계산해 적합한 청크를 참조.파인튜닝:.. 2025. 3. 10. [LLM]파인튜닝 (Fine-tuning)? RAG (Retrieval-Augmented Generation)? 무엇일까?? 안녕하세요. 오늘은 LLM (Large Language Model)에서 빠질수 없는 파인튜닝 (Fine-tuning)과 RAG (Retrieval-Augmented Generation)에 대하여 알아보겠습니다. 1. 파인튜닝 (Fine-tuning)1. 개념파인튜닝(Fine-tuning)이란, 사전 학습된 대형 언어 모델(LLM)을 특정 도메인이나 작업에 맞게 추가 학습시키는 과정입니다. 이미 대규모 텍스트 데이터를 통해 기본적인 언어 이해 능력을 갖춘 모델을, 특정 목적에 맞춰 추가 데이터를 학습시켜 성능을 향상시킵니다.주로 Supervised Fine-tuning 방식을 사용하며, 정답이 포함된 데이터셋으로 모델의 가중치를 조정합니다.2. 장점도메인 특화: 특정 산업 또는 주제에 맞춘 지식을 강화해 .. 2025. 3. 9. 이전 1 다음 반응형
