반응형 Rag4 [AI] LLM 핵심 개념 요약 정리 안녕하세요, 개인 공부한 내용을 정리하는 게시글입니다. LLM 핵심 개념 요약 정리 1. 실습 환경 구성● Python 버전: 3.12 ● API Key 관리: - .env 파일에 API Key 저장 → python-dotenv 설치 필요 from dotenv import load_dotenvload_dotenv() # .env에서 OPENAI_API_KEY 로드 ● TTS (Text to Speech): tts-1-hd 모델을 사용.from openai import OpenAIclient.audio.speech.create( model="tts-1-hd", voice="alloy", input="Hello tts!") ● 음성 → 텍스트 (STT): - OpenAI Whi.. 2025. 6. 15. 청크(Chunk)와 임베딩 (Embedding)이란 안녕하세요. 오늘은 지난 시간에 공부한 RAG와 파인튜닝에 이어서 청크와 임베딩에 대하여 알아보겠습니다. 청크 (Chunk)1. 개념청크(Chunk)란, 큰 텍스트 데이터를 작은 조각으로 나누는 것을 말합니다.주로 RAG와 같은 검색 기반 모델에서 사용되며, 한 번에 너무 많은 텍스트를 처리하면 모델의 한계(예: 토큰 제한)에 걸리기 때문에, 효율적인 검색을 위해 청크로 나누어 처리합니다.2. 청크를 나누는 기준길이 기준: 일반적으로 512~1024 토큰 정도로 나눔.문단 기준: 의미가 잘리지 않도록 문단 단위로 나눔.주제 기준: 같은 주제나 문맥을 가진 부분끼리 묶음.3. 청크의 활용RAG:질문에 맞는 청크를 찾아서 관련 정보를 제공.검색 단계에서 청크별로 유사도를 계산해 적합한 청크를 참조.파인튜닝:.. 2025. 3. 10. [LLM]파인튜닝 (Fine-tuning)? RAG (Retrieval-Augmented Generation)? 무엇일까?? 안녕하세요. 오늘은 LLM (Large Language Model)에서 빠질수 없는 파인튜닝 (Fine-tuning)과 RAG (Retrieval-Augmented Generation)에 대하여 알아보겠습니다. 1. 파인튜닝 (Fine-tuning)1. 개념파인튜닝(Fine-tuning)이란, 사전 학습된 대형 언어 모델(LLM)을 특정 도메인이나 작업에 맞게 추가 학습시키는 과정입니다. 이미 대규모 텍스트 데이터를 통해 기본적인 언어 이해 능력을 갖춘 모델을, 특정 목적에 맞춰 추가 데이터를 학습시켜 성능을 향상시킵니다.주로 Supervised Fine-tuning 방식을 사용하며, 정답이 포함된 데이터셋으로 모델의 가중치를 조정합니다.2. 장점도메인 특화: 특정 산업 또는 주제에 맞춘 지식을 강화해 .. 2025. 3. 9. LLM과 RAG란 무엇일까? 안녕하세요. 오늘은 LLM과 RAG에 대하여 알아보겠습니다. 1. LLM (Large Language Model) — 대규모 언어 모델LLM은 방대한 양의 텍스트 데이터를 학습하여 자연어를 이해하고 생성할 수 있는 AI 모델입니다.대표적으로 GPT (Generative Pre-trained Transformer) 시리즈가 LLM에 해당합니다. 1_1. 특징:대규모 학습 데이터:인터넷 텍스트, 위키피디아, 논문 등에서 수집한 데이터를 기반으로 학습.언어 이해 및 생성:대화, 번역, 요약, 코딩 등 다양한 작업 수행 가능.확률 기반 예측:주어진 문맥에서 다음에 나올 단어를 확률적으로 예측.사전 학습(Pre-training)과 미세 조정(Fine-tuning):대량의 데이터로 사전 학습 후, 특정 작업에 .. 2025. 3. 4. 이전 1 다음 반응형
