반응형 LLM6 [AI] LLM 핵심 개념 요약 정리 안녕하세요, 개인 공부한 내용을 정리하는 게시글입니다. LLM 핵심 개념 요약 정리 1. 실습 환경 구성● Python 버전: 3.12 ● API Key 관리: - .env 파일에 API Key 저장 → python-dotenv 설치 필요 from dotenv import load_dotenvload_dotenv() # .env에서 OPENAI_API_KEY 로드 ● TTS (Text to Speech): tts-1-hd 모델을 사용.from openai import OpenAIclient.audio.speech.create( model="tts-1-hd", voice="alloy", input="Hello tts!") ● 음성 → 텍스트 (STT): - OpenAI Whi.. 2025. 6. 15. LangChain(랭체인)이란? 안녕하세요. 오늘은 랭체인에 대하여 알아보겠습니다. LangChain은 대규모 언어 모델(LLM) 을 이용해 다양한 기능을 구현할 수 있도록 도와주는 파이썬 기반의 프레임워크입니다. 특히, PromptTemplate과 Chain 같은 개념을 활용하여 체계적이고 효율적인 개발이 가능합니다.LangChain을 쓰면 질문 응답 시스템, AI 에이전트, 챗봇, 콘텐츠 생성기와 같은 기능을 쉽고 빠르게 구현할 수 있습니다. 1. 주요 개념 정리 (PromptTemplate, Chain, Documents 변환)(1) PromptTemplatePromptTemplate은 LLM에게 전달할 프롬프트(입력 문장)를 템플릿 형태로 관리하는 도구입니다.상황에 따라 동적으로 바뀌는 질문이나 지시사항을 일관된 형식으로 관리하.. 2025. 3. 22. 청크(Chunk)와 임베딩 (Embedding)이란 안녕하세요. 오늘은 지난 시간에 공부한 RAG와 파인튜닝에 이어서 청크와 임베딩에 대하여 알아보겠습니다. 청크 (Chunk)1. 개념청크(Chunk)란, 큰 텍스트 데이터를 작은 조각으로 나누는 것을 말합니다.주로 RAG와 같은 검색 기반 모델에서 사용되며, 한 번에 너무 많은 텍스트를 처리하면 모델의 한계(예: 토큰 제한)에 걸리기 때문에, 효율적인 검색을 위해 청크로 나누어 처리합니다.2. 청크를 나누는 기준길이 기준: 일반적으로 512~1024 토큰 정도로 나눔.문단 기준: 의미가 잘리지 않도록 문단 단위로 나눔.주제 기준: 같은 주제나 문맥을 가진 부분끼리 묶음.3. 청크의 활용RAG:질문에 맞는 청크를 찾아서 관련 정보를 제공.검색 단계에서 청크별로 유사도를 계산해 적합한 청크를 참조.파인튜닝:.. 2025. 3. 10. [LLM]파인튜닝 (Fine-tuning)? RAG (Retrieval-Augmented Generation)? 무엇일까?? 안녕하세요. 오늘은 LLM (Large Language Model)에서 빠질수 없는 파인튜닝 (Fine-tuning)과 RAG (Retrieval-Augmented Generation)에 대하여 알아보겠습니다. 1. 파인튜닝 (Fine-tuning)1. 개념파인튜닝(Fine-tuning)이란, 사전 학습된 대형 언어 모델(LLM)을 특정 도메인이나 작업에 맞게 추가 학습시키는 과정입니다. 이미 대규모 텍스트 데이터를 통해 기본적인 언어 이해 능력을 갖춘 모델을, 특정 목적에 맞춰 추가 데이터를 학습시켜 성능을 향상시킵니다.주로 Supervised Fine-tuning 방식을 사용하며, 정답이 포함된 데이터셋으로 모델의 가중치를 조정합니다.2. 장점도메인 특화: 특정 산업 또는 주제에 맞춘 지식을 강화해 .. 2025. 3. 9. LLM과 RAG란 무엇일까? 안녕하세요. 오늘은 LLM과 RAG에 대하여 알아보겠습니다. 1. LLM (Large Language Model) — 대규모 언어 모델LLM은 방대한 양의 텍스트 데이터를 학습하여 자연어를 이해하고 생성할 수 있는 AI 모델입니다.대표적으로 GPT (Generative Pre-trained Transformer) 시리즈가 LLM에 해당합니다. 1_1. 특징:대규모 학습 데이터:인터넷 텍스트, 위키피디아, 논문 등에서 수집한 데이터를 기반으로 학습.언어 이해 및 생성:대화, 번역, 요약, 코딩 등 다양한 작업 수행 가능.확률 기반 예측:주어진 문맥에서 다음에 나올 단어를 확률적으로 예측.사전 학습(Pre-training)과 미세 조정(Fine-tuning):대량의 데이터로 사전 학습 후, 특정 작업에 .. 2025. 3. 4. 대형 언어 모델(LLM) 및 NLP 대표 분석 기법에 대하여 알아보자. 안녕하세요. 오늘은 대형 언어 모델(LLM) 및 NLP 대표 분석 기법에 대하여 알아보겠습니다. 1. 대형 언어 모델(LLM)의 정의정의:대형 언어 모델은 방대한 양의 텍스트 데이터를 학습하여 언어의 패턴, 문맥, 의미를 이해하고 생성할 수 있는 딥러닝 모델입니다.아키텍처: 주로 Transformer 기반으로 구성되어 있으며, self-attention 메커니즘을 통해 복잡한 언어 표현을 학습합니다.예시: GPT, BERT, T5 등이 있습니다.특징:다양한 NLP 태스크(번역, 요약, 질문 응답, 감성 분석 등)를 하나의 모델로 수행할 수 있습니다.사전 학습 후 특정 태스크에 대해 미세 조정(fine-tuning)을 진행하여 높은 성능을 발휘합니다. 2. LLM을 활용한 대표 NLP 분석 기법2_1. .. 2025. 2. 21. 이전 1 다음 반응형
