반응형 분류 전체보기211 [AI] 머신러닝 핵심 개념 요약 정리 - Day_2 안녕하세요, 개인 공부한 내용을 정리하는 게시글입니다. 머신러닝 핵심 개념 요약 정리 - Day_2 1. 경사 하강법 (Gradient Descent)경사 하강법은 손실함수를 줄이기 위한 최적화 알고리즘입니다.- 에포크 (Epoch)**전체 훈련 세트를 1회 반복 학습한 것을 1에포크(epoch)**라고 합니다.- 경사 하강법의 종류방법설명특징배치 경사 하강법전체 데이터 사용가장 안정적이지만 느림확률적 경사 하강법 (SGD)샘플 하나씩 사용빠르지만 불안정미니배치 경사 하강법일정량 묶음 사용속도와 안정성의 균형 → 딥러닝에서 주로 사용 2. 손실 함수 (Loss Function) 모델이 얼마나 잘못 예측하고 있는지 수치적으로 나타냄.손실값이 클수록 모델 성능이 나쁨회귀 문제에 주로 사용분류 문제에서는 .. 2025. 5. 31. [AI] 머신러닝 핵심 개념 요약 정리 - Day_1 안녕하세요, 개인 공부한 내용을 정리하는 게시글입니다. 머신러닝 핵심 개념 요약 정리 - Day_1 1. 모델 성능과 일반화: 과대적합 vs 과소적합용어설명특징판단 기준과대적합 (Overfitting)훈련 세트에서는 매우 잘 맞지만 테스트 세트 성능이 낮음훈련 성능 ▶ 테스트 성능R²(train) ≫ R²(test)과소적합 (Underfitting)모델이 데이터의 패턴을 잘 학습하지 못함전체적으로 성능이 낮음R²(train) ≈ R²(test) 모두 낮음 or test > train적절한 학습적당히 일반화된 모델훈련 세트가 조금 더 높지만 큰 차이는 없음R²(train) > R²(test) (약간 높음)* R²: 결정계수. 회귀 모델의 예측력이 얼마나 좋은지를 나타내는 지표 (1에 가까울수록 좋음) 2.. 2025. 5. 30. LangChain(랭체인)이란? 안녕하세요. 오늘은 랭체인에 대하여 알아보겠습니다. LangChain은 대규모 언어 모델(LLM) 을 이용해 다양한 기능을 구현할 수 있도록 도와주는 파이썬 기반의 프레임워크입니다. 특히, PromptTemplate과 Chain 같은 개념을 활용하여 체계적이고 효율적인 개발이 가능합니다.LangChain을 쓰면 질문 응답 시스템, AI 에이전트, 챗봇, 콘텐츠 생성기와 같은 기능을 쉽고 빠르게 구현할 수 있습니다. 1. 주요 개념 정리 (PromptTemplate, Chain, Documents 변환)(1) PromptTemplatePromptTemplate은 LLM에게 전달할 프롬프트(입력 문장)를 템플릿 형태로 관리하는 도구입니다.상황에 따라 동적으로 바뀌는 질문이나 지시사항을 일관된 형식으로 관리하.. 2025. 3. 22. 청크(Chunk)와 임베딩 (Embedding)이란 안녕하세요. 오늘은 지난 시간에 공부한 RAG와 파인튜닝에 이어서 청크와 임베딩에 대하여 알아보겠습니다. 청크 (Chunk)1. 개념청크(Chunk)란, 큰 텍스트 데이터를 작은 조각으로 나누는 것을 말합니다.주로 RAG와 같은 검색 기반 모델에서 사용되며, 한 번에 너무 많은 텍스트를 처리하면 모델의 한계(예: 토큰 제한)에 걸리기 때문에, 효율적인 검색을 위해 청크로 나누어 처리합니다.2. 청크를 나누는 기준길이 기준: 일반적으로 512~1024 토큰 정도로 나눔.문단 기준: 의미가 잘리지 않도록 문단 단위로 나눔.주제 기준: 같은 주제나 문맥을 가진 부분끼리 묶음.3. 청크의 활용RAG:질문에 맞는 청크를 찾아서 관련 정보를 제공.검색 단계에서 청크별로 유사도를 계산해 적합한 청크를 참조.파인튜닝:.. 2025. 3. 10. [LLM]파인튜닝 (Fine-tuning)? RAG (Retrieval-Augmented Generation)? 무엇일까?? 안녕하세요. 오늘은 LLM (Large Language Model)에서 빠질수 없는 파인튜닝 (Fine-tuning)과 RAG (Retrieval-Augmented Generation)에 대하여 알아보겠습니다. 1. 파인튜닝 (Fine-tuning)1. 개념파인튜닝(Fine-tuning)이란, 사전 학습된 대형 언어 모델(LLM)을 특정 도메인이나 작업에 맞게 추가 학습시키는 과정입니다. 이미 대규모 텍스트 데이터를 통해 기본적인 언어 이해 능력을 갖춘 모델을, 특정 목적에 맞춰 추가 데이터를 학습시켜 성능을 향상시킵니다.주로 Supervised Fine-tuning 방식을 사용하며, 정답이 포함된 데이터셋으로 모델의 가중치를 조정합니다.2. 장점도메인 특화: 특정 산업 또는 주제에 맞춘 지식을 강화해 .. 2025. 3. 9. LLM과 RAG란 무엇일까? 안녕하세요. 오늘은 LLM과 RAG에 대하여 알아보겠습니다. 1. LLM (Large Language Model) — 대규모 언어 모델LLM은 방대한 양의 텍스트 데이터를 학습하여 자연어를 이해하고 생성할 수 있는 AI 모델입니다.대표적으로 GPT (Generative Pre-trained Transformer) 시리즈가 LLM에 해당합니다. 1_1. 특징:대규모 학습 데이터:인터넷 텍스트, 위키피디아, 논문 등에서 수집한 데이터를 기반으로 학습.언어 이해 및 생성:대화, 번역, 요약, 코딩 등 다양한 작업 수행 가능.확률 기반 예측:주어진 문맥에서 다음에 나올 단어를 확률적으로 예측.사전 학습(Pre-training)과 미세 조정(Fine-tuning):대량의 데이터로 사전 학습 후, 특정 작업에 .. 2025. 3. 4. 이전 1 2 3 4 5 ··· 36 다음 반응형
