ETL이란 무엇인가?
안녕하세요, 오늘은 ETL(Extract, Transform, Load)에 대하여 알아보겠습니다. 1. ETL 이란?ETL(Extract, Transform, Load)은 데이터를 DW나 DM에 적재하기 위해 거치는 과정으로, 각 단계를 좀 더 상세하게 설명하면 다음과 같습니다.1. 추출 (Extract)추출 단계에서는 데이터를 여러 원천 시스템에서 가져옵니다. 원천 데이터는 보통 다양한 형식과 구조로 존재하며, 예를 들어 관계형 데이터베이스, 로그 파일, 웹 애플리케이션, API, 또는 IoT 센서에서 생성된 데이터 등을 포함할 수 있습니다. 작업 내용:각 원천 시스템에 접근해 데이터를 가져오며, 이 때 SQL 쿼리, API 요청, 파일 읽기 등이 사용됩니다.실시간 또는 일정 주기에 맞춰 데이터를 가져..
2024. 11. 9.
LabelEncoder와 OneHotEncoder의 차이는 무엇일까?
안녕하세요, 오늘은 LabelEncoder와 OneHotEncoder의 차이에 대하여 알아보겠습니다. LabelEncoder와 OneHotEncoder는 모두 범주형(object) 데이터를 수치형 데이터로 변환할 때 사용하는 인코딩 도구지만,사용 용도가 약간 다릅니다. 1. LabelEncoder개요 - LabelEncoder는 범주형 데이터의 각 값을 고유한 숫자(Label)로 변환합니다. 예를 들어, 'Red', 'Blue', 'Green'이라는 세 개의 카테고리가 있으면, 각각 0, 1, 2로 인코딩됩니다. 사용 용도 - 데이터의 카테고리 간에 순서가 있거나, 특정한 모델(예: 트리 기반 모델)에서는 숫자 자체가 의미를 가지지 않기 때문에, 고유한 숫자만 있으면 되는 경우 사용합니다. 예시 -'소형..
2024. 11. 5.