데이터셋 평가 지표 (Dataset Evaluation Metrics)
머신러닝 모델 학습을 위한 데이터셋의 품질, 균형, 대표성 및 적합성을 평가하는 데 사용되는 정량적 측정 기준.
데이터 중심 AI(Data-Centric AI)는 하이퍼파라미터를 조정하는 것보다 이러한 데이터셋 지표를 개선하는 것이 모델 성능을 더 향상시킨다고 강조합니다.
graph LR
Center["데이터셋 평가 지표 (Dataset Evaluation Metrics)"]:::main
Rel_decentralized_credit_scoring_algorithms["decentralized-credit-scoring-algorithms"]:::related -.-> Center
click Rel_decentralized_credit_scoring_algorithms "/terms/decentralized-credit-scoring-algorithms"
Rel_risk_assessment["risk-assessment"]:::related -.-> Center
click Rel_risk_assessment "/terms/risk-assessment"
Rel_digital_certificate_management["digital-certificate-management"]:::related -.-> Center
click Rel_digital_certificate_management "/terms/digital-certificate-management"
classDef main fill:#7c3aed,stroke:#8b5cf6,stroke-width:2px,color:white,font-weight:bold,rx:5,ry:5;
classDef pre fill:#0f172a,stroke:#3b82f6,color:#94a3b8,rx:5,ry:5;
classDef child fill:#0f172a,stroke:#10b981,color:#94a3b8,rx:5,ry:5;
classDef related fill:#0f172a,stroke:#8b5cf6,stroke-dasharray: 5 5,color:#94a3b8,rx:5,ry:5;
linkStyle default stroke:#4b5563,stroke-width:2px;
🧒 5살도 이해할 수 있게 설명
아이에게 낱말 카드로 동물을 가르친다고 상상해 보세요. 데이터셋 평가는 수업을 시작하기 전에 카드를 확인하는 것과 같습니다. 강아지 카드는 50장인데 고양이 카드가 1장뿐인지(클래스 불균형), 빈 카드는 없는지(데이터 품질) 확인해야 합니다. 카드가 엉망이면 아이는 제대로 배울 수 없습니다.
🤓 Expert Deep Dive
주요 범주: 1. 데이터 품질: Null 값 비율, 카디널리티. 2. 분포 및 드리프트: KL 발산과 PSI는 학습 데이터와 프로덕션 데이터 간의 분포 차이를 정량화합니다. 3. 클래스 불균형: 심각한 불균형은 SMOTE와 같은 오버샘플링이 필요합니다. 4. 합성 데이터 평가: FID(Fréchet Inception Distance)는 생성된 이미지가 실제 분포와 얼마나 일치하는지 평가합니다.
❓ 자주 묻는 질문
What is the difference between dataset metrics and model metrics?
Dataset metrics evaluate the raw data before training (e.g., checking for missing values or class imbalance). Model metrics evaluate the AI's performance after training (e.g., checking its accuracy or error rate).
What is 'data leakage' in machine learning?
Data leakage happens when the dataset accidentally includes clues about the answer that won't be available in the real world. For example, predicting if a patient has cancer, but including their 'chemotherapy' medical code in the training data.
How do you measure if a dataset has changed over time?
Data scientists use metrics like KL Divergence or Population Stability Index (PSI) to compare the original training dataset with new, real-world data to see if the statistical distribution has 'drifted'.