データセット評価指標（Dataset Evaluation Metrics）
機械学習モデルのトレーニングに使用するデータセットの品質、バランス、代表性を評価するための定量的指標。
「Data-Centric AI（データ中心のAI）」という考え方では、ハイパーパラメータの調整よりもデータセットの指標を改善する方が、モデルの性能向上に直結するとされています。
graph LR
Center["データセット評価指標（Dataset Evaluation Metrics）"]:::main
Rel_decentralized_credit_scoring_algorithms["decentralized-credit-scoring-algorithms"]:::related -.-> Center
click Rel_decentralized_credit_scoring_algorithms "/terms/decentralized-credit-scoring-algorithms"
Rel_risk_assessment["risk-assessment"]:::related -.-> Center
click Rel_risk_assessment "/terms/risk-assessment"
Rel_digital_certificate_management["digital-certificate-management"]:::related -.-> Center
click Rel_digital_certificate_management "/terms/digital-certificate-management"
classDef main fill:#7c3aed,stroke:#8b5cf6,stroke-width:2px,color:white,font-weight:bold,rx:5,ry:5;
classDef pre fill:#0f172a,stroke:#3b82f6,color:#94a3b8,rx:5,ry:5;
classDef child fill:#0f172a,stroke:#10b981,color:#94a3b8,rx:5,ry:5;
classDef related fill:#0f172a,stroke:#8b5cf6,stroke-dasharray: 5 5,color:#94a3b8,rx:5,ry:5;
linkStyle default stroke:#4b5563,stroke-width:2px;
🧒 5歳でもわかるように説明
フラッシュカードで子供に果物を教えるとします。データセットの評価とは、授業の前にカードをチェックすることです。リンゴのカードが50枚あるのにバナナが1枚しかない（不均衡）、または白紙のカードがある（欠損値）場合、子供は正しく学べません。
🤓 Expert Deep Dive
主要なカテゴリ：1. データ品質：Null値の割合、カーディナリティ。2. ドリフト：KLダイバージェンスやPSIは、本番環境のデータが学習データからどれだけ乖離したかを定量化します。3. クラス不均衡：SMOTEなどのオーバーサンプリングが必要です。4. 合成データの評価：FID（Fréchet Inception Distance）は、AIが生成した画像データが現実のデータ分布にどれだけ近いかを評価します。
❓ よくある質問
What is the difference between dataset metrics and model metrics?
Dataset metrics evaluate the raw data before training (e.g., checking for missing values or class imbalance). Model metrics evaluate the AI's performance after training (e.g., checking its accuracy or error rate).
What is 'data leakage' in machine learning?
Data leakage happens when the dataset accidentally includes clues about the answer that won't be available in the real world. For example, predicting if a patient has cancer, but including their 'chemotherapy' medical code in the training data.
How do you measure if a dataset has changed over time?
Data scientists use metrics like KL Divergence or Population Stability Index (PSI) to compare the original training dataset with new, real-world data to see if the statistical distribution has 'drifted'.