ETL（抽出・変換・書き出し）
複数のソースから生データを抽出し、クリーンで構造化された形式に変換して、分析のために中央のデータウェアハウスにロードするデータ統合プロセス。
Googleの『blockchain-etl』などのオープンソースプロジェクトは、EthereumやBitcoinのデータをGoogle BigQueryにエクスポートし、アーカイブノードを実行せずにブロックチェーンの全履歴に対してSQLクエリを実行できるようにします。
graph LR
Center["ETL（抽出・変換・書き出し）"]:::main
Rel_indexing_search["indexing-search"]:::related -.-> Center
click Rel_indexing_search "/terms/indexing-search"
Rel_consensus_mechanism["consensus-mechanism"]:::related -.-> Center
click Rel_consensus_mechanism "/terms/consensus-mechanism"
Rel_edge_computing["edge-computing"]:::related -.-> Center
click Rel_edge_computing "/terms/edge-computing"
classDef main fill:#7c3aed,stroke:#8b5cf6,stroke-width:2px,color:white,font-weight:bold,rx:5,ry:5;
classDef pre fill:#0f172a,stroke:#3b82f6,color:#94a3b8,rx:5,ry:5;
classDef child fill:#0f172a,stroke:#10b981,color:#94a3b8,rx:5,ry:5;
classDef related fill:#0f172a,stroke:#8b5cf6,stroke-dasharray: 5 5,color:#94a3b8,rx:5,ry:5;
linkStyle default stroke:#4b5563,stroke-width:2px;
🧠 理解度チェック
🧒 5歳でもわかるように説明
別々の店で材料を買ってケーキを焼くことを想像してください。抽出（Extract）は、農場や製粉所に行って卵や小麦を手に入れること。変換（Transform）は、キッチンで卵を割り、小麦を小麦粉に挽くこと。ロード（Load）は、混ぜた生地を型に流し込むことです。ソフトウェアのETLは、様々なアプリから散らかった生データを集め、綺麗に整理して1つの巨大なデータベースに保管し、管理者が読みやすいレポートを作れるようにします。
🤓 Expert Deep Dive
❓ よくある質問
What is the difference between ETL and ELT?
In ETL (Extract, Transform, Load), data is transformed in a separate processing engine before it is loaded into the data warehouse. In ELT (Extract, Load, Transform), raw data is loaded directly into the data warehouse, and transformations are performed inside the warehouse using its own computing power (e.g., using SQL in Snowflake or BigQuery).
Why is the Transform step necessary?
Raw data from different sources is often messy and incompatible. Dates might be in different formats, databases might use different ID schemes, and text might contain errors. Transformation cleans, standardizes, and joins this data so that it can be accurately analyzed.
How is Blockchain ETL different from traditional ETL?
Blockchain data is extracted from RPC nodes in a raw, unreadable hexadecimal format. The transformation step requires an ABI (Application Binary Interface) to decode these hex strings into readable function calls and event logs. Additionally, blockchain ETL must handle chain reorganizations (where recent blocks are rewritten).