ETL (Extract, Transform, Load)
Ein Datenintegrationsprozess, der Rohdaten aus mehreren Quellen extrahiert, in ein sauberes und strukturiertes Format konvertiert und zur Analyse in ein zentrales Data Warehouse lädt.
Open-Source-Projekte wie Googles blockchain-etl exportieren Ethereum- und Bitcoin-Daten in Google BigQuery und ermöglichen SQL-Abfragen über die gesamte Blockchain-Historie.
graph LR
Center["ETL (Extract, Transform, Load)"]:::main
Rel_indexing_search["indexing-search"]:::related -.-> Center
click Rel_indexing_search "/terms/indexing-search"
Rel_consensus_mechanism["consensus-mechanism"]:::related -.-> Center
click Rel_consensus_mechanism "/terms/consensus-mechanism"
Rel_edge_computing["edge-computing"]:::related -.-> Center
click Rel_edge_computing "/terms/edge-computing"
classDef main fill:#7c3aed,stroke:#8b5cf6,stroke-width:2px,color:white,font-weight:bold,rx:5,ry:5;
classDef pre fill:#0f172a,stroke:#3b82f6,color:#94a3b8,rx:5,ry:5;
classDef child fill:#0f172a,stroke:#10b981,color:#94a3b8,rx:5,ry:5;
classDef related fill:#0f172a,stroke:#8b5cf6,stroke-dasharray: 5 5,color:#94a3b8,rx:5,ry:5;
linkStyle default stroke:#4b5563,stroke-width:2px;
🧠 Wissenstest
🧒 Erkläre es wie einem 5-Jährigen
Stell dir vor, du backst einen Kuchen mit Zutaten aus verschiedenen Läden. Extract: Du holst Eier vom Bauern und Weizen von der Mühle. Transform: Du schlägst die Eier auf und mahlst den Weizen zu Mehl in deiner Küche. Load: Du gibst den Teig in die Backform. In der IT nimmt ETL unordentliche Daten aus verschiedenen Apps, räumt sie auf und packt sie in eine große, ordentliche Datenbank, damit Manager klare Berichte lesen können.
🤓 Expert Deep Dive
ETL vs. ELT: Traditionelles ETL erfordert einen separaten Transformationsserver und nutzt Schema-on-Write. ELT lädt Rohdaten zuerst (Schema-on-Read) und nutzt die Massively Parallel Processing (MPP)-Leistung von Cloud-Speichern für SQL-Transformationen (z. B. mit dbt). Blockchain-ETL-Komplexität: Chain Reorganizations (Reorgs) erschweren die Extraktion. Transformation erfordert ABI-Dekodierung. Ein Ethereum-Event-Log enthält 'topics' und 'data'. Die ETL-Pipeline muss den Keccak-256-Hash der Event-Signatur mappen und Hex-Strings in SQL-Typen parsen.
❓ Häufig gestellte Fragen
What is the difference between ETL and ELT?
In ETL (Extract, Transform, Load), data is transformed in a separate processing engine before it is loaded into the data warehouse. In ELT (Extract, Load, Transform), raw data is loaded directly into the data warehouse, and transformations are performed inside the warehouse using its own computing power (e.g., using SQL in Snowflake or BigQuery).
Why is the Transform step necessary?
Raw data from different sources is often messy and incompatible. Dates might be in different formats, databases might use different ID schemes, and text might contain errors. Transformation cleans, standardizes, and joins this data so that it can be accurately analyzed.
How is Blockchain ETL different from traditional ETL?
Blockchain data is extracted from RPC nodes in a raw, unreadable hexadecimal format. The transformation step requires an ABI (Application Binary Interface) to decode these hex strings into readable function calls and event logs. Additionally, blockchain ETL must handle chain reorganizations (where recent blocks are rewritten).