Інженерія Даних: Будівництво Сучасної Інфраструктури Даних

Архітектура каналів даних

ETL (Вилучення, Трансформація, Завантаження): традиційний підхід – трансформувати дані перед завантаженням у сховище. ELT (Вилучення, Завантаження, Трансформація): завантажувати необроблені дані спочатку, а потім трансформувати їх у сховищі за допомогою SQL – це можливо завдяки дешевому стовпчастому сховищу. Обробка пакетно: заплановані завдання (години, дні) для великих наборів даних. Потік: обробка в реальному часі для вимог до низької затримки. Архітектура Lambda: шар пакетної обробки + швидкий шар + шар обслуговування. Архітектура Kappa: лише потокова обробка, спрощена. Мережа даних: орієнтована на домени децентралізоване володіння даними. Угоди про дані: узгодження схем між виробниками та споживачами. Ідемпотентність: канали даних створюють однаковий результат при повторному запуску – це критично важливо для надійності.

Зберігання та складське господарство

Хранилище даних: структуроване, схема на запис, оптимізоване для аналітики. Snowflake: хмарно-орієнтоване, розділ обчислень/зберігання, автоматичне масштабування. BigQuery (Google): безсерверний, стовпчаста структура, інтеграція з ML. Redshift (AWS): стовпчаста архітектура MPP. Озеро даних: необроблені дані в об'єктному сховищі (S3, GCS, ADLS), схема на читання. Lakehouse: поєднує структуру хранилища та гнучкість озера. Delta Lake (Databricks): ACID транзакції на озерах даних, подорож у часі, забезпечення схеми. Apache Iceberg: відкритий формат таблиць, приховане розділення, ізоляція знімків. Apache Hudi: інкрементна обробка, оновлення на рівні запису. Parquet: стовпчастий формат файлів, ефективне стиснення та кодування. Оптимізація зберігання: розділення, групування, Z-порядкування, ущільнення.

Фреймворки обробки даних

Apache Spark: розподілена обчислювальна система, обчислення в пам’яті, на 10–100 разів швидше за MapReduce. Spark SQL, DataFrames, Datasets: структурований API для пакетної та потокової обробки даних. PySpark: Python API для Spark – домінуючий у сфері інженерії даних. Apache Flink: справжній двигун потокового обчислень з гарантією точності (exactly-once semantics), обробка за часом події (event time processing). Apache Kafka: розподілена платформа для потокової передачі подій, pub/sub, гарантована доставка з точністю до одного разу. Kafka Connect: попередньо створені коннектори для баз даних, API, файлових систем. Apache Beam: єдиний API для пакетної та потокової обробки даних, працює на Spark, Flink, Dataflow. dbt (data build tool): SQL-орієнтований інструмент для трансформації даних, контроль версій, тестування, документація. Polars: бібліотека DataFrame на основі Rust, на 10–100 разів швидша за Pandas для великих наборів даних.

Оркестрування та моніторинг

Apache Airflow: оркестрування робочих процесів на основі DAG, пайтон-визначені конфігурації. Концепції Airflow: DAG, оператори, сенсори, хуки, з’єднання, XComs. Dagster: оркестрування на основі активів, перевірка типів, тестувані конфігурації. Prefect: сучасне оркестрування з вбудованим повторним запуском, кешуванням, сповіщеннями. Temporal: двигун робочого процесу для тривалих, стійких до помилок процесів. Якість даних: Great Expectations (автоматизація валідації даних), dbt тести. Походження даних: відстеження даних від джерела до споживання (OpenLineage, Apache Atlas). Моніторинг: SLA робочих процесів, свіжість даних, перевірка обсягів, виявлення аномалій. Каталог даних: пошук метаданих (DataHub, Amundsen, Unity Catalog).

Сучасний стек даних

Сучасний стек даних: хмарно-орієнтований, модульний, інструменти найкращого вибору. Збір даних: Fivetran, Airbyte (відкритий код) — автоматизоване EL з понад 300 джерел. Трансформація: dbt — SQL-заснована, контрольована версією та протестована. Сховище даних: Snowflake, BigQuery, Databricks. BI/Аналітика: Looker, Metabase, Superset. Зворотний ETL: Census, Hightouch — синхронізація даних сховища з SaaS-інструментами. Управління даними: контроль доступу (RBAC), виявлення PII, маскування, журнали аудиту. Управління витратами: оптимізація запитів, автоматичне призупинення сховищ, матеріалізовані перегляди. Необхідні навички: SQL (обов'язково), Python, Spark, хмарні платформи (AWS/GCP/Azure), інфраструктура як код (Terraform), контейнеризація (Docker/K8s).

Спробуйте онлайн

Все вище працює у вашому браузері – відкрийте Data Engineering: Building Modern Data Infrastructure та змініть параметри під час виконання. Ніякого встановлення не відбувається, нічого не завантажується, весь процес реалізується в одному вікні.

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Data Engineering: Building Modern Data Infrastructure і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.