Результаты поиска по запросу: Apache Airflow и конвейеры обработки данных (Бас Харенслак, Джулиан де Руйтер)

онвейеры обработки данных управляют потоком данных с момента их первоначального сбора до консолидации, очистки, анализа, визуализации и многого другого. Apache Airflow предоставляет единую платформу, которую можно использовать для проектирования, реализации, мониторинга и обслуживания...

Чему вы научитесь Airflow Python Docker для локальной и продуктовой разработки Gitlab CI/CD Элементы алгоритмического трейдинга Требования Знание Python на среднем уровне Понимание Docker и его использование Понимание сути трейдинга и основных концепций Git на среднем уровне Описание Этот...

Книга посвящена передовым методам построения конвейеров данных, сбору данных из множества разнообразных источников и преобразованию их для аналитики. Дано введение в конвейеры данных, раскрыта их работа в современном стеке данных. Описаны стандартные шаблоны конвейеров данных. Показан процесс...

Apache Kafka представляет собой ведущий брокер сообщений, широко используемый в современных разработческих стэках. Владение Apache Kafka позволяет Java-разработчикам выстраивать системы для обработки потоковых данных, такие как системы очередей, стриминговую обработку и обмен данными между...

Практический fast-track по data engineering: за 4–6 недель собираем рабочий конвейер Kafka → Spark → Lakehouse под управлением Airflow. Разберём batch и streaming, окна и watermark, схемы и контракты. Мини‑проекты, Docker Compose, шаблоны DAG и пайплайнов. Курс подойдёт инженерам, аналитикам и...

При работе любого корпоративного приложения образуются данные: файлы журналов, показатели, информация об активности пользователей, исходящие сообщения и другие. Правильное управление этими данными не менее важно, чем сами данные. Если вы архитектор, разработчик или инженер-технолог, но вы пока...

Технология хранения и обработки больших данных Hadoop (Тимур Машнин) Apache Hadoop - это платформа для распределенной обработки больших наборов данных на кластерах компьютеров с использованием простых моделей программирования. В этой книге вы познакомитесь с общей архитектурой платформы...

Данная методика работает как в масштабных исследованиях по генеалогии, так и при работе по сбору сведений биографии отдельных людей. Позволяет выстраивать систему из уже собранных фактов, благодаря которой находятся не только решения в сложных поисковых задачах, но и становится видна...

Apache Arrow – это программная платформа с открытым исходным кодом, предназначенная для разработки приложений, эффективно выполняющих обработку и анализ табличных данных за счет размещения в оперативной памяти. В обновленном втором издании представлен обзор формата Arrow с акцентом на его...

Описание книги Показаны математические методы обработки информации в дискретной форме. Пособие построено на концепции интеграции предметных областей математики и информатики. Рассмотрены элементы теории множеств и отношений, элементы комбинаторики, вероятностные методы обработки данных. Для...

Описание: Пособие содержит необходимый теоретический материал и примеры реализации данных, которые используются для неформального описания и реализации алгоритмов. Приведены и исследованы алгоритмы внутренней и внешней сортировки, алгоритмы поиска. Все рассмотренные методы сопровождаются...

О чем буду рассказывать: Какие ПД могут обрабатываться в рамках образовательной деятельности без согласия. На что обращать внимание при подписания согласия. Электронный дневник, ГТО и другие системы обработки данных - на что обратить внимание? Обязательно разберём ваши вопросы. Плюс файл с...

IT-индустрия меняется постоянно и быстро. Чем быстрее и напряжённее программа обучения, тем проще вам будет влиться в реальную работу и следовать за изменениями. Наша программа охватывает весь спектр Hard Skills, которые нужны на позиции аналитика. Для кого эта программа: - Старт карьеры. У...

Курс подойдёт тому: Кто хочет ускорить свою работу в 100 раз и автоматизировать ежедневные задачи; Кто хочет получить повышение по карьере; Кто хочет рост зарплаты или источник дополнительного дохода; Кто хочет избавить от постоянных ошибок в отчетах из-за ручного труда; Кто хочет, чтобы его...

Большие данные. Принципы и практика построения масштабируемых систем обработки данных в реальном времени (Натан Марц, Джеймс Уоррен) В этой книге представлены теоретические основы организации систем больших данных и поясняется, каким образом они воплощаются на практике. В ней рассматривается...

IT-индустрия меняется постоянно и быстро. Чем быстрее и напряжённее программа обучения, тем проще вам будет влиться в реальную работу и следовать за изменениями. Наша программа охватывает весь спектр Hard Skills, которые нужны на позиции аналитика. Для кого эта программа: - Старт карьеры. У...

Data Internals X 2025 Профессиональная конференция по инженерии данных, базам данных и системам хранения и обработки данных Data Internals X 2025 — это инвестиция в ваше техническое развитие и решение завтрашних проблем уже сегодня. Это не просто "техническая тусовка", а стратегическая...

Программа "Профессия Data Engineer": 1 курс "Старт в Data Engineering" - Автоматизируете процессы сбора, очистки и анализа реальных данных без разработчиков (ETL) - Освоите инструменты: Git, SQL, базовый Python - Научитесь работать с хранилищами данных (DWH) 2 курс "Python: основы языка" -...

Интенсив После прохождения курса вы научитесь работать с архитектурой, основными концепциями Apache Airflow и приобретете практические навыки разработки ETL процессов. Старт 19 января 2023 Занятие 1. Обзор Apache Airflow: * Что такое ETL и почему нам нужны специальные технологии для их...

Это автобиография Джулиана Ассанжа, основателя скандально известного сайта WikiLeaks, где публикуются секретные или закрытые для общего доступа сведения, разоблачающие коррупцию и злоупотребления в странах Средней Азии, Китае, США, России и многих других. Книга рассказывает не только о работе...