[DevHands] Интенсив по очередям: Kafka и NATS (Владимир Перепелица)

Изучите архитектуру и принципы работы брокеров и очередей за максимально короткий срок, даже не обладая опытом работы в хайлоад-проектах

О курсе

• Погрузиться в «мир брокерев и очередей» за максимально короткий срок, даже не обладая опытом работы в хайлоад-проектах
• Изучить асинхронное взаимодействие с помощью очередей: подходы, свойства и гарантии
• Получить практику использования очередей на Python или Golang
• Изучить и сравнить Kafka/Rabbit/NATS/Redis:
• Архитектуру проектов, и чем они отличаются
• На что нужно смотреть при использовании очереди
• Как правильно конфигурировать системы очередей

Ваши цели в обучении

• Получить навыки проектирования с использованием самых «топовых» систем очередей: Kafka и NATS
• Получить фундамент компетенций архитектора сложных, высоконагруженных информационных систем
• Получить навыки масштабирования и обеспечения надежности систем, использующих очереди
• Получить навыки сравнения и выбора систем очередей под конкретную задачу

Программа обучения
Встречи: 2.5 недели (2 встречи в неделю)
Живые лекции и живые демо с ведущим, Владимиром Перепелицей. Ведется запись, ссылка выкладывается в чат. С первого же занятия мы выдаем доступ к настроенной инфраструктуре для выполнения практических заданий + можно забрать докер-образ. Все встречи начинаются в 17:00 МСК (GMT+3), проходят в Zoom. Ссылка на Zoom-митинг «запинена» в чате.

Занятие 1
Вводная теория по очередям. Для чего нужны очереди и где они применяются. Подходы в использовании очередей. Основные системы очередей (брокеры и сервисы) их плюсы и минусы. Алгоритмическая составляющая очередей. Как достигнуть exactly once? Топологические схемы систем очередей. Золотые правила мониторинга очередей

Занятие 2, 3
Apache Kafka. Архитектура Apache Kafka. Основные понятия, свойства и принципы Потоковая обработка с помощью Kafka Streams. Сценарии применения. Практика. Пошаговый запуск Kafka в различной конфигурации от минимального single instance до production grade кластера с отказоустойчивостью. Разбор основных настроек кластера и на что они влияют. Базовая реализация клиентов на Python и Go

Занятие 4
Достижение консистентности между БД и очередью. Transactional Outbox. Deduplication key. Практика: Реализация “сценария оплаты” между двумя БД (postgresql) с использованием очереди

Занятие 5
Обзор архитектуры NATS. Ключевые подходы и компоненты (pub/sub, req/res, streaming). Кластеризация (кластер, суперкластер, федерация, edge). Практика: запуск суперкластера и разбор сценариев.

Автор курса: Владимир Перепелица
Эксперт по большим проектам, очередям и TarantoolРегулярный спикер и член ПК конференций HighloadСоздатель S3 в VK Cloud