[Stepik] LLMOps & Evaluation: из песочницы в продакшн (Алексей Малышкин)

Практический курс по LLMOps

Соберёте продакшн-контур для LLM: eval-фреймворк (LangSmith/Ragas/OpenAI Evals), quality-гейты в CI/CD, алёрты на дрейф, монитринг скорости и стоимости, управление промпт-версиями и безопасность. Плюс профессиональные блоки: synthetic data для тестов, LLM-based judges, отчётность для релиз-комитета и runbook’и инцидентов.

О курсе:

LLMOps & Evaluation (PRO) — это практический курс о том, как вывести работу с GPT и другими LLM из песочницы в продакшн.
Мы разберём полный цикл: от построения пайплайнов (RAG, агенты) до оценки качества, мониторинга и оптимизации стоимости. Вы научитесь бороться с галлюцинациями, автоматизировать A/B-тесты и настраивать метрики, которые реально отражают работу модели.

В курсе:

практические инструменты: LangSmith, Ragas, OpenAI Evals, PromptLayer;
автоматизированные тесты и synthetic data;
мониторинг качества, латентности и затрат;
safety-тесты и контроль рисков.

Итог - вы сможете построить надёжную LLM-систему с измеримым качеством и управляемой стоимостью.

Программа:

Введение в LLMOps
Почему обычный prompt engineering не работает в продакшне
Классические боли
Обзор инструментов для LLMOps
Разбор реальных кейсов, где LLMOps сделал разницу
Практикум
Архитектура и пайплайны LLM-приложений
Компоненты продакшн-системы
Best practices для пайплайнов RAG и агентов
Управление версиями промптов и моделей (PromptOps)
Логирование и трассировка: как не терять контроль над моделью
Практикум
Метрики качества LLM-систем
Почему «accuracy» ≠ качество в LLM
Классические метрики
Современные метрики
User-oriented метрики
Как построить дашборд для мониторинга качества
Evaluation на практике
Как тестировать промпты и пайплайны (unit tests для LLM)
Автоматизированные A/B тесты с помощью LLM-оценки
Human-in-the-loop: когда и зачем нужны люди в тестировании
Генерация тест-датасетов (synthetic data) для проверки модели
Практика: написать собственный фреймворк для оценки
LLM Monitoring & Observability
Как мониторить продакшн-LLM
Alerting и логирование промптов/ответов
Борьба с деградацией качества (drift detection)
Cost management: оптимизация бюджета на LLM
Advanced Topics (для PRO)
Ragas: как построить автоматическую систему оценки RAG-проектов
OpenAI Evals и Custom Evals
LLM-based judges (оценка ответов через LLM)
Safety & Red-teaming
Интеграция с CI/CD: автоматические quality-гейты для деплоя
Практический проект
Построение RAG-системы с автоматической оценкой качества
Настройка метрик и мониторинга
Проведение A/B тестов между версиями промптов
Сбор и анализ результатов → финальный отчёт

В курс входят:

• 33 урока
• 171 тест
• 17 интерактивных задач