Этот репозиторий предназначен для открытого и воспроизводимого представления фонда оценочных средств (ФОС) по дисциплине «Развертывание и эксплуатация систем ИИ». Здесь объединены рабочая программа дисциплины, модель измерения результатов обучения, контрольно-измерительные материалы (КИМ), критерии оценивания, методические рекомендации и используемые образовательные ресурсы. Результаты обучения связываются с компетентностно-ролевой моделью в области искусственного интеллекта (КРМ версии 3.0).

• Рабочая программа дисциплины
• Методические указания
• Информационные ресурсы
• Команда проекта
• Контроль качества репозитория

Общие слова. В рамках подготовки кадров по направлению ИИ имеем сильный перекос в "математиков" (людей-мечтателей, которые занимаются фронтирными задачами), "вайбкодеров" (пользователи ИИ инструментов, думая, что они умеют программировать). Но при желании подготовки инженеров (а именно инженерные задачи бизнеса приносят деньги) необходимо выдавать реальные задачи применения ИИ. Причем немаловажным местом применения ИИ является совместное использование серверных (БЯМ требуют много ресурсов) локальных (личные данные компании) моделей на группу лиц для различных целей (программирование, RAG системы, ведение проектов и другое). Хочется показать студентам как с этим жить. Ключевой акцент — переход от «запустил локально — работает» к «запустил в проде — выдерживает нагрузку группы из 30 человек».

Цель дисциплины. Подготовить специалистов, способных самостоятельно разворачивать, масштабировать и сопровождать системы ИИ в production-среде с учётом реальных ограничений инфраструктуры, нагрузки и пользовательского опыта.

Основные задачи.

• изучить инструменты контейнеризации, серверы инференса, оркестрацию и мониторинг ИИ-сервисов (КРМ: LC-5.1);
• освоить построение инфраструктуры данных и RAG-контуров с разграничением доступа и резервированием (КРМ: LC-5.2);
• научиться проводить нагрузочное тестирование, формулировать и доказывать SLA, планировать мощности (КРМ: BD-5.1–BD-5.3);
• довести сквозной проект от SLA-контракта до работающего shared ИИ-сервиса на 30 пользователей.

Структура и содержание. Дисциплина состоит из 8 модулей:

• Архитектура и эксплуатационные требования к промышленным ИИ-системам
• Контейнеризация и серверы инференса моделей МО
• Оркестрация и масштабирование ИИ-сервисов
• Инфраструктура данных и RAG-контуры
• CI/CD, реестры моделей и GitOps
• Мониторинг, логирование и наблюдаемость
• Нагрузочное тестирование, устойчивость и оценка качества
• Планирование мощности, разнородная инфраструктура и итоговый проект Обучение включает лекции, лабораторные работы, проект, самостоятельную работу и завершается зачетом.

Пререквизиты и связи с другими дисциплинами.

Планируемые результаты обучения.

По завершении дисциплины обучающийся сможет:

1. развернуть модель МО в production-окружении — собрать контейнерный образ модели и запустить inference-сервер (vLLM/Triton) на CPU и GPU, измерив базовые метрики latency/throughput (LC-5.1, BD-5.2; проверяется в ЛР2);
2. оркестрировать и масштабировать ИИ-сервис в Kubernetes — развернуть сервис на GPU-ноде, настроить автомасштабирование (HPA), secrets и rolling update (LC-5.1; ЛР3);
3. построить инфраструктуру данных и RAG-контур с разграничением доступа — развернуть S3-хранилище, векторную БД и кэш, спроектировать контуры read-only/read-write и схему доступа (LC-5.2; ЛР4);
4. автоматизировать поставку модели — настроить CI/CD-пайплайн «сборка образа → registry → GitOps-деплой в Kubernetes» (LC-5.1; ЛР5);
5. обеспечить наблюдаемость и подтвердить эксплуатационное качество — инструментировать сервис, собрать метрики инференса (TTFT, TPS, GPU util) в Prometheus/Grafana, провести нагрузочные и chaos-тесты профиля «30 пользователей» (LC-5.1, BD-5.3; ЛР6–ЛР7);
6. сформулировать и доказать SLA shared ИИ-сервиса на 30 пользователей — выполнить capacity planning, обосновать выбор инфраструктурного стека и подтвердить SLO данными нагрузочных тестов при защите итогового проекта (BD-5.1–BD-5.3; ЛР8).

Полное описание приведено в РПД.

Уровни сформированности индикаторов — по КРМ (версия 3.0): Б (базовый), С (средний), П (продвинутый).

• Модуль 1. Архитектура и эксплуатационные требования к промышленным ИИ-системам — КИМ ЛР1: формулирование эксплуатационных требований и SLA-контракта;
• Модуль 2. Контейнеризация и серверы инференса моделей МО — КИМ ЛР2: контейнеризация модели и запуск inference-сервера на CPU/GPU;
• Модуль 3. Оркестрация и масштабирование ИИ-сервисов — КИМ ЛР3: развёртывание inference-сервиса в Kubernetes;
• Модуль 4. Инфраструктура данных и RAG-контуры — КИМ ЛР4: сборка data/RAG-контура с разграничением доступа;
• Модуль 5. CI/CD, реестры моделей и GitOps — КИМ ЛР5: автоматизация поставки модели;
• Модуль 6. Мониторинг, логирование и наблюдаемость — КИМ ЛР6: мониторинг и наблюдаемость ИИ-сервиса;
• Модуль 7. Нагрузочное тестирование, устойчивость и оценка качества — КИМ ЛР7: нагрузочные, A/B и chaos-тесты;
• Модуль 8. Планирование мощности, разнородная инфраструктура и итоговый проект — КИМ ЛР8: shared ИИ-сервис на 30 человек;
• Проектная работа — интегральный КИМ по нескольким результатам обучения;
• Зачет — промежуточная аттестация: дифференцированный зачёт с защитой итогового проекта.

Каждый КИМ должен содержать назначение, проверяемые результаты, условия выполнения, материалы задания, формат сдачи, критерии и шкалу оценивания, правила использования внешних ресурсов и генеративного ИИ.

Итоговая оценка формируется как сумма баллов по критериям (максимум 100):

Дисциплина считается освоенной при наборе не менее 70 баллов и получении не менее 4 из 10 баллов по каждой оси командного проекта («Программное решение», «Документация»). Перевод результата в принятую в образовательной организации шкалу оценок выполняется в соответствии с локальными нормативными актами.

Каждое оценочное средство использует единую 10-балльную рубрику с опорными точками уровней КРМ (4 — Б, 6 — С, 8 — С–П, 10 — П); соответствие 10-балльной шкалы весам в 100 баллов выполняется пропорционально. Триангуляция обеспечена: каждый индикатор КРМ проверяется не менее чем двумя средствами (см. модель измерения).

• Рекомендации обучающимся;
• Рекомендации преподавателям по оцениванию;
• Рекомендации преподавателям по использованию ресурсов.

.
├── README.md
├── LICENSE
├── CONTRIBUTING.md
├── TODO.md
├── labs.md
├── docs/
├── M1-Hardware architecture of AI/
├── M2-Containerd and inference/
├── M3-Orchestration and scaling/
├── M4-Data infrastructure/
├── M5-CICD-gitOps/
├── M6-Monitoring/
├── M7-Load testing and quality assessment/
├── M8-Infrastructure planning/
├── Project/
├── Credit/
├── methodical-guidelines/
├── resources/
├── data/
├── team/
└── other/

Подробное дерево приведено в файле repository-tree.txt.

1. Заполните РПД и сформулируйте проверяемые результаты обучения.
2. Выберите релевантные профессиональные роли и компетенции КРМ.
3. Для каждого результата выберите индикатор и требуемый уровень.
4. Заполните модель измерения.
5. Создайте КИМ и рубрики оценивания по шаблонам.
6. Согласуйте систему итогового балла.
7. Добавьте ресурсы, сведения о команде и лицензию.

Сведения об авторах, ролях и вкладе участников размещаются в разделе «Команда проекта». Рекомендуется, чтобы участники добавляли материалы через собственные GitHub-аккаунты: история коммитов будет отражать их вклад.

Предлагаемая лицензия для открытых образовательных материалов — Creative Commons Attribution 4.0 International (CC BY 4.0). Перед публикацией согласуйте выбор лицензии с правообладателем; текст лицензии — в файле LICENSE.