Курс ИИ в веб-системах

Программа курса

12 модулей; каждый — полноценное занятие с теорией, листингами, практикой и домашним заданием.

1. 1

   Где живёт ИИ в веб-системе

   Этот курс о том, как языковая модель становится частью обычного веб-приложения: не демонстрацией в блокноте, а сервисом, который принимает запросы пользователей,…

   Три места для модели·Локально против облака·Установка Ollama·Модель как HTTP-сервис·Холодный старт·Архитектура сервиса курса

2. 2

   HTTP-интерфейс языковой модели

   В первом модуле модель ответила на один вопрос, и этого хватило, чтобы убедиться: она жива. Для сервиса этого недостаточно…

   generate и chat·Поля ответа·Диалог и роли·Параметры генерации·Эмбеддинги·Ошибки и память модели

3. 3

   Первый сервис поверх модели

   В первых двух модулях модель отвечала на запросы, отправленные руками: сначала из терминала, потом обычными HTTP-запросами к Ollama…

   Зачем нужна обёртка·Окружение и запуск·async и await·Схемы Pydantic·Таймауты httpx·Отказы и один клиент

4. 4

   Ответ по мере генерации

   В модуле 3 обработчик FastAPI дожидался ответа модели целиком: запрос ушёл в Ollama, функция остановилась на await, через секунду с небольшим вернулась готовая…

   Зачем нужен стриминг·Чанки Ollama·Поток в httpx·StreamingResponse·Формат SSE·Отмена генерации

5. 5

   Гарантированный JSON от модели

   До этого модуля ответ модели был текстом для человека: его показывали на странице целиком (модуль 3) или по мере генерации (модуль 4)…

   Просьба против гарантии·Схема в поле format·Pydantic как источник схемы·Проверка значений после разбора·Повторы и деградация·Извлечение полей из обращения

6. 6

   Хранение диалогов и журнал вызовов

   До этого модуля сервис работал без памяти: пришёл запрос, ушёл ответ, всё забыто. Такому сервису нельзя задать ни одного вопроса о нём самом…

   Что и зачем хранить·Модели SQLAlchemy 2·Асинхронная сессия на запрос·Миграции Alembic·SQLite против PostgreSQL·Журнал вызовов модели

7. 7

   Кэш ответов и повторяемость вывода

   Сервис из модуля 6 умеет запоминать всё, что произошло: обращения, ответы модели и журнал вызовов…

   Кэш ответов модели против кэша базы·Ключ кэша·temperature и seed·Что кэшировать нельзя·База против Redis·Инвалидация и версия промпта

8. 8

   Облачная модель как второй путь

   Семь модулей курс строился вокруг одной модели, которая работает на локальной машине и не берёт денег за запросы…

   Границы локальной модели·OpenAI-совместимый формат·Ключи и настройки·Токены, лимиты и 429·Переход на локальную модель·Заглушка вместо сети

9. 9

   Очередь для долгих вызовов модели

   До этого модуля любой вызов модели укладывался в одно HTTP-соединение. Ответ приходил целиком (модуль 3) или по кусочкам потоком (модуль 4), но в обоих случаях…

   Граница одного запроса·BackgroundTasks и его обман·Очередь на Redis и RQ·Статус задачи и опрос·Где хранить результат·Сколько воркеров

10. 10

    Классификация, извлечение полей, отчёт

    Девять модулей собирали механику: запрос к модели, асинхронный обработчик, поток, гарантированный JSON, база, кэш, запасной вариант, фоновая задача…

    Три задачи бизнеса·Классификация обращений·Измерение качества·Извлечение полей·Сводка и отчёт·Человек в контуре

11. 11

    Инъекции, журналы, лимиты, наблюдаемость

    К этому модулю сервис умеет всё, ради чего затевался: принимает обращение, вызывает модель, отдаёт ответ потоком, разбирает его в структуру, складывает в базу,…

    Текст пользователя в промпте·Инъекция и защита·Вывод модели как данные·Журнал без персональных данных·Лимиты запросов·Наблюдаемость сервиса

12. 12

    Сервис обработки обращений

    Одиннадцать модулей курса собирали сервис по частям: обёртку над моделью, стриминг, гарантированный JSON, базу, кэш, очередь, защиту…

    Постановка задачи·Обязательный минимум·Структура проекта·Развёртывание в Docker·Самопроверка·Сборка по этапам