Курс RAG и векторные БД

Retrieval-Augmented Generation: эмбеддинги и векторный поиск, нарезка документов, ранжирование и оценка качества ответов.

Курс готовится к публикации

Материалы курса написаны и проверены, идёт подготовка к выходу на сайте: программа ниже — настоящая. Открытые курсы можно читать уже сейчас, а о запуске этого напишите — ответим, когда он появится.

Открытые курсы Спросить о запуске

Модулей: 12
Ак. часов: 108
Разделов: 130

Что нужно знать заранее. основы Python (функции, списки, словари, чтение файлов, установка пакетов) и работа в терминале.

Программа курса

12 модулей; каждый — полноценное занятие с теорией, листингами, практикой и домашним заданием.

1
Что такое RAG и зачем он нужен
Языковая модель знает очень много, но совершенно не знает того, что актуально именно для вашей организации…
Чего не знает модельТри способа дать знанияСхема «поиск — подстановка — ответ»Установка Ollama и двух моделейПервый RAG на 90 строках
2
Эмбеддинги — как текст становится вектором
В первом модуле мы собрали работающий RAG и один его узел приняли на веру. Строка «эмбеддер превращает текст в вектор» объясняла, почему по вопросу «когда придут…
Текст как список чиселКосинусная близостьВыбор эмбеддера решает всёРазброс важнее величиныНормализация и пакетная векторизацияПредел длины входа
3
Сбор и подготовка базы знаний
В первом модуле база знаний была дана в готовом виде: восемь файлов Markdown лежали в папке, и загрузка свелась к одной функции на десять строк…
Откуда берут документыИзвлечение текста из HTML и CSVОчистка от невидимого мусораСостав метаданныхДубли и загрузчик целиком
4
Нарезка документов на фрагменты
В модуле 1 мы нарезали регламенты колледжа по абзацам и получили сорок восемь фрагментов…
Зачем резатьРазмер фрагментаЗамер попаданийПерекрытие фрагментовНарезка по структуре
5
Векторные базы данных — устройство и ландшафт
Во всех четырёх предыдущих модулях база знаний была списком в оперативной памяти. Мы читали документы, резали их на фрагменты, считали векторы и складывали в…
Цена полного перебораПриближённый поиск и recallHNSW на пальцахМетрики расстоянияЛандшафт базЛовушка встроенного эмбеддера
6
Первая коллекция в Qdrant
В модуле 5 мы разобрали, как устроены векторные базы данных, и выбрали для курса Qdrant. Теперь начнём с ним работать…
Три способа подключенияТочка, вектор и payloadУстойчивые идентификаторыОбновление и удалениеЧужие векторы и переиндексация
7
Поиск — сколько брать, как фильтровать, чем дополнить
К этому моменту коллекция в Qdrant готова: документы собраны и очищены (модуль 3), нарезаны на фрагменты (модуль 4), превращены в векторы (модуль 2) и уложены в…
Параметр top_k и его ценаПорог отсечки и его пределыФильтры по метаданнымЛовушка индекса по полюГибридный поиск и объединение списковПохожие документы
8
Сборка ответа — промпт, источники, отказ
Поиск закончил работу: нужные фрагменты найдены и доступны, у каждого есть текст и метаданные…
Анатомия промпта RAGСсылки на источники и их проверкаЧестный отказПорядок и число фрагментовПротиворечия и редакции
9
Оценка качества и отладка
К девятому модулю собрана рабочая система: документы прочитаны, нарезаны, превращены в векторы, сложены в базу, найденные фрагменты попадают в промпт, модель…
Тестовый набор вопросовПоиск и ответ измеряются отдельноrecall@k и MRRЯзыковая модель в роли судьиКластеризация базы и смысловые дубли
10
Изображения в векторной базе
Девять модулей мы работали с текстом. Между тем в любой организации знания лежат не только в текстовых файлах: расписание висит таблицей, план этажа нарисован…
Картинка как объект поискаCLIP и его ценаОписание картинки модельюЗамер попаданий и разбор промаховОписание как потолок качестваМультимодальная коллекция и именованные векторы
11
Эксплуатация — сервер, индексы, масштаб
Десять модулей подряд база знаний лежала в папке на диске, и этого хватало: сорок шесть фрагментов ищутся перебором быстрее, чем любым индексом…
Сервер Qdrant в DockerПараметры HNSWПорог индексацииКвантованиеСнапшотыШарды и реплики
12
Итоговый проект — справочный ассистент по базе знаний
На протяжении одиннадцати модулей вы разбирали части системы по одной: эмбеддинги, сбор документов, нарезку, векторные базы, коллекцию, поиск, ответ, оценку…
Требования к работеАрхитектура целикомСборка по слоямЧто должно быть измереноЧек-лист ловушек курсаОформление работыВарианты проекта

← Ко всем курсам