Обзор LLMs-from-scratch

Что такое LLMs-from-scratch?

Ключевые особенности LLMs-from-scratch

• Обработка текстовых данных: Охватывает встраивание текста, токенизацию байт-пар (BPE) и построение входных-целевых данных.
• Архитектура модели: Объясняет самовнимание, причинное внимание, многоголовое внимание и блоки трансформеров.
• Реализация модели GPT: Включает современные архитектурные концепции для создания моделей в стиле GPT.
• Обучение: Подробно описывает предварительное обучение, функции потерь, генерацию текста и методы выборки.
• Дообучение: Предоставляет рекомендации по задачам классификации и следованию инструкциям.
• Основы PyTorch: Предлагает введение в PyTorch, включая код для ноутбуков и заметки по распределенному обучению.
• KV Cache: Обсуждает эффективную авторегрессивную генерацию с использованием KV Cache.
• RoPE (Rotary Positional Embeddings): Исследует решения для позиционного кодирования в LLM.
• LoRA/RsLoRA: Охватывает методы низкоранговой адаптации для тонкой настройки LLM.

Кому следует использовать LLMs-from-scratch?

• Исследователи ML/AI: Для получения углубленных знаний об архитектуре и реализации LLM.
• Инженеры-исследователи LLM: Для развития практических навыков в создании больших языковых моделей из базовых компонентов.
• Студенты AI/ML: Для понимания фундаментальных концепций LLM и повышения квалификации в области AI и машинного обучения.
• Разработчики, интересующиеся LLM: Для перехода от использования API к более эффективной отладке, оптимизации и созданию пользовательских LLM.

Как использовать LLMs-from-scratch

• 1Приобретите книгу 'Build a Large Language Model (From Scratch)' доктора Себастьяна Рашки.
• 2Получите доступ к сопутствующему репозиторию GitHub для примеров кода и обновлений.
• 3Следуйте пошаговым инструкциям для реализации обработки текстовых данных, включая токенизацию BPE.
• 4Постройте основную архитектуру трансформера, включая механизмы самовнимания и многоголового внимания.
• 5Реализуйте и обучите LLM в стиле GPT с использованием PyTorch, охватывая предварительное обучение и функции потерь.
• 6Экспериментируйте с методами тонкой настройки для конкретных задач, таких как классификация или следование инструкциям.

Цены и планы LLMs-from-scratch

• Oura Ring: $299 (единовременная покупка физического продукта, который не имеет прямого отношения к контенту LLMs-from-scratch, но был предоставлен в качестве ценового уровня во входных данных).