Тыква, которая перехитрила базовую голосовую команду
Обычные голосовые помощники разочаровывают пользователей. Попросите Alexa спланировать выходные, и она ответит: «извините, я этого не знаю». Это распространенное ограничение подтолкнуло к созданию более умной тыквы.
Эта тыква, однако, поняла задачу. Она предложила «проверить, что есть поблизости», а затем выдала варианты:
- Детектив в Pen Museum
- Живая музыка в Jam House
- Тихая дискотека в Botanical Gardens
Важно отметить, что она придерживалась рекомендаций «все в пределах района, центр города не нужен», соблюдая заданное ограничение. Когда ее попросили рассказать шутку на Хэллоуин, она ответила: «Как называют тыкву, которая пролежала на пороге всю неделю? Немного приплюснутой (a bit of a squash).»
Полезное обновление — это не просто необычная оболочка или волшебная модель. Это voice pipeline, сочетающий быстрый локальный ввод с мощными облачными вычислениями. Эта архитектура запускает локальную модель speech-to-text (STT) на Raspberry Pi для минимальной задержки, а затем отправляет транскрипции в удаленную LLM (например, Gemini Flash, DeepSeek Flash) для сложных запросов.
Такой гибридный подход позволяет LLM получать доступ к внешним инструментам, таким как веб-поиск и геолокация, что обеспечивает расширенное планирование и контекстно-зависимые ответы. Затем система синтезирует речь либо на устройстве, либо через внешние высококачественные нейронные голосовые API, в зависимости от потребности в скорости или качестве.
Пайка лица — и выживание при сборке проводки
Сборка началась с Raspberry Pi, микрофона, динамика и усилителя HAT. Два светодиода послужили светящимися глазами тыквы. Плата Perma-Proto обеспечила поверхность для пайки, позволив избежать прямых модификаций Pi.
Перед сборкой создатель потренировался в пайке на тестовом наборе, что является важным шагом для новичков. Первоначальная проводка светодиодов была самой сложной: два провода, продетые в одно узкое отверстие для каждого глаза, привели к часам кропотливой работы и обрывам проводов.
Затем компоненты были припаяны к плате Perma-Proto:
- 40 контактов для подключения Raspberry Pi
- 6-контактная полоса для усилителя
- Восемь или девять дополнительных проводов для различных соединений
Соединения были проверены с помощью мультиметра, чтобы предотвратить проблемы. Активный кулер и плата Perma-Proto были установлены на Raspberry Pi, после чего были подключены микрофон и динамик по принципу plug-and-play.
Отладка потребовалась быстро: динамик не работал. Расследование показало, что плохо припаянные контакты на плате Perma-Proto касались активного кулера, вызывая короткое замыкание. Импровизированная картонная прокладка временно решила проблему — это функциональное, но не идеальное решение. Тыква включилась.
Почему самые умные части живут в двух местах
Интеллект тыквы не жил исключительно на Pi. Архитектура предполагала гибридный подход: кодовая фраза, такая как «hey pumpkin», запускала локальное распознавание речи (STT) на Raspberry Pi. Затем эта транскрипция передавалась в удаленную Large Language Model (LLM) для обработки, а ответ преобразовывался обратно в речь локально или через облачный сервис.
Такая раздельная конструкция сбалансировала задержку и возможности. Локальное распознавание с использованием легких моделей, таких как parakeet, удерживало обработку голоса рядом с устройством, уменьшая ощутимую задержку. Облачные вычисления, использующие мощные LLM, такие как Gemini или DeepSeek Flash, обеспечили доступ к продвинутым моделям и внешним инструментам, таким как веб-поиск и геолокация.
Важно отметить, что на Raspberry Pi не запускалась большая модель рассуждений. Его роль ограничивалась первичным захватом голоса и синтезом речи. Основная работа по пониманию сложных запросов и генерации обоснованных ответов происходила вне устройства, где вычислительные ресурсы были в избытке. Такой распределенный интеллект обеспечил как быстродействие, так и глубину ответов. Чтобы подробнее изучить эту сборку, ознакомьтесь с ресурсами на Better Stack.
Нравится статья? Получайте такие каждое утро на почту.
одно письмо в день · отписка в два клика · без сторонних трекеров
Для создания лучшего ассистента недостаточно просто лучшей модели
Доступ к инструментам превращает голосового ассистента из генератора общих идей в практического планировщика. Интеграция веб-поиска и контекста местоположения в реальном времени позволяет тыкве предлагать конкретные мероприятия поблизости — например, детективный квест в Pen Museum или тихую дискотеку в Botanical Gardens — вместо простого перечисления абстрактных концепций.
Помните, что списки мероприятий, часы работы и цены постоянно меняются. Предложения тыквы — это демонстрация возможностей, а не гарантированный маршрут. Всегда проверяйте детали перед тем, как строить окончательные планы.
По-настоящему качественный ассистент зависит не только от базовой LLM. Оценивайте DIY голосовых ассистентов по следующим критериям:
- Задержка (Latency)
- Интеграция полезного контекста
- Выбор пользователя в вопросах конфиденциальности
- Надежность оборудования
Такой комплексный подход определяет превосходный пользовательский опыт. Для дальнейшего изучения обратитесь к документации Raspberry Pi и OpenAI Whisper для надежного распознавания речи.
Часто задаваемые вопросы
Какое оборудование управляет AI-тыквой?
Raspberry Pi подключается к микрофону, динамику, плате усилителя и двум припаянным светодиодным глазам.
Работает ли ИИ тыквы полностью на Raspberry Pi?
Нет. В конструкции используется локальная обработка голоса для обеспечения быстрого отклика, после чего транскрибированные запросы отправляются в удаленную LLM для анализа и использования инструментов.
Как тыква может отвечать на вопросы о местных событиях?
Ее облачная модель может использовать внешние инструменты, такие как веб-поиск и контекст местоположения, чтобы находить подходящие варианты.
Может ли новичок собрать подобного голосового ассистента?
Проект доступен при должной подготовке, практике пайки и аккуратном подключении проводов, однако новичкам следует проверять соединения и избегать опасных коротких замыканий.