Claude помог создать робота, который даёт «пять»

Знакомьтесь: Greg, робот с единственной целью — распознать поднятую ладонь человека и ответить «дай пять». Это простое и запоминающееся взаимодействие демонстрирует передовую интеграцию ИИ за кулисами и даёт мгновенный, ощутимый результат.

Архитектура Greg построена вокруг пяти сервоприводов, которыми управляет плата ESP32-S3. Вторая плата, ESP32-CAM, передаёт видео по Wi-Fi на Mac. На этом Mac работает Google MediaPipe, который распознаёт открытые ладони и рассчитывает точные углы суставов для «дай пять».

Эта распределённая система работает от одного источника питания. После включения Greg занимает исходное положение и ждёт руку человека. Конструкция показывает, как ИИ может связать механическое проектирование, прошивку и зрение, но собирал, тестировал и монтировал машину по-прежнему человек.

Claude Opus 3.5 сопровождал весь процесс проектирования и создал:

• 3D-модели деталей
• схемы подключения
• прошивку для обеих плат ESP32
• алгоритмы компьютерного зрения

Автор использовал для изготовления 3D-принтер Elegoo Neptune 3 Pro. Claude создавал детали в виде скриптов Blender, что позволяло вносить правки вручную напрямую. Проект демонстрирует эффективный рабочий процесс: проектирование с помощью ИИ в сочетании с ручной сборкой и доработками человеком.

Claude стал полноценной проектной командой Greg. Разработчик предоставил идею и размеры компонентов; Claude создал все необходимые материалы. В их числе модели для Blender, схемы подключения, прошивка для обеих плат ESP32 и код системы зрения для сервера MediaPipe.

Выбор Blender был стратегическим. Разработчик не стал осваивать специализированное CAD-ПО и использовал знакомый Blender. Claude создавал конструкции с помощью скриптов на Python, что позволяло напрямую их изучать и при необходимости править вручную.

Обратная связь от физических образцов была критически важна. Перед печатью в полном размере разработчик печатал небольшие тесты гнёзд для сервоприводов. Фотографии проблем с посадкой отправлялись обратно Claude, который анализировал изображения и пересматривал конструкции. Такой итеративный процесс сэкономил часы печати и филамент на Elegoo Neptune 3 Pro.

Такой подход сократил время проектирования и расход материала. Claude учитывал точные размеры компонентов, таких как сервоприводы и камера ESP32, но иногда упускал детали. Например, в раннем варианте плеча не хватало места для проводов сервопривода; Claude исправил это после получения изображения.

Такая мультимодальная итерация, при которой результаты физической сборки возвращаются ИИ, оказалась необходимой. Она показала способность Claude связывать цифровое проектирование и физическое прототипирование, делая разработку аппаратного обеспечения доступнее для сложных проектов, таких как Greg.

Ошибки при физической сборке останавливали работу. В первых конструкциях креплений сервоприводов, созданных Claude, не было предусмотрено место для проводов, что потребовало полной переработки с моделированием кабеля. Модели камеры также потребовали реальных измерений: ранние 3D-отпечатки оказались слишком тугими или слишком свободными, а предположения Claude о толщине и положении объектива оказались неверными.

Возникли и электрические проблемы. Сервоприводам требуется отдельная цепь питания, и их нельзя подключать напрямую к 5-вольтовому выводу ESP32. Все компоненты должны иметь общую землю; из-за её отсутствия сервоприводы дрожали. Конденсатор на 1.000 микрофарад между линиями 5 вольт и земли сглаживает резкие скачки тока от нескольких сервоприводов и предотвращает просадки напряжения, которые могли бы перезагрузить ESP32 и камеру.

Прошивка создала особое препятствие. Популярная библиотека для управления сервоприводами на ESP32 назначила локтевой и базовый суставы на один и тот же канал PWM, из-за чего они двигались синхронно. Проблему решило явное назначение отдельных каналов PWM для каждого сервопривода. Всегда проверяйте код, созданный ИИ: не считайте назначение каналов верным, особенно при использовании общих библиотек. Подробнее о компонентах системы зрения читайте в MediaPipe Solutions - Google for Developers.

Калибровка руки Greg потребовала подхода на основе сетки. Рука принимала различные положения, а камера отслеживала кусочек ленты на её ладони. Так координаты изображения напрямую сопоставлялись с соответствующими углами суставов, что создало основную связь между зрением и движением.

Последовательные доработки заметно улучшили «дай пять» у Greg. Камера с более широким углом обзора улучшила распознавание, а голосовые команды позволили точно корректировать работу в реальном времени. Сохранённые примеры помогли точнее настроить ориентацию запястья, а регулируемые ползунки управляли задержкой и скоростью, позволяя настроить взаимодействие под себя.

В итоге Greg справился со своей задачей и после первоначальной настройки работал надёжно. Тем не менее он остался прототипом и порой давал сбои при запуске, для устранения которых требовалось вмешательство вручную.

Проект подчёркивает важное различие: ИИ ускоряет создание, быстро генерируя конструкции и код. Но превращение сгенерированного проекта в надёжное устройство требует тщательного тестирования, точных измерений и терпеливого поиска неисправностей. Контроль со стороны человека по-прежнему необходим, чтобы преобразовать идеи, созданные ИИ, в надёжные и работоспособные физические системы.

Что делает робот Greg?

Greg распознаёт поднятую открытую ладонь и перемещает свою руку с пятью сервоприводами, чтобы дать «пять».

Как Greg распознаёт поднятую руку?

Камера передаёт видео по Wi-Fi на Mac, где Google MediaPipe распознаёт руку и помогает рассчитать целевое положение манипулятора.

Что Claude помог создать для робота?

Claude помог создать модели для Blender, схемы подключения, прошивку и программное обеспечение для компьютерного зрения, а разработчик тестировал и исправлял конструкции.

Может ли новичок собрать робота, спроектированного с помощью ИИ?

Мотивированный новичок с базовым опытом в электронике может попробовать, но должен быть готов к ручной сборке, аккуратной разводке питания и многократным примеркам деталей.