Voici Greg, le robot à une seule mission
Voici Greg, un robot doté d’un unique objectif : détecter une paume humaine levée et répondre par un « tope là ». Cette interaction simple et mémorable illustre une intégration avancée de l’IA en coulisses, avec des résultats immédiats et tangibles.
L’architecture de Greg repose sur cinq servomoteurs pilotés par une carte ESP32-S3. Une seconde carte ESP32-CAM diffuse la vidéo par Wi-Fi vers un Mac. Ce Mac exécute Google MediaPipe, qui détecte les paumes ouvertes et calcule les angles d’articulation précis pour le « tope là ».
Ce système distribué fonctionne à partir d’une seule alimentation. Une fois sous tension, Greg se met en position et attend une main humaine. La conception montre comment l’IA peut faire le lien entre conception mécanique, firmware et vision, mais c’est toujours un humain qui a construit, testé et assemblé la machine.
Claude Opus 3.5 a accompagné l’ensemble du processus de conception, en générant :
- des modèles 3D des pièces
- des schémas de câblage
- le firmware des deux cartes ESP32
- des algorithmes de vision par ordinateur
Le créateur a utilisé une imprimante 3D Elegoo Neptune 3 Pro pour la fabrication. Claude a généré les pièces sous forme de scripts Blender, ce qui permettait des ajustements manuels directs. Ce projet met en avant un flux de travail efficace : une conception pilotée par l’IA associée à un assemblage manuel et à des itérations humaines.
Claude est devenu l’équipe de conception du robot
Claude est devenu l’équipe de conception complète de Greg. Le constructeur a fourni le concept et les dimensions des composants ; Claude a généré tous les éléments nécessaires. Cela comprenait des modèles Blender, des schémas de câblage, le firmware des deux cartes ESP32 et le code de vision pour le serveur MediaPipe.
Le choix de Blender était stratégique. Le constructeur a évité d’apprendre un logiciel de CAO dédié et s’est appuyé sur Blender, qu’il connaissait. Claude a généré les conceptions via des scripts Python, ce qui permettait de les inspecter directement et de les ajuster manuellement si nécessaire.
Les boucles de retour physiques étaient essentielles. Avant les impressions à grande échelle, le constructeur a imprimé de petits tests de logements de servomoteurs. Des photos des problèmes d’ajustement ont été renvoyées à Claude, qui a analysé les images et révisé les conceptions. Ce processus itératif a fait gagner des heures d’impression et du filament sur l’Elegoo Neptune 3 Pro.
Ce flux de travail a réduit le temps de conception et le gaspillage de matière. Claude a pris en compte les dimensions précises de composants tels que les servomoteurs et la caméra ESP32, mais il lui est parfois arrivé de manquer certains détails. Par exemple, une première conception de l’épaule ne laissait pas de place pour les fils des servomoteurs ; Claude l’a corrigée à partir des retours en images.
Cette itération multimodale, qui consiste à renvoyer les résultats physiques à l’IA, s’est révélée essentielle. Elle a démontré la capacité de Claude à faire le lien entre conception numérique et prototypage physique, démocratisant le développement matériel pour des projets complexes comme Greg.
Les petites erreurs qui ont bloqué la construction
Des erreurs de construction physique ont stoppé la progression. Les premières conceptions de supports de servomoteurs proposées par Claude omettaient l’espace essentiel pour les fils, ce qui a nécessité une refonte complète modélisant le câble. Les modèles de caméra ont aussi exigé des mesures réelles, car les premières impressions 3D étaient trop serrées ou trop lâches ; les hypothèses de Claude sur l’épaisseur et la position de l’objectif se sont révélées inexactes.
Des défis électriques sont apparus. Les servomoteurs nécessitent un chemin d’alimentation séparé et ne doivent jamais puiser directement sur la broche 5 volts de l’ESP32. Tous les composants doivent partager une masse commune ; l’avoir négligé a provoqué des tremblements des servomoteurs. Un condensateur de 1.000 microfarads placé entre les lignes 5 volts et masse amortit les pics de courant soudains de plusieurs servomoteurs et évite les chutes de tension susceptibles de réinitialiser l’ESP32 et la caméra.
Le firmware a présenté un obstacle particulier. La bibliothèque de servomoteurs ESP32 très répandue attribuait le coude et la base au même canal PWM, ce qui les faisait bouger à l’unisson. Attribuer explicitement des canaux PWM distincts à chaque servomoteur a résolu le problème. Vérifiez toujours le code généré par l’IA ; ne présumez pas que l’attribution des canaux est correcte, surtout avec des bibliothèques partagées. Pour plus de détails sur les composants du système de vision, consultez MediaPipe Solutions - Google for Developers.
Cet article vous plaît ? Recevez-en un comme celui-ci chaque matin.
un e-mail par jour · désinscription en deux clics · aucun traqueur tiers
D’un bras maladroit à un « tope là » fonctionnel
L’étalonnage du bras de Greg a nécessité une approche par grille. Le bras a échantillonné diverses positions pendant que la caméra suivait un morceau de ruban adhésif collé sur sa paume. Ce processus a associé directement les coordonnées de l’image aux angles d’articulation correspondants, établissant le lien fondamental entre la vision et le mouvement.
Des améliorations itératives ont nettement amélioré le « tope là » de Greg. Une caméra à plus grand angle a amélioré la détection, et les commandes vocales ont permis des ajustements précis en temps réel. Des exemples enregistrés ont aidé à affiner l’orientation du poignet, tandis que des curseurs réglables contrôlaient le délai et la vitesse, personnalisant l’interaction.
Greg a finalement atteint son objectif de faire des « tope là », avec un fonctionnement fiable après la configuration initiale. Il est toutefois resté un prototype, présentant parfois des problèmes de démarrage nécessitant une intervention manuelle.
Ce projet met en lumière une distinction essentielle : l’IA accélère la création, en générant rapidement des conceptions et du code. Mais le passage d’une conception générée à un matériel fiable exige des tests méticuleux, des mesures précises et un dépannage patient. La supervision humaine reste indispensable pour transformer des concepts générés par l’IA en systèmes physiques robustes et fonctionnels.
Questions fréquentes
Que fait le robot Greg ?
Greg détecte une paume ouverte levée et déplace son bras à cinq servomoteurs pour proposer un « tope là ».
Comment Greg reconnaît-il une main levée ?
Une caméra diffuse la vidéo par Wi-Fi vers un Mac, où Google MediaPipe détecte la main et aide à calculer la position cible du bras.
Qu’est-ce que Claude a aidé à créer pour le robot ?
Claude a aidé à générer des modèles Blender, des plans de câblage, le firmware et le logiciel de vision par ordinateur, le constructeur testant et corrigeant les conceptions.
Un débutant peut-il construire un robot conçu par IA ?
Un débutant motivé disposant de bases en électronique peut s’y essayer, mais doit s’attendre à un assemblage manuel, à un câblage d’alimentation soigné et à des essais d’ajustement répétés.