Claude가 하이파이브를 하는 로봇 제작을 도왔습니다

Greg는 들어 올린 사람의 손바닥을 감지하여 하이파이브로 응답한다는 단 하나의 목적을 가진 로봇입니다. 이 단순하고 기억에 남는 상호작용은 그 이면에 있는 고급 AI 통합을 보여 주며, 즉각적이고 구체적인 결과를 제공합니다.

Greg의 구조는 ESP32-S3 보드가 제어하는 5개의 서보를 중심으로 구성됩니다. 보조 ESP32-CAM이 Wi-Fi를 통해 Mac으로 영상을 전송합니다. 이 Mac은 Google MediaPipe를 실행하여 펼친 손바닥을 감지하고 하이파이브를 위한 정밀한 관절 각도를 계산합니다.

이 분산 시스템은 하나의 전원 공급 장치로 작동합니다. 전원이 켜지면 Greg는 위치를 잡고 사람의 손을 기다립니다. 이 설계는 AI가 기계 설계, 펌웨어, 비전을 연결할 수 있음을 보여 주지만, 기계를 제작하고 테스트하고 조립한 것은 여전히 사람이었습니다.

Claude Opus 3.5가 전체 설계 과정을 지원하며 다음을 생성했습니다.

• 부품용 3D 모델
• 배선 다이어그램
• 두 ESP32 보드용 펌웨어
• 컴퓨터 비전 알고리즘

제작자는 제조를 위해 Elegoo Neptune 3 Pro 3D 프린터를 사용했습니다. Claude는 부품을 Blender 스크립트로 생성하여 직접 수동으로 조정할 수 있도록 했습니다. 이 프로젝트는 AI 기반 설계와 사람의 직접 조립 및 반복 개선을 결합한 강력한 워크플로를 보여 줍니다.

Claude는 Greg의 전체 설계 팀이 되었습니다. 제작자가 콘셉트와 부품 치수를 제공하면 Claude가 필요한 모든 결과물을 생성했습니다. 여기에는 Blender 모델, 배선 다이어그램, 두 ESP32 보드용 펌웨어, MediaPipe 서버용 비전 코드가 포함되었습니다.

Blender를 선택한 것은 전략적이었습니다. 제작자는 전용 CAD 소프트웨어를 배우는 대신 익숙한 Blender를 활용했습니다. Claude는 Python 스크립트를 통해 설계를 생성했으며, 필요할 경우 직접 확인하고 수동으로 조정할 수 있었습니다.

물리적 피드백 루프가 매우 중요했습니다. 제작자는 전체 규모로 출력하기 전에 작은 서보 포켓 테스트를 먼저 출력했습니다. 맞춤 문제가 있는 부분의 사진을 Claude에 다시 보내면 Claude가 이미지를 분석하여 설계를 수정했습니다. 이 반복 과정 덕분에 Elegoo Neptune 3 Pro에서 출력 시간과 필라멘트를 절약할 수 있었습니다.

이 워크플로 덕분에 설계 시간과 재료 낭비가 줄었습니다. Claude는 서보와 ESP32 카메라 같은 부품의 정확한 크기를 반영했지만, 때로는 세부 사항을 놓치기도 했습니다. 예를 들어 초기 어깨 설계에는 서보 전선을 위한 공간이 없었고, Claude는 이미지 피드백을 받은 뒤 이를 수정했습니다.

물리적인 결과를 AI에 다시 입력하는 이러한 멀티모달 반복 과정은 필수적이었습니다. 이는 Claude가 디지털 설계와 물리적 프로토타이핑을 연결할 수 있음을 보여 주었으며, Greg와 같은 복잡한 프로젝트에서 하드웨어 개발의 문턱을 낮추었습니다.

물리적인 제작 오류로 인해 진행이 멈추었습니다. Claude의 초기 서보 마운트 설계에는 전선을 위한 필수 공간이 빠져 있어, 케이블까지 모델링한 완전한 재설계가 필요했습니다. 카메라 모델 역시 초기 3D 출력물이 너무 꽉 끼거나 헐거워서 실제 측정값이 필요했으며, 두께와 렌즈 위치에 대한 Claude의 가정은 잘못된 것으로 드러났습니다.

전기적인 문제도 나타났습니다. 서보에는 별도의 전원 공급 경로가 필요하며, ESP32의 5볼트 핀에서 직접 전원을 끌어 쓰면 안 됩니다. 모든 부품은 공통 접지를 공유해야 하며, 이를 소홀히 하자 서보가 떨리는 현상이 발생했습니다. 5볼트 라인과 접지 라인 사이에 연결한 1,000 마이크로패럿 커패시터는 여러 서보에서 발생하는 갑작스러운 전류 급증을 완충하여, ESP32와 카메라를 재설정시킬 수 있는 전압 강하를 방지합니다.

펌웨어에서는 특이한 문제가 있었습니다. 널리 쓰이는 ESP32 서보 라이브러리가 팔꿈치와 베이스 관절을 같은 PWM 채널에 할당하여 두 관절이 함께 움직였습니다. 각 서보에 서로 다른 PWM 채널을 명시적으로 할당하자 문제가 해결되었습니다. AI가 생성한 코드는 항상 검증해야 하며, 특히 공유 라이브러리를 사용할 때는 채널 할당이 올바르다고 가정해서는 안 됩니다. 비전 시스템 구성 요소에 대한 자세한 내용은 MediaPipe Solutions - Google for Developers를 참고하세요.

Greg의 팔을 보정하려면 격자 기반 방식이 필요했습니다. 팔이 다양한 위치를 샘플링하는 동안 카메라는 손바닥에 붙인 테이프 조각을 추적했습니다. 이 과정에서 이미지 좌표가 해당 관절 각도에 직접 매핑되어, 비전과 동작 사이의 기본 연결이 만들어졌습니다.

반복적인 개선으로 Greg의 하이파이브가 크게 향상되었습니다. 더 넓은 화각의 카메라가 감지 성능을 높였고, 음성 명령으로 실시간 정밀 조정이 가능해졌습니다. 저장된 예시는 손목 방향을 미세 조정하는 데 도움이 되었으며, 조절 가능한 슬라이더로 지연 시간과 속도를 제어하여 상호작용을 맞춤 설정할 수 있었습니다.

Greg는 결국 하이파이브라는 목적을 달성했으며, 초기 설정 이후에는 안정적으로 작동했습니다. 그러나 여전히 프로토타입으로, 시작 시 간헐적으로 문제가 발생하여 수동 개입이 필요한 경우가 있었습니다.

이 프로젝트는 중요한 차이를 보여 줍니다. AI는 설계와 코드를 빠르게 생성하여 제작을 가속합니다. 하지만 생성된 설계를 신뢰할 수 있는 하드웨어로 바꾸는 데에는 꼼꼼한 테스트, 정확한 측정, 그리고 끈기 있는 문제 해결이 필요합니다. AI가 생성한 개념을 견고하게 작동하는 물리 시스템으로 바꾸려면 사람의 감독이 여전히 필수적입니다.

로봇 Greg는 어떤 일을 하나요?

Greg는 펼친 손바닥을 감지하고 5개의 서보로 구성된 팔을 움직여 하이파이브를 합니다.

Greg는 들어 올린 손을 어떻게 인식하나요?

카메라가 Wi-Fi를 통해 Mac으로 영상을 전송하면, Mac에서 Google MediaPipe가 손을 감지하고 팔의 목표 위치를 계산하는 데 도움을 줍니다.

Claude는 로봇을 위해 무엇을 만드는 데 도움을 주었나요?

Claude는 Blender 모델, 배선 계획, 펌웨어, 컴퓨터 비전 소프트웨어를 생성하는 데 도움을 주었으며, 제작자가 설계를 테스트하고 수정했습니다.

초보자도 AI가 설계한 로봇을 만들 수 있나요?

기본적인 전자 회로 경험이 있고 의욕이 있는 초보자라면 도전해 볼 수 있습니다. 다만 직접 조립하고, 전원 배선을 신중하게 하며, 맞춤 테스트를 반복해야 한다는 점을 예상해야 합니다.