基本的な音声プロンプトを出し抜いたカボチャ
従来の音声アシスタントはユーザーを苛立たせることが多い。Alexaに週末の予定を尋ねても、「すみません、わかりません」と返されるだけだ。この一般的な限界が、より賢いカボチャを開発するきっかけとなった。
しかし、このカボチャは理解してくれた。「この辺りで何があるか調べてみよう」と提案し、以下の候補を挙げた：
- ペン博物館でのミステリーツアー
- Jam Houseでのライブ音楽
- 植物園でのサイレントディスコ
重要なのは、提示された制約を尊重し、「すべて近場で、市内中心部に行く必要はない」という提案を維持したことだ。代わりにハロウィンのジョークを求めると、「玄関先に一週間座りっぱなしのカボチャを何と呼ぶ？『つぶれた（squash）』やつさ」と答えた。
この実用的なアップグレードは、目新しい外装や魔法のモデルではない。高速なローカル入力と高性能なクラウド推論を組み合わせた「音声パイプライン」である。このアーキテクチャは、Raspberry Pi上でローカルの「音声認識（STT）」モデルを実行して遅延を最小限に抑え、複雑なクエリに対しては文字起こしデータをリモートの「LLM」（Gemini FlashやDeepSeek Flashなど）に送信する。
このハイブリッドアプローチにより、LLMはウェブ検索や位置情報といった外部ツールにアクセスでき、高度な計画立案や文脈を理解した応答が可能になる。システムはその後、速度や品質の必要性に応じて、デバイス内または外部の高忠実度ニューラル音声APIを介して音声を合成する。
顔のハンダ付けと配線の苦闘
製作はRaspberry Pi、マイク、スピーカー、アンプHATから始まった。2つのLEDがカボチャの光る目として機能する。Perma-Protoボードをハンダ付けの土台にすることで、Pi本体への直接的な改造を避けた。
組み立ての前に、初心者の重要なステップとしてテストキットでハンダ付けの練習を行った。最初のLED配線が最も困難で、1つの狭い穴に2本の線を無理やり通す作業に何時間も費やし、線が切れることもあった。
次に、以下のコンポーネントを「Perma-Protoボード」にハンダ付けした：
- Raspberry Pi接続用の40ピン
- アンプ用の6ピンストリップ
- 各種接続用の8〜9本の追加配線
問題を防ぐため、「マルチメーター」で接続を確認した。アクティブクーラーとPerma-ProtoボードをRaspberry Piに取り付け、プラグアンドプレイのマイクとスピーカーを接続した。
すぐにデバッグが必要になった。スピーカーが機能しなかったのだ。調査の結果、Perma-Protoボードのハンダ付けが不十分なピンがアクティブクーラーに接触し、ショートしていたことが判明した。即席のカードスペーサーで一時的に解決したが、理想的な修正とは言えない。こうしてカボチャに電源が入った。
なぜ最も賢い部分が2つの場所に分かれているのか
カボチャの知能はPiの中だけに存在するわけではない。アーキテクチャはハイブリッドアプローチを採用した。「Hey Pumpkin」のようなウェイクワードがRaspberry Pi上のローカル音声認識（STT）を起動する。この文字起こしデータが推論のためにリモートの「大規模言語モデル（LLM）」にストリーミングされ、応答がローカルまたはクラウドサービス経由で音声に変換される。
この分割設計により、遅延と機能性のバランスが保たれている。「parakeet」のような軽量モデルを使用したローカル認識により、音声処理をデバイスの近くに留め、体感的な遅延を軽減した。GeminiやDeepSeek Flashのような強力なLLMを活用するクラウド推論により、高度なモデルやウェブ検索、位置情報といった外部ツールへのアクセスを実現した。
重要な点として、Piは大規模な推論モデルを実行していたわけではありません。その役割は、初期の音声キャプチャとテキスト読み上げ（TTS）合成に限定されていました。複雑なクエリの理解や情報に基づいた回答の生成といった負荷の高い処理は、計算リソースが豊富なデバイス外で行われました。この分散型インテリジェンスにより、応答性と深みの両方が確保されました。このビルドの詳細については、Better Stackのリソースをご覧ください。
この記事が気に入ったら、毎朝同じようなものをメールで受け取れます。
1日1通 · 2クリックで解除 · サードパーティのトラッキングなし
優れたアシスタントには、優れたモデル以上のものが必要である
ツールへのアクセスにより、音声アシスタントは単なるアイデア生成ツールから実用的なプランナーへと進化します。ウェブ検索とリアルタイムの場所コンテキストを統合することで、このパンプキンは単に抽象的な概念をブレインストーミングするだけでなく、ペン博物館での殺人ミステリーや植物園でのサイレントディスコなど、近隣の具体的なアクティビティを提案できるようになります。
イベント情報、営業時間、価格は常に変動することに注意してください。パンプキンの提案は機能のデモンストレーションであり、旅程を保証するものではありません。確定した計画を立てる前に、必ず詳細を確認してください。
真に優れたアシスタントは、基盤となるLLM以上のものにかかっています。DIY音声アシスタントを評価する基準は以下の通りです：
- レイテンシ（遅延）
- 有用なコンテキストの統合
- ユーザーのプライバシー選択
- 信頼性の高いハードウェア
この全体的なアプローチが、優れた体験を定義します。さらなる探求のために、Raspberry Pi documentationおよび堅牢な音声認識のためのOpenAI Whisperを参照してください。
よくある質問
AIパンプキンを動かしているハードウェアは何ですか？
Raspberry Piに、マイク、スピーカー、アンプボード、そしてはんだ付けされた2つのLEDの目が接続されています。
パンプキンのAIはすべてRaspberry Pi上で動作していますか？
いいえ。この設計では、応答性を高めるためにローカルで音声処理を行い、その後、推論とツール利用のために文字起こしされたリクエストをリモートのLLMに送信します。
パンプキンはどのようにして地元のイベントに関する質問に答えるのですか？
クラウドモデルがウェブ検索や場所コンテキストなどの外部ツールを使用し、関連する選択肢を見つけ出します。
初心者が同様の音声アシスタントを構築することはできますか？
このプロジェクトは、準備、はんだ付けの練習、慎重な配線を行えば取り組めますが、初心者は接続を確認し、危険なショートを避けるようにしてください。