MetaのAIガジェット「Muse Charm」を自作！Claude Codeで機能拡張する開発体験

MetaのAIガジェットを自作する開発体験

Metaが発表したAIガジェット「Muse Charm」に先駆け、あるエンジニアがわずか50ドルで同様のデバイスを自作し、その開発体験を共有しました。この自作デバイスは、中国から取り寄せた1.75インチのタッチスクリーンコンピュータペンダント「Waveshare ESP32-S3 1.75C」を基盤としています。このデバイスはMetaが「Muse Gadget」の構築を推奨する最初のデバイスの一つであり、Metaのオープンソースコードとトークンを使用してMuse AIクラウドに直接接続できます。

当初、このデバイスはMetaのキーをインストールしても、音声クリップを転写する機能しか持たず、応答も遅く、音声出力もありませんでした。画面に表示される文字数も限られており、完全なメッセージを読むにはスマートフォンアプリが必要でした。また、Metaのビルドには単一のアバターしかなく、スマートホームデバイスの自動検出機能もありませんでした。カメラからのビデオストリーミングのサンプルアプリはあったものの、リモートシャッターボタンがないため、写真撮影には不便でした。

Claude Codeによる機能拡張

これらの初期の課題は、Claude Codeを活用することでほぼすべて解決されました。エンジニアはWaveshareデバイスをPCに接続し、Claudeに希望する機能の再プログラミングを依頼しました。

• 会話履歴と音声出力の改善: Museの応答が読みにくい、聞こえないという問題に対し、Claudeは会話履歴ページを構築し、右にスワイプして過去のメッセージを読めるようにしました。また、ElevenLabsのAI音声（イギリス英語）を統合し、Museの応答を声に出して聞けるようにしました。
• リモートカメラビューファインダー機能: Claudeは、ボタンを押すだけでスマートフォンで高品質なライブプレビュー付きの写真を遠隔撮影できる機能を追加しました。スマートフォンのフロントカメラの表示が逆さまになる問題も修正されました。さらに、Bluetooth経由で低品質のカメラプレビューを追加し、Wi-Fi環境がなくてもクリエイティブな角度からの写真撮影を可能にしました。
• 多様なアバターとタマゴッチ風ミニゲーム: Meta Connectで紹介されたような多様なアバターを生成し、食事、遊び、睡眠、入浴が必要なタマゴッチ風ミニゲームを追加しました。ゲームがシンプルすぎると感じた際には、空腹、退屈、汚れのレベルを4段階に増やし、おやつを食べると汚れる、遊びすぎると疲れるといった要素も追加しました。
• 音声入力の改善: プッシュトゥトークボタンを早く離しすぎてMuseが音声をうまく認識できない問題に対し、Claudeは1秒以上の音声のみを送信するようにコードを修正しました。
• 実用的なポケットウォッチ機能: 記事の動画のために、Claudeは実際に時間を表示する3針のポケットウォッチの文字盤を15分で作成しました。さらに、ZuckがMuse Charmを紹介するビデオクリップをダウンロード、トリミングし、Waveshareで再生できるビデオプレーヤーもインストールしました。

このエンジニアはコーディング経験がないにもかかわらず、Claude Codeを活用することで、これらの機能を容易に実装できたと述べています。ただし、MetaやMuseエージェントのプライバシーに関する懸念から、デバイスはゲストWi-Fiに接続して使用されました。

この経験から、専用のハードウェアを持つ理由は、スマートフォンではできないことを、つまりガジェット全体を自由にプログラミングできることにあると結論付けています。実際のMuse Charmがどれほど自由にプログラミング可能になるのか、あるいは開発キットの方が適しているのかは、製品の出荷を待つ必要があるでしょう。