今回は、Webカメラとマイクを使って、自分の顔の動きや声に合わせて画面上の動作人形（パペット）を動かせる**「自作パペットシステム」**をご紹介します。

「自分専用のオリジナルアバターを、もっと手軽に動かしてみたい！」という思いからPythonで開発を進めていたシステムですが、前回の記事の内容に改良を加え、やっと誰でも簡単に使えるパッケージになりました。

この辺で、Adobeのパペットにバイバイして、Adobeのサブスクをキャンセルすることにします。

今回はサンプルパペット付きのアプリ（ZIPファイル）を無料公開します。プログラミングが分からない方でもすぐに使えるように工夫したので、ぜひダウンロードして試してみてください。

✨ 自作パペットシステムの3つの特徴

1. Webカメラとマイクだけでスルスル動く

高価なトラッキング機材は不要です。Macの内蔵カメラ（またはWebカメラ）があなたの顔の傾きを認識し、マイクが声の大きさを拾って、パペットがリアルタイムに連動します。

「あいうえお」の口の形にも対応しており、まばたきや視線の移動も自動で行います。

2. 専用の設定画面（UI）でカンタン調整

以前はプログラムのコードを直接書き換える必要がありましたが、専用の「司令塔」となる設定画面を用意しました。

「マイクの感度」「パペットの大きさ」「顔の傾き具合」などを、数値で直感的に微調整できます。自分好みのセッティングを見つけたら、キャラクターごとに保存しておくことが可能です。

3. スペースキーでいつでも正面をリセット！

使っている途中で「ちょっと顔の向きがズレてきたな…」と思ったら、スペースキーをポンッと押すだけ。その瞬間のあなたの顔の位置を「真正面」として再設定（キャリブレーション）します。

📥 ダウンロードと使い方

以下のリンクから、一式がまとまったZIPファイルをダウンロードしてください。

👉ダウンロード(Macのみ)(無料・許諾不要)

使い方の手順（※Mac専用です）

使うためには、お使いのMacに「Python」が入っている必要があります。（入っていない方は公式サイトからインストールしてください）

1. ダウンロードしたZIPを解凍し、フォルダを開きます。
2. 初回のみ、フォルダ内の『はじめにお読みください.txt』の手順に従って、必要なAIパーツ（MediaPipeなど）をインストールします。（※ターミナルにドラッグ＆ドロップするだけです！）
3. 準備ができたら、**「自作パペット起動.command」**をダブルクリック！
4. 設定画面が開くので、キャラクターに「サンプル」を選んで「起動」ボタンを押せば完了です。

※初回起動時はMacのセキュリティで弾かれることがあります。その場合はファイルを「右クリック」→「開く」を選択してください。カメラのアクセス、マイクのアクセスの許可を求められたら「許可」を選択してください。

🎨 応用編：オリジナルのパペットを自作しよう！

今回お配りしたフォルダの中には、run_assets/サンプル という場所に、パペットのデザインの元になった 「サンプル.pxd」 というファイルが入っています。

Macの画像編集ソフト「Pixelmator Pro」をお持ちの方は、このファイルを開いて自分の好きな絵に描き換えるだけで、完全オリジナルの自作パペットを作ることができます！

さらに、Pixelmator Proから画像を書き出してパペットを起動するまでを「ワンクリック」で全自動化する裏技（AppleScriptとAutomatorの連携）も開発しました。私は、サブスク版ではない、以前からある単発アプリを使っています。もしサブスク版で「パペット書き出し起動.app」がうまく動かなくなった場合は、Automatorで作成したAppleScript内の tell application “Pixelmator Pro” という1行を、新しいサブスク版の正確なアプリ名に書き換えるだけで解決します。

コードや詳しい仕組みに興味がある方は、こちらのページにスクリプトを公開していますので、ぜひ覗いてみてください。

コードと要約(クリック)

要約：このシステムは、顔認識と音声入力を利用してリアルタイムで動作するデスクトップパペットを実現します。 run_ui.pyは、パペットの各種設定を行うGUIアプリケーションです。キャラクターの新規作成、複製、選択、そしてボリューム閾値、グローバルスケール、顔の傾き制限、目の感度、カメラ/マイクIDといったパラメータ調整機能を提供します。これらの設定はキャラクターごとにJSONファイルとして保存されます。 run_puppet.pyは、UIで選択・設定されたキャラクターとパラメータに基づき、実際のパペット動作を制御するスクリプトです。OpenCVとMediaPipe Face Meshを用いてカメラ映像から顔の傾き、目の動き、口の形を検出し、マイクからの音声ボリュームと連携させてアバターの頭の回転、視線、口の動きをリアルタイムで再現します。キャリブレーションデータもキャラクターごとに保存されます。 Automatorスクリプトは、これらのPythonスクリプトの実行を補助します。「自作パペット起動.app」は設定UIを立ち上げ、「パペット書き出し起動.app」はPixelmator Proで開いているドキュメントの各レイヤーをPNG画像として書き出し、キャラクターごとの設定JSONを自動生成した後、該当するパペットを起動する一連の処理を行います。これにより、Pixelmator Proでの画像編集からパペット起動までがスムーズに連携されます。

公開スクリプトに関するお問い合わせは以下へ↓

PixelmatorProによるパーツの変更をパペット起動アプリに即座に反映している動画を以下に掲載します。

💡 OBSでリアルタイム配信に使いたい方へ

このパペットシステムは、OBS Studioを使ってリアルタイム配信などの画面に合成することも可能です。

ウィンドウキャプチャでパペットの画面を取り込み、背景（グリーンバック等）を透過させればOKです。

【ワンポイントアドバイス：音ズレの直し方】

映像の処理には少し時間がかかるため、OBS上で「声（マイク）」に対して「パペットの口の動き（映像）」がわずかに遅れて見えることがあります。

その場合は、OBSの「オーディオの詳細プロパティ」から、マイクの「同期オフセット」を「200ms〜500ms」ほどプラスに設定して、声をわざと遅らせて映像に合わせると自然になります。私は今500msに設定しています。

おわりに

自分が描いたイラストが、自分の動きに合わせて滑らかに動く体験は、何度やっても感動します。それではご自由に利用ください。

動画をご覧ください。

コードと要約(クリック)

自作パペット_py.pub.txt 要約： このシステムは、顔認識と音声入力を利用してリアルタイムで動作するデスクトップパペットを実現します。 run_ui.pyは、パペットの各種設定を行うGUIアプリケーションです。キャラクターの新規作成、複製、選択、そしてボリューム閾値、グローバルスケール、顔の傾き制限、目の感度、カメラ/マイクIDといったパラメータ調整機能を提供します。これらの設定はキャラクターごとにJSONファイルとして保存されます。 run_puppet.pyは、UIで選択・設定されたキャラクターとパラメータに基づき、実際のパペット動作を制御するスクリプトです。OpenCVとMediaPipe Face Meshを用いてカメラ映像から顔の傾き、目の動き、口の形を検出し、マイクからの音声ボリュームと連携させてアバターの頭の回転、視線、口の動きをリアルタイムで再現します。キャリブレーションデータもキャラクターごとに保存されます。 Automatorスクリプトは、これらのPythonスクリプトの実行を補助します。「自作パペット起動.app」は設定UIを立ち上げ、「パペット書き出し起動.app」はPixelmator Proで開いているドキュメントの各レイヤーをPNG画像として書き出し、キャラクターごとの設定JSONを自動生成した後、該当するパペットを起動する一連の処理を行います。これにより、Pixelmator Proでの画像編集からパペット起動までがスムーズに連携されます。

公開スクリプトに関するお問い合わせは以下へ↓

なぜパペットを自作しようと思ったのか？

最大の理由は**「コスト」**です。
Adobeの素晴らしいパペットを使うためには、当然ながらAdobeのサブスクリプションに加入する必要があります。一番安いプランの組み合わせでも、月額1,200円ほどかかってしまいます。
「このキャラクターを使うためだけに、毎月課金し続けるのはどうなんだろう？」と悩んでいました。今は生成AI（画像生成AIやテキスト生成AI）がこれだけ発達し、メディアの加工やプログラムの作成まで何でもできる時代です。「それなら、AIの力を借りて自分で作ってしまおう！」と思い立ったのがきっかけです。

新キャラクター「いまかっちゃん（仮）？」

というわけで、完全自前で作り上げたのがこちらのパペットです。（※名前は暫定で「いまかっちゃん」と思いつきましたが、ちょっと変な感じもしています。）
Adobeのパペットと比べてしまうと多少見劣りする部分はありますが、動画用としては十分な機能を持っています。
音声連動： 私が話す声に連動して口がパクパクと動きます。
目の動き： 上目遣いなど、視線も動きます。
首の動き： 多少ですが顔の向きも変わります。（※現状、少し不安定な動きになることがあり、今後の課題です）
動画を作る上での「使い物」にはなんとか仕上がったかなと、個人的には割り切って満足しています。

Google Geminiに丸投げ！？

「どうやって作ったの？」と疑問に思うかもしれませんが、実はプログラミングの大部分は**AI（Google Gemini）**にお願いしました。
Geminiに質問する： 日本語で「こういう動きをするプログラムを書いて」と質問し、Pythonのコードを書いてもらいます。Geminiは非常に賢く、どんどんコードを生成してくれました。
パーツ画像の用意： 目（上・下・右・左）、口（開・閉）、体、頭など、パーツごとに細かく分けた画像（PNG形式）を用意します。
フォルダ構成： Macの中に専用フォルダ（mypuppet_systemなど）を作り、Pythonの実行ファイル（run_puppet.py）と、先ほどの画像パーツ群（assetsフォルダ）を格納して連動させました。

Mac「Automator」で起動を劇的にラクにする方法

自作プログラムの弱点として、「毎回ターミナル（黒い画面）を開いてコマンドを打ち込まないと起動しない」という厄介な問題がありました。これでは面倒ですよね。
そこで、Mac標準アプリの**「Automator」**を使って、ワンクリックで起動できるように一工夫しました。
手順： Automatorを立ち上げ、「シェルスクリプトを実行」を選択。そこにターミナルで打ち込んでいた短いコマンドをコピペするだけ。
アプリ化： これをアプリケーションとして保存すれば、**「自作パペット起動.app」**の完成です！
これからは、このアプリアイコンをダブルクリックするだけで、サクッとパペットを呼び出せるようになりました。

OBSへのパペット設定

OBSへのパペットの組み込みですが、OBSのソース→ウインドウキャプチャ、この中から、パペットのあるウインドウを選択します。

STREAM DECKがあると便利です。マルチアクションにて、OBS.app→自作パペット起動.app、と設定すればラクです。

さてと。。

その後の改善として、Pixelmator Proとの連携を作っています。形になったら紹介します。
生成AIを活用すれば、プログラミングの深い知識がなくても、日常の「ちょっと不便」「コストを削りたい」を解決できるツールが作れてしまいますよね。便利な時代になりました。