今回の投稿は、前回の投稿ID-29651「VTT字幕の全自動生成」とペアになる投稿です。

以下のビデオは、

前回の投稿である動画音声ファイルからVTT字幕を生成するパートと、今回の投稿のメインであるエディタで編集するパートを一緒にしたものです。ご視聴ください。

２　ウインドウを統合したエディタを作った

ID-27063「字幕かんたん作成～」にてご案内しましたが、ウインドウがバラバラに配置され使いにくさがありました。

今回、大幅に改善しました。各ウインドウを統合して使いやすくしました。誰でも簡単にインストールできるようにしました。

３　字幕かんたんエディタの特徴

（１）字幕ファイルはvttを使う

動画アプリの殆どが字幕はsrtファイルを出力する形になっていますが、これは大手プラットフォームのプレーヤーの標準がsrt使用になっているからです。ところが私はWordpressプレーヤーを改良したハンドメイドプレーヤーでの再生を基本に考えていますので、Wordpressの字幕ファイルの標準であるvttを使うことにしています。

（２）文字情報はプレーンテキストが基本

私は字幕を動画に焼き付けることは基本的にはしません。その動画の中に焼き付けられた文字の理解のためには、コンピュータの頭脳にかなり大きなエネルギーを使わせることになります。

最近、YouTubeなどの動画そのものを生成AIに読み込ませてマルチモーダルに理解させることを売りにしているようですが、こんなことをするとユーザーそれぞれが金太郎飴のように同じことをやり出すわけで、膨大な資源の無駄遣いのように感じます。やはり文字情報はプレーンテキストで記録するのが基本だろうと考えます。

だから私は、動画ファイルと字幕ファイルは別々に作ります。再生するときにプレーヤー上で合体させますし、ブログ記事をソース化するときも貼り付けた動画の字幕一覧情報を含めています。

（３）字幕一覧txtファイルも同時生成する

字幕vttファイルと同時にセットで字幕一覧txtファイルも出力するようになっています。

字幕一覧は、見たい場面に瞬時に移動できる点と、前後の字幕の見逃しや先読みに役に立つ点、それらに加えて、実は、翻訳した時の精度のばらつきをカバーするのに役に立ちます。どういうことかというと、Google翻訳は字幕一覧の中まで綺麗に翻訳出来るのに対して、Apple翻訳は字幕一覧の中の翻訳は使い物にならないほど酷いのにかかわらず画像内の文字列の翻訳は見事に出来るなど、得手不得手がバラバラです。いずれにしても字幕一覧があれば、その凸凹な翻訳レベルを補ってくれます。

４　実装

（１）Macの条件

このアプリをインストールできるのは、

Apple Silicon (M1 / M2 / M3チップ等) を搭載したMac

対応OS：macOS 11 (Big Sur) 以降
必要なソフト：なし（完全スタンドアロン）

Pythonの環境構築や追加ライブラリのインストールは一切不要です。ダウンロードしてすぐに使用できます。

ちなみに私は、M2 Mac mini Sonomaです。

（２）インストール方法

必須の操作：初回起動時のセキュリティ許可

初回のみ、readme.txt に記載の「右クリック ➔ 開く」によるGatekeeper（開発元未確認）の回避操作が必要です。

関係スクリプトおよびインストーラ(クリック)

関係するスクリプトは全て公開します。 関係スクリプト要約： 「字幕かんたんエディタ」は、macOS向けのVTT字幕エディタアプリケーションです。PyWebViewとBottleフレームワークをPythonで利用し、音声波形表示、VTT字幕の新規作成、既存ファイルの編集・保存、そしてWebページ埋め込み用のHTML形式字幕リスト（_listJ.txt）の自動生成といった主要機能を提供します。Finderからの動画ファイル連携起動や、macOSのセキュリティ対策を考慮した初回起動手順が付属しています。 アプリはbuild_dmg.shスクリプトでDMGファイルとしてビルドされ、readme.txtと共にZIPアーカイブで配布されます。 さらに、multimodal_vtt_pipeline_auto.pyスクリプトは、Google Gemini 3.6 Flash APIを用いて長尺動画を無音区間で自動分割し、高精度な文字起こしを行う全自動VTT字幕生成パイプラインです。このスクリプトは、日本語の空白整形、タイムスタンプ補正、自動リトライ機能に加え、VTT生成完了後には「字幕かんたんエディタ」を自動起動し、生成されたVTTファイルと元の動画を読み込むことで、字幕の確認・編集作業へのスムーズな連携を実現します。 スクリプト↓

インストーラ↓SubtitleEasyEditor.dmgをクリックしてアプリをドラッグ&ドロップしてください。

内容に関するお問い合わせは以下へ↓

付録： 動画を360p音質キープに変換.workflow 要約： このワークフローは、入力された動画ファイルを一括して360p解像度に変換するシェルスクリプトです。入力された各ファイルについて、新しいファイル名（元のファイル名に_360pを付加）を生成し、動画処理を行います。 動画はアスペクト比を保ちつつ、高さが360ピクセルになるようにスケーリングされます（または幅が360ピクセルになるよう調整され、もう一方が-2で自動設定）。映像コーデックにはH.264（libx264）を使用し、品質はCRF 23、エンコード速度はveryfastプリセット、ピクセルフォーマットはyuv420pが設定されています。 音声に関しては、ffprobeで元の音声コーデックとビットレートを判定します。もし元の音声がAACであればcopyモードで劣化なく複製され、それ以外のコーデックであれば、元のビットレート（取得できない場合は256kbps）に近い値でAAC形式に再エンコードされます。最終的に、データサイズの最適化とWeb再生に適した形式で360p動画が出力されます。 スクリプト↓

５　使用方法

説明不要なくらい簡単です。上に貼り付けたビデオでざっくりと説明していますのでご覧ください。

６　使用上の注意

私は、字幕vttファイル、字幕一覧txtファイルを新規に作成するときは、自動送信用のmmedia pmediaフォルダではない、別の静的なローカルフォルダに作成するようにしています。その後の、数分で済むような小さな修正は、自動送信用フォルダ内で行います。送信用フォルダは更新の都度、毎分そのファイルを配信所へ送信しますので、あまり処理のラッシュにならないようにしています。

７　まとめ

今回の開発で、私にとって「字幕工房」は不要になりました。
DIYで作れてしまいます。
つくづくアプリ開発で、収入を得るのは、大変な時代になったと感じます。

私としては、デジタル創作物もそれなりに広がりと奥行きがついてきました。これまでも意識してきたことではありますが、もっと、このimakatブログを、読者の皆さんの実装に役立つように、充実していきたいと思います。

今日は、夏休みの工作のようなアプリを一つ。

「Finderから動画・音声ファイルを右クリックするだけで、完全に結合・調整された1本のVTT字幕ファイルが自動でピコンと出来上がる」という、全自動連続パイプラインを開発しました 。これもギターコードアプリと同様、自分専用の介助ロボットづくり、ともいえます。

無料アカウントのままで利用可能ですのでご安心ください。

２　なぜGeminiの文字起こしは、VrewやCapCutより優れているのか？

一般的に使われている文字起こしツールは、純粋に「音声だけ」を聴いて文字に起こす仕組みになっているようです。そのため、同音異義語や画面に映っている言葉と乖離した誤変換が起きやすく、後からの手直しが避けられません。

しかし、Gemini 1.5 Pro（またはFlash、今回制作したPythonの中ではgemini-3.6-flashを使っています。）などGeminiモデルの最大の特徴は～「目（映像解析）」と「耳（音声解析）」の両方を同時に使うマルチモーダル処理～が可能なことです。 動画内のスライド、背後のホワイトボードの文字、話している文脈をGeminiが総合的に理解して文字起こしを行うため、専門用語や固有名詞の変換精度が非常に高く、手直しの手間がとても少なくなります。

３　拡がる字幕情報の活用

さらに今回は、～「映像と音声から複数人の会話（対談やインタビュー）だと自動判断した場合のみ、字幕の先頭に [男性]： [女性]： などの話者ラベルを自動で付与する」～という命令（話者判別ロジック）をプロンプトに組み込みました。これにより、例えば、Notebookで2人の音声解説を作る→それをこのアプリでVTT形式で文字起こしする→それをそのままPodcastや音声ブログにする、あるいはさらに、そこから動画を生成することもできます。

４　サンプルとして「聴くブログ」の字幕の出来栄えをご確認ください。

今回のアプリで作成したサンプルです。以下の「聴くブログ」をクリックすると表示されます。内容は結構お硬いですが高校生に理解できる程度の会話です。音声と連動して表示される字幕を確認ください。サイドバーにも掲載しています。

読み込み中…

この字幕情報の作り方ですが、Notebookで20分程度の音声解説を作りそれを今回のアプリで時刻付きの文字起こしVTTファイルを作成→次にそれをインタラクティブ・トランスクリプト(Interactive Transcript/対話型文字起こし型txtファイル)形式のtxtファイルに変換して同期させています。
インタラクティブ・トランスクリプト形式のtxtファイルの記述例：

<details translate="yes"><summary translate="yes">字幕一覧(クリック)</summary> <p translate="yes">
(<a href="#" class="imk-cue" data-seek="0:16" translate="no">00:00:16</a>) ディープダイブへようこそ。<br>
(<a href="#" class="imk-cue" data-seek="0:17" translate="no">00:00:17</a>) [男性]：今日のテーマなんですが、ずばり「妥協なきデジタル主権への挑戦」ということで。<br>
(<a href="#" class="imk-cue" data-seek="0:25" translate="no">00:00:25</a>) [女性]：デジタル主権、響きからして壮大ですよね。巨大IT企業に依存しないで、自分自身でデータを完全にコントロールするインフラをどうやって獲得するのか。<br>

</p> </details>
<style>
details { font: 16px "Open Sans", Calibri, sans-serif; width: 100%; }
details > summary { padding: 2px 6px; width: 100%; background-color: #ddd; border: none; box-shadow: 3px 3px 4px black; cursor: pointer; list-style: none; }
details > p { font: 14px "Open Sans", Calibri, sans-serif; height:150px; overflow: scroll; background-color: #EDF7FF; padding: 2px 6px; margin: 0; box-shadow: 3px 3px 4px black; }
</style>

なお、このテストでは、字幕作成の対象ファイルに、動画ではなくmp3音声ファイルを選んでいますが問題なく処理されています。

全自動作成後のVTTに対する修正箇所ですが、ロールバック機構→フォールバック機構、DR52.php→dr52.php、MyBox→mybox、 MyBox_1→mybox_1、の修正だけです。句読点もそのまま、時刻もそのままです。このサンプルは動画内に表示された文字を理解させるテストにはなっていませんが、それにしてもかなり高い精度です。

５　無料アカウントでも20分以上の動画がエラーなく処理できる秘密

Google AI Studio（API）の無料枠を利用する場合でも、長尺の動画は容量や処理限界の壁にぶつかります。 今回のパイプラインスクリプトは、以下の工程をすべて「Python」とMac標準ツールがバックグラウンドで全自動実行します。

（１）自動・無音分割（FFmpeg）: 動画を読み込み、1.0秒以上の無音区間を自動で探し出し、キリの良いポイント（デフォルト4分30秒）で動画を再エンコードなし（一瞬）で自動分割。

（２）クリーンな並列API送信: 分割した各動画を、それぞれ毎回クリーンな別のAIセッションにアップロードして文字起こしを依頼（AIの脳内メモリの混線を100%防止）。

（３）自動クリーンアップ: 処理が終わった動画ファイルは、APIサーバー上から直ちに自動削除（サーバー容量を圧迫しません）。

（４）自動タイムシフト＆マージ: 0秒リセットで返ってきた各字幕のタイムスタンプに、分割時のオフセット秒（ズレ）を自動で足し算して復元。

（５）通し連番の再編成: 結合された巨大なVTTデータを走査し、1から始まる綺麗な通し連番に一瞬で自動振り直し。

（６）デスクトップ通知: すべてが完了すると、Macの画面右上に「字幕作成が完了しました！」と通知が表示されます。

人間がやることは～「右クリックして待つだけ」～です。

６　実装手順

それでは、実装手順は以下です。

実装手順(クリック)

🛠️ 実装手順 （１）Geminiの「APIキー」を無料取得する APIを利用するための「鍵」を入手します。 Google AI Studioの公式サイト（ https://aistudio.google.com/ ）にアクセスします。 画面左上の 「Get API key」 ボタンを押し、プロジェクト用のキー（無料）を作成してコピーします。 （２）MacにPython 3とFFmpegをインストールする お使いのMacのターミナル（黒い画面）を開き、以下のコマンドが通る状態にしてください。 （※すでにHomebrewが導入されている環境を推奨します） brew install ffmpeg pip install google-genai （３） スクリプトの保存 １）Python 以下の青ボタンからPythonコードをダウンロードまたはコピーし、プログラム内の `API_KEY` の部分にご自身のAPIキーを貼り付けた上で、Macの適当なフォルダ（例: `/Users/（あなたのユーザー名）/python_scripts/` ）に **`multimodal_vtt_pipeline.py`** という名前で保存します。 ２）AppleScript 同じく以下の青ボタンからAppleScriptコードをダウンロードまたはコピーして、 ①Mac標準の 「Automator」 アプリを起動し、新規作成から 「クイックアクション」 を選択します。 ②画面最上部の設定を以下のように設定します。 「ワークフローの受け取る項目:」 ➔ 「ファイルまたはフォルダ」 「検索対象:」 ➔ 「Finder.app」 ③左側のアクション一覧から 「AppleScriptを実行」 を探し、右側のワークフローエリアにドラッグ＆ドロップします。 ④AppleScriptのコード入力欄に、ダウンロードしたコードを貼り付けます。 （※保存したPythonスクリプトのパスやPython実行環境のパスは、ご自身の環境に合わせて適切に書き換えてください） ⑤名前(全自動VTT字幕作成)をつけて保存します。

内容に関するお問い合わせは以下へ↓

７　運用上の注意

（１）ターミナルが起動するようにしてあります。

私は有料AI Proですが、それでも使用制限は結構な頻度で生じます。エラーやトラブルも時々生じます。そうした異常が生じた時、ターミナルに表示された文字列をコピーして、GeminiやGemなどの生成AIに貼り付けて、その末尾を改行してその下に「エラーが生じました。対策を教えてください。」と書いて、送信することになります。
その時の別な方法として、logを調べてそれをターミナルにコピペする方法もありますが、分かりにくく一手間余分に掛かりますので、ターミナルを常に表示するようにしておくのが、私にとっては安心に感じています。

（２）GeminiやGemなど生成AIはすぐに使えるようにしておく

ブラウザのブックマークや専用アプリなどを用意して、Gemini/Gem/生成AI、がすぐに使えるようにしておきましょう。エラーやトラブルの時、すぐにターミナルのコピペができるようにしておきましょう。

以上

そろそろ届く頃かなとは思っていたところですが。

Dropboxの年額更新案内が届きました。もともと課題意識があったので準備を進めてきたことではありますが、クラウドストレージの運用体制を見直し、Googleドライブ（Google AI Proプラン）への全面移行を進めることにしました。

長年使い込んできたDropboxからの脱却にあたり、課題となった「ローカルパスの互換性」と「自作アプリ（AppSheet / WordPress連携）への影響」をどのようにクリアしたかについて記録しておきます。

１　乗り換えを決意した理由〜ドル建て料金は重過ぎる〜

これまでDropbox Plus（2TB）を利用していましたが、ドル建て決済（131.87 USD/年）のため近年の円安傾向も相まって年間2万円超（月換算で1,700円〜2,000円近く）の負担となっていました。

特に個人の場合、ふつうは貿易はしてないので、支払いに充てる外貨資金があるわけでもなく、やっぱりDropboxは企業重視だなと感じます。

そこへ、新たに登場したGoogle AI Proプランは、月額2,900円ですが、生成AIの結構幅広い機能に加えて、Dropboxの2.5倍の5TBの大容量ストレージがパッケージされています。ストレージ単価や今後の拡張性を考慮すると、Googleドライブへ集約する方が圧倒的にメリットが大きいと判断しました。

２　ローカルフォルダ構造とパスの維持工夫

M1 Mac mini環境において、各種スクリプトや自作アプリが既存の「Dropbox」フォルダパスに深く依存しています。すべてのフォルダパスを書き換えるのは膨大な作業となるため、以下の形でミラーリング同期を設定しました。

• ローカル側：既存のフォルダ構造（…/Dropbox）をそのまま維持
• クラウド側：Googleドライブ上の パソコン ＞ マイ Mac mini ＞ mybox_1 フォルダに対してミラーリング同期を実施

この設計により、ローカル上のスクリプトやファイルパスを変更することなく、同期先クラウドだけをDropboxからGoogleドライブへ安全に切り替えることが可能になります。

３　自作アプリ（AppSheet・配信システム）の影響調査と改善

最も懸念していたのが、自作のメディア管理アプリ（マイライブラリ）および配信システムへの影響です。

これまではGoogleスプレッドシート（F1_マイライブラリ）のA列に「Dropbox共有リンク」を記録し、WordPress等のエンコードURLや各配信サーバーへと連携する仕組みを構築していました。Dropboxを解約するとこれらの共有リンクが無効化されてしまうため、以下の改修を行いました。

改善ポイント

①Dropboxリンク依存の脱却

• 今後の新規登録（テスト登録.png 等）では、Dropboxリンク欄を空欄に設定。

②ユニークID（wpidex）による配信URL生成

• 外部共有リンクに頼らず、システム内部のユニークID（wpidex）をベースにWordPress経由の再生URLを直接生成・配信するロジックへ変更。

実証実験を行い、Dropboxリンクが空欄の状態でも正しくデータが表示され、動画・画像配信に一切支障がないことを確認できました。

結局、今回の改善手順のポイントは、
Dropboxを解除したあとは、普通のローカルフォルダだけで運用が出来るようにすること。
次に
そのローカルフォルダをGoogleDriveなど別の場所にミラーリング同期すること。

ということになります。

４　まとめと今後の運用

ビデオの中では、フォルダ名にDropbox dropbox_1を残したまま、昭和歌謡の「昔の名前で出ています(小林旭)」として、使い続けることを決心していたのですが、気が変わりまして、できるなら、ローカルフォルダ名も、mybox mybox_1に改名したいと強く思うようになり、主にPythonアプリを７本程度、手直ししました。その結果、現在は、昔の名前は名乗らず、今の名前で出ています。

自作システムの改修とデータ移行の検証が完了したため、これで懸念事項はすべて解消されました。しばらく並行運用で様子を見た後、安心してDropboxの解約手続きを進める予定です。

長年依存してきた環境からの移行は手間がかかりますが、構造をシンプルに整理し直す良い機会となりました。同様の構成でストレージ移行を検討されている方の参考になれば幸いです。

以上

曲に豊かな表情をつける方法の一つに「和音の工夫」があります。今や生成AIが自動的に曲を作ってくれる時代ですが、AIが作った曲は何度聴いても心に刺さらない…そう感じるのは私だけではないはずです。 やはり自分で和音を工夫して音楽を作りたい。そう思ってDAW（CubaseやGarageBand）に向かうのですが、高齢になってくると、ますます複雑化するDAWの操作がどんどん億劫になってしまいます。特にDAWには「ギターの指板型エディタ」が搭載されていません。高機能なギター音源（Ample Soundなど）を使えば指板入力も可能ですが、そこへ辿り着くまでの操作すら遠く感じてしまいます。

「複雑怪奇な装置から、自分に必要なことだけを抜き出した簡単な仕組みを作りたい。まるで介助ロボットのようなアプリが欲しい」。そんな思いから、生成AIの力を借りて、Macで動く自分専用の「マイギターコードアプリ（Python/Tkinter）」を自作しました。

実装方法(クリック)

要約：「マイギターコード」は、ギターコードの管理と自動化を行うPython製Macアプリです。ローカル上のExcel DBと連携し、画像選択時に指位置データやコードネームを自動表示します。Playwrightをヘッドレスで利用し、バックグラウンドでWebからコード情報を取得・自動同期。MacのGUIバグ回避のためtk.Entryを採用しています。ローカルMIDI機能が充実しており、mido仮想ポート経由でGarageBand/Cubase等のDAWへ和音や単音を発音。アルペジオ再生とMIDIファイル生成、Finderでのハイライト表示も可能です。オートセーブ、Excel行と画像ファイルの物理削除に対応。画像パスを引数に受け取り、自動モード切替・DB読込・MIDI発音を可能にする外部連携エンジンを搭載。Stream DeckやAutomatorのクイックアクションからの起動に対応し、クイックアクションでは既存アプリを終了しGarageBand/Cubase起動後に指定画像でアプリが立ち上がります。

実装方法： (1)下のボタンからtxtファイルをダウンロードしてお使いの生成AI(Gemini ChatGPT Claudeなど)のチャットにペーストしてください。 (2)以下の指示文をチャットにペーストしてください。 「添付したスクリプトは、特定の環境向けに作られた[ ギターコードの管理と自動化を行う ]プログラムです。 これを私のパソコン環境（例：Windows 11 / OneDriveを使用）に移植して、今日から全く同じ動作を実行できるようにしたいと思います。 ①私の環境に適合するように、プログラム（例：PowerShellやPythonなど最適な言語）を、必要に応じて、新しく書き換えて全文出力してください。 ②プログラミング初心者でも迷わずに、今日から私のPCでこのプログラムを起動・実装するための「具体的な手順書」をわかりやすくテキストで教えてください。以上」

内容に関するお問い合わせは以下へ↓

介助アプリに求めた「3つの必須機能」 

このアプリの目的は非常にシンプルです。以下の3つのステップで、音楽制作をサポートします。

ステップ１：指板を押しながら和音を作る（本物のギター感覚） 

アプリ上の指板をクリックすると、まるで本物のギターの弦を押さえたようにその「単音」が即座に鳴ります。「Shiftキーを押しながらクリック」すると、全体の「和音」がジャラーンと鳴ります。画面が固まることもなくサクサクと音を探れるため、直感的にコードの響きを作っていくことができます。

ステップ２：コードネームを調べる（自動取得＆AI解析） 

指の位置が決まったら、「指位置確認」ボタンを押します。すると、裏側で外部サイトと通信し、適合するコードネームを自動で取得してくれます。 しかし、ベース音を追加した分数コードなど、既存のサイトでは「コードネームなし」と判定されてしまうこともあります。そんな時は、アプリ上の指板画像をコピーして生成AI（Gem）に解析を依頼します。「最も一般的な解釈としては E13sus4、または分数コードの Bm11/E です」といった回答が得られるので、それを自分専用のコードネームとして登録しておきます。

ステップ３：DAWへMIDI出力する（ドラッグ＆ドロップ連携） 

作った和音をCubaseやGarageBandなどのDAWで使いたい時、「MIDI出力」ボタンを押すと、自動生成されたMIDIファイル（.mid）がMacのFinderでハイライト表示されて手前にポップアップします。あとはそれをDAWのトラックへ直接ドラッグ＆ドロップするだけ。クリップボードの制約を受けない、確実でストレスフリーな連携です。

使い勝手を向上させる裏側のインフラ設計 

さらに、過去に作ったコードを効率よく再利用するための「インフラ設計」にもこだわりました。

• 右クリック一発で画像ロード＆全自動発音 

「前に作ったあの和音、どんな響きだったかな？」と思った時、わざわざアプリを立ち上げる必要はありません。Finderから直接動かします。Finderはサムネイルを見やすいように拡大できます。それで、Finderに並んだ指板画像（サムネイル）を右クリックし、自作のクイックアクションを選ぶだけ。裏側でDAWが立ち上がり、アプリが該当画像を読み込んでフワッと起動し、全自動でギターが「ジャラーン」と鳴る流麗な連携を実現しました。

• ファイル名がそのまま音符に！データとMIDIの直結設計
  例えば guitar_fretboard_30-25-22-18-14-n.jpg というファイル名。この「30-25-22-18-14-n」という文字列は、1弦から6弦までの指板の絶対値を表しています。アプリはファイル名からこの文字列を抽出した瞬間、「絶対値＋35＝MIDIノートナンバー」というシンプルな計算式で、即座にMIDIデータへ変換します。これにより高速で音が鳴ります。
  
• 意識させないデータベース自動同期
  変更を加えたり別の画像を選んだ瞬間に、画面と裏側のExcelデータベースが100%自動で同期します。いちいち「保存ボタン」を押す手間を省くオートセーブ機能を搭載しました。
  

開発の裏側：AIバケツリレー

このアプリはPythonで600行を超える大規模なものですが、すべて自分でプログラミングしたわけではありません。私が構築している「AIバケツリレー」が役に立ちました。 まずNotebookでシステム全体の作戦を練り、設計図を書かせます。そして、いざ大規模なコードを生成する際は、Google AI Studioという「絶対にコードを省略しない重装備のAI」へ指示書を渡して一括で出力させました。適材適所でAIを使い分けるこのエコシステムのおかげで、複雑なアプリも無事完成に漕ぎ着けました。

おわりに

歳を重ねるにつれ、既存の高機能すぎるツールに合わせるのが辛くなることがあります。しかし、AIをパートナーに据えることで、必要な機能だけを抽出した「自分専用の介助ロボット」を自作できるようになりました。 このアプリによって、再び楽しく音楽制作に向かうことができればいいのですが、さあどうかな。

以上

はじめに

前回、生成AIを活用したコード生成システム（第２弾）をご紹介しましたが、今回はその仕組みをさらに拡張した「第３弾」のお話です。 AIとの高度な対話メモや、Webで見つけた有益な情報、日々の備忘録を、いかにして無駄なく・手間なくNotebook（あるいはカスタムGem）の知識ソースへ送り込み、自分のAIを賢く育てていくか。今回は、その進化のループを回す、私なりの最強インフラをご紹介します。

考え方としては、自分にとってのほぼ全ての分野を網羅するNotebookを一つ持って、なんでも相談できる相手に育てたいというところです。

コードと要約(クリック)

要約：このシステムは、ローカルの指定フォルダにあるテキストファイルをGoogleドキュメントへ自動同期するものです。主要なコンポーネントは以下の通りです。 1. `sync_note_sum.py`: ローカルフォルダ内の`.txt`ファイルを更新日時順に取得し、複数のGoogleドキュメントに目次付きで分割して同期（上書き）します。Google Docs APIを利用し、認証情報を管理しながら実行します。 2. `watcher_note_sum.py`: `sync_note_sum.py`と連携し、監視対象フォルダ内の`.txt`ファイルの変更をリアルタイムで検知します。変更後、5秒のクールダウン期間を経て`sync_note_sum.py`を自動実行し、Googleドキュメントの同期をトリガーします。これにより、ファイル更新時に自動で同期が行われます。 3. `com.XXXXXX.notesum-updater.plist`: macOSのLaunchAgents設定ファイルで、ユーザーログイン時に`watcher_note_sum.py`を自動的にバックグラウンドで起動・常駐させます。これにより、システムは常に稼働し、ローカルのメモをGoogleドキュメントに最新の状態に保つ自動化された環境を提供します。

公開スクリプトに関するお問い合わせは以下へ↓

１　現状の課題：AIの知識ソース管理の壁

NotebookやGeminiなどのAIエージェントに自分専用の知識を持たせる際、直面するのが以下の壁です。

• フォルダごとの登録ができない： Googleドライブのフォルダを丸ごと指定して読み込ませることができません。
  
• ソース数の上限： メモを1件1件テキストファイル等で追加していくと、すぐに上限（現状はNotebookで無料版は50個など）に達し、ナレッジベースが「ゴミ屋敷化」してしまいます。
  
• 「メモに保存」機能の弱点： AI側の標準機能でメモを保存すると、AIの回答だけが残り、「自分がどのような前提条件や問題意識で質問したか」という文脈が欠落しがちです。
  

２　解決策：ローカルの「note_sum」フォルダを起点とした全自動・製本パイプライン

これらの課題を解決するため、私は「手元のMacでtxtを保存するだけで、裏でシステムが自動的に複数のtxtを束ねてGoogleドキュメント（Gdoc）化し、AIへ同期する」仕組みを構築しました。

① 作成とトリアージ（選別）はローカルで

AIとの対話で「これは残したい！」と思った瞬間、自作の『Gemini/ChatGPT連携_要約保存Mac用スクリプト』を使って、まずは「要約＋本文」のテキストファイルとして一時保存します(pre_note_sum)。 そして、後で時間があるときに「本当にAIの知識に組み込む価値があるか」を判断（トリアージ）し、有益なものだけをMac内の指定フォルダ（note_sum）へポンと放り込みます。

特に有効な使い方は、トラブル対策の作業記録(備忘録)としての活用です。 トラブル発生から解決、そして記録保存までの流れは以下の通りです。

1. Notebookで状況説明 2026年7月現在、チャット欄にスクリーンショットを直接貼れないため、少し手間ですが「ソース」欄にスクショを、状況を端的に伝える最初の１枚として、貼り付けてから状況を説明します。
2. Gemini / AI Studio(あるいはChatGPT Claudeなど)でコード修正 エラー対策の多くはコード修正になるため、より適したGeminiやGoogle AI Studio、あるいは他のAIにチャットを移行し、作業を完結させます。
3. テキストファイルへの記録と保存 複数のAIを渡り歩いた一連のやり取りをtxtファイルにコピペし、要約を追記して「note_sum」フォルダに保存します。その後で、最初の状況説明スクショをソースから削除します。

この一連の作業記録は（最終的にソースとして）Notebookに集約されることになり、あちこちのAIで散らばった全プロセスが1箇所に保存され、非常に安心です。

② 常駐システムによる「自動製本」

note_sum フォルダにテキストファイルが入ると、バックグラウンドで待機している監視スクリプト（watcher_note_sum.py）が自動検知します。 システムは、フォルダ内のテキストファイルを更新順に並べ替え、目次を自動生成し、1冊につき当面は30個のメモを収納した分厚い「備忘録まとめ」へと束ねていきます。

③ 「聖域」の固定ID・Gdocを上書き更新

システムは、新しくファイルを作るのではなく、Googleドライブの絶対に動かさない場所（cannot_moved/gdoc_imakat/）にあらかじめ用意しておいた当面10個の「空のGdoc」の中身だけを、APIを使って丸ごと最新の状態に書き換えます。

３　このエコシステムを導入するメリット

• 操作の手間がゼロ： ファイルのID自体は変わらないため、Notebookの自動同期機能が働き、私が何もしなくても勝手にAIの頭脳が最新の備忘録にアップデートされ続けます。
  
• Notebookのソース数の限界を突破できる感：2026年7月現在、Notebookの最大ソース数は300個となっています。しかしメモやgdocをそのままソースに追加すると、そのままソース数を消費してしまいます。しかし今回の方法を使えば、一つのgdocの中に現在設定で30個のtxtファイルが入ります。単純の計算で、内容的には300×30個=9000個のソースが追加できるようになります。
  
• いつでも思考の続きからスタート： 過去の深い考察やトラブル解決の文脈がAIに共有されているため、久しぶりにそのテーマを扱う際も、前提条件を説明する手間が省けます。
• txtファイルはどこでも再利用できる：上の続きですが、ローカルのnote_sumフォルダにあるtxtファイルは、そのまま、Gemini Gemほか生成AIにコピペでき万能です。
  
• ゴミ屋敷化の防止と断捨離の連動： ローカルの note_sum フォルダから不要になったtxtファイルを削除すれば、システムが即座にGdoc内を丸ごと書き直すため、AIの知識からも跡形もなく消え去ります。「ローカルのフォルダ整理＝AIの脳内の整理」が直結しています。
  

おわりに

システムが自動で行うべき「面倒な処理（Gdoc化と同期）」は裏側のPythonとLaunchAgentに完璧に任せ、人間は最も重要な「トリアージ（選別・移動）」だけを行う。これこそが、人とAIの完璧な役割分担だと感じています。 当面最大300件(=30txtファイルx10gdocファイル)の備忘録を全自動で受け入れるこの「特大の本棚」に、これからも様々な有益な情報を追加して、AIの考察レベルを限界まで引き上げていこうと思います。

以上

現状の混沌とした状況で、私がAntigravityのようなAIに丸投げして自動処理に委ねるのは時期尚早 。そこで今回は、仕組みを大幅に改善した「第２弾：コード作成のエコシステム」を構築しましたのでご紹介します 。

私は現在、Google AI Proを利用中です。

現状の課題：コード生成の「利用制限」と「中抜け」

現在、AIによるコード生成において、主に次の2つの問題に直面しています。

1. 利用制限の壁：アクセス集中により、すぐに利用制限を超えてしまう 。
2. 長文コードの欠落（中抜け）：特に長文のコードを生成しようとすると、全文記述をお願いしても、途中が省略されたり欠落したまま出力されるエラーが頻発する 。

部分ごとに完成させる方法もありますが、最終的には全体を通して動作させる必要があるため、やはり「修正済みの全文」をそのまま出力してほしいのが本音です 。

解決策：Notebook × Gem × AI Studioの連携エコシステム

これらの課題を解決するため、それぞれのAIの強みを活かした連携フローを組みました。

【新規開発】
  ▼
1. Notebookに相談（現状分析 ＆ 指示書の作成）
  ▼
2. コードの長さに応じて分岐
  ├─ 通常（600行未満） ⇒ Gemに依頼（生のコードを使用）
  └─ 長文（600行以上） ⇒ Google AI Studioに依頼（秘匿化コードを使用）

【エラー発生】
エラー発生の場合は、大抵は、スクショでエラーの状況を説明したいのですが、Notebookでは画像を読めません。そこで、コード生成Gemを使って解析して〜コード生成Gemに、そのままGemで処理するか、AI Studioにリレーするか、Notebookに鳥瞰的に分析させるか〜を判断させます。

① Notebook：仕様の自動同期と「指示書」の作成

最近のアップデートにより、Notebookのソースに登録したGoogleドキュメント、スプレッドシート、スライドが自動同期されるようになりました 。これにより、現在動作中の最新コードを常にNotebookに理解・分析させることができます 。

💡 ポイント ：Notebookはまだコーディング能力や長文出力が非力なため、「Gemに処理を引き継ぐための指示書（プロンプト）」を出力させる役割に集中させます 。

② Gem（通常コード）：テスト実行から検証まで

Notebookが作った指示書を、使い慣れたGemにコピペします 。Gemには現在動作中のコード（Googleドキュメント）が同期されているため、指示書を渡すだけでスムーズにコーディング、テスト実行、検証まで完結できます 。大半の小〜中規模なコードは、このGemの環境で問題なく処理できます 。

💡 ポイント ：Gemには、Notebookを知識ソースとして付けることができます。さらにそのNotebookに付いているソースをGemが理解できる仕組みにはなっていますが、どうも情報が遠いのか薄くなりコードの欠落が生じやすいです(26年6月)。従って現状、Gemの知識ソースとしてコード(gdoc)を同期させる方が、はるかに精度が高いです。

③ Google AI Studio（長文コード：600行以上）：中抜け対策の切り札

マイライブラリの中核となるGAS（Google Apps Script）や一部のPHPなど、600行を超える長文コードで「中抜け」を防ぎたいときだけ、オプションとしてGoogle AI Studioを利用します 。

• セキュリティ対策（秘匿化）：AI Studioは基本無料で強力ですが、データが外部へ漏洩するリスクがあります 。そのため、外部公開用のフォルダ（scripts_pub）内にある、重要な情報（APIキーやパスワード等）を隠した「秘匿化コード（_pub.txt）」をコピペして作業を行います 。

💡 ポイント ：一応、600行を境界として、GemとAI Studioを選別する考えではありますが、作業途中で行数が境を上下することはあり得ますので、実際はほとんどは管理者である私が判断することになります。実際は、長文コードであっても、修正箇所と修正方法が容易である場合は、Notebookの返答あるいはGemとのやり取りで解決することになります。AI Studioを使うのは、大掛かりで困難になった時だけになると思います。

④ GoogleAIProからAIPlusにダウングレードした時に、境界行数を変更する

コーディング作業はいつも高度な能力が必要なわけではなく、安定期や軽微な修正、小規模な新規開発なら能力を下げても問題は起きません。AIProは月2900円、AIPlusは月725円とびっくりするほどの料金の差があります。ですから、考え方としては、高度なコーディングを行いたい時には、AIProにアップグレードして、安定期はAIPlusにダウングレードするという柔軟な運用を行いたいです。そのAIPlusのダウングレードに合わせて、上記の境界行数をたとえば600行から300行に変更する、といった対応を行えば良いわけです。AIPlusにしたときに、ストレージが400GBに制限される点は、私の場合、別途、DAS棚田システムにて、リミット設定をしてコントロールします。

このエコシステムを導入するメリット

• エラー対応の迅速化：最新のコードが自動同期されているため、前提条件をいちいち説明する手間が省けます 。
• コードの品質安定：長文コードをAI Studioに任せることで、イライラする「コードの中抜け」を回避できます 。
• 安全性の確保：無料の強力なAIを使いつつも、秘匿化コードを挟むことでセキュリティリスクを最小限に抑えられます 。

今後の展望：もっとシンプルなエコシステムへ向けて

現時点（2026年6月）では、私が考えるベストな組み合わせですが、もし将来的にNotebookが長文コードの出力を得意とするようになれば、全ての作業が1つで完結します 。

テクノロジーの進化スピードを考えると、1年後くらいにはNotebookやGemのさらなる改善によって、もっとシンプルなエコシステムへ移行していることを期待しています。

終わりに：私のAIとの付き合い方

私がデジタル分野に触れているのは、趣味としての楽しみと認知症防止のためです 。そのため、生成AIの利用も以下のように2つに分けて、無理のないペースで楽しんでいます 。

1. 専門的な利用：このimakatブログやシステムの維持・改善（Google Gemini中心）
2. 日常的な利用：生活サポート（Apple製品中心なので、Siri AIにゆったり親しむ方向）

あまりお金をかけず、最新技術の恩恵を賢く受けながら、これからもマイペースに開発を楽しんでいこうと思います 。

以上

それで、さあいよいよ、Adobeキャラとおさらばしようとして、ちょっと触ってみて、あれ〜〜意外。まだ、使えるじゃん。と気づいたのです。

Adobeのソフトは、どうしても「毎月の課金が必要」というイメージがありませんか？

でも実は、無料の会員状態でも「Adobe Character Animator」でキャラクターを動かすことができるのですね。

今回は、私が実際に検証してみた様子を動画とともにお届けします。

🎬 まずは検証動画をご覧ください！

💡 検証：有料プランなしでも本当に動くの？

現在、私のAdobeアカウントは有料プランを解約済みです。

アカウント管理画面を確認しても、はっきりと「有料プランがありません」と表示されています。

「じゃあ、ソフトは開けないよね？」と思いきや……

Creative Cloudのアプリ一覧から「Character Animator」を開いてみると、なんと普通に起動できてしまいました！

🛠️ 無料状態でどこまでできる？

実際にソフトを触ってみたところ、ただ起動するだけではなく、以下のような操作も問題なく行えました。

• パペットの操作: 今回は「Dr. AppleSmith」というキャラクター（パペット）を使用。ちゃんと動きます！
• 録音・録画: 普通に録音・録画機能が使えます。
• クロマキー処理: フィルターからクロマキーを入れて、グリーンバックを透過する設定も可能。四隅の角を取って調整する作業もできました。

動画内で私がやっているように、無料会員であっても、基本的なアニメーション制作の環境は整っているようです。

🧐 なぜ無料で使えるの？

実は、画面の右上をよく見ると「スターター」という文字が表示されています。

Adobe Character Animatorには、誰でも無料で基本的な機能を使える「スターターモード」が用意されているんです。（※Adobeアカウントの無料登録自体は必要です）

これなら、「ちょっとキャラを動かしてみたい」「VTuberみたいなことをお試しでやってみたい」という人でも気軽に始められますね！スターターモードといっても、Adobeはセンスがいいから、どれも使い物になりますよ。

⚠️ 使う上での注意点

現時点では無料で快適に使えていますが、いくつか気をつけておきたい点もあります。

1. いつ仕様が変わるか分からない: Adobe側のアップデートや仕様変更により、突然使えなくなる機能が出てくる可能性はゼロではありません。
2. ウォーターマーク（透かし）の可能性: 今後の書き出し時に、無料版特有のロゴやウォーターマークが入るようになる可能性も考えられます。

📝 まとめ

結論：無料のAdobe会員状態でも、Character Animator（Starterモード）は使えます！

いつまでこの状態で使えるかは分かりませんが、気になっている方は無料で使える今のうちにぜひ試してみてください！
とはいうものの、私は、自作パペットに舵を切っていきます。

コードと要約(クリック)

要約：本システムは、AppSheetとPythonスクリプトが連携し、Googleスプレッドシート上のメタデータに基づき動画・音楽ファイルをBunny CDNへ自動アップロード・管理する。 AppSheet側では、動画ファイル（mp4等）で「bn低画質動画単独生成=TRUE」かつ「bnステータス=処理待ち」の条件を満たすと、「Bunnyファイル生成更新」アクションが起動する。 MacのLaunchAgent (`com.XXXXXX.bunny_factory.plist`) により60秒ごとに実行されるPythonスクリプト`f1_bunny_factory.py`は、スプレッドシートを監視。システム設定のマスターSWが「ON」の場合に、「処理待ち」のレコードを検出する。 検出されたファイルは拡張子に応じ処理される。動画ファイルはBunny Streamへアップロードされ、動画IDとストリーミングURL（高画質・低画質）を生成。音楽ファイルはBunny Storageへアップロードされ、エンコードされたファイル名と直接アクセスURLを生成する。 アップロード後、スプレッドシートは新しいURLなどで更新され、「処理待ち」ステータスが「完了」となる。同時に、スプレッドシートに残る古い動画IDやファイル名が存在すれば、Bunny CDNからそれらを削除し、ログに記録する。これにより、Bunny CDN上のコンテンツが自動で最新に保たれる。

公開スクリプトに関するお問い合わせは以下へ↓

上の動画は、Bunny CDNを使っています。プレーヤーはWordPress備え付けをカスタマイズしています。

はじめに

今回は、少しマニアックな動画配信の裏側の話題です。 長年愛用してきたVimeoですが、3月頃に「Plusプランが廃止の方向」という記事を目にしました。それに伴い、現在月額750円程度の料金が、1,200円程度に値上がりする方向だそうです。私の動画配信の利用レベルからすると、これは明らかな無駄遣いになってしまいます。 「いよいよVimeoの代替を探す時が来た」と決断し、日頃から頼りにしているGeminiなどのAIと相談しながら、今回の移行作業を進めてきました。

１　コスパ最強のCDN選び：Bunny vs Cloudflare

移行先を検討する上で、最終的な候補に残ったのは「Bunny CDN（Bunny Stream）」と「Cloudflare Stream」の2つでした。両者のコストパフォーマンスを比較した結果、私はBunny CDNを選択しました。

Bunny CDNの最大の魅力は、月額の最低料金がたったの1ドル（約150円）であることです。 支払いの仕組みは「デポジット制」を採用しており、自動チャージと手動チャージが選べます。感覚としては交通系ICカードのSuicaと同じです。私は手動チャージにしてあります。そして優れている点は、デポジット残高が数日分(概ね数日〜一週間程度)の使用量相当まで減った場合、通知が来る仕組みになっているので何らかのトラブルや暴走を止めることができます（→下記５へ)。 これによって、Vimeoをこのまま放置していれば月額1,200円かかるところを、Bunny CDNなら月額150〜300円程度にまで節約できそうです。小規模な個人運営にとって、このコスト差は圧倒的です。

２　料金だけじゃない！「自動トランスコード」と「直リンク」の解放

Bunny CDNを選んだ理由は、単に安いからだけではありません。 Vimeoの大きなメリットであった「視聴者の環境に合わせて画質を調整する自動トランスコード機能」を、Bunny CDNもしっかりと備えています。

さらに決定的な違いが、ストリーミング配信用（.m3u8）の「直リンクURL（ダイレクトURL）」がそのまま使える点です。 Vimeoのような大手サービスでは、専用のプレーヤーを通すことが強制され、カスタマイズが困難でした（例えば、字幕一覧から特定のシーンへジャンプするなど）。しかし、直リンクが解放されているBunny CDNなら、自作のテンプレート（dr52.phpなど）を使って、オリジナルの自由な配信の仕組みを完全にコントロールすることができます。

３　英語の壁は「AIのサポート」で乗り越える

Bunny CDNを導入する上での唯一の難点は、サービス画面やマニュアルがすべて「英語」であることです。 しかし、今の時代、GeminiやChatGPTといった生成AIにサポートしてもらえば、英語はまったくハンデになりません。設定で分からないことがあればAIに聞き、PythonやAppSheetのシステム構築もAIと二人三脚で進めることができます。この強力なサポートがあれば、高齢者であっても最先端のインフラを構築することは十分に可能です。

４　複数の配信所を切り替える「マイライブラリ」の完成

今回の移行以前からですが、私が構築した「マイライブラリ」システムは、状況に応じて複数の配信サーバーを即座に切り替えられるようになっています。

それぞれのサーバーには特徴的な役割があります。

• Dropbox(1)：動画の製造工場からの「産直（ダイレクト配信）」。
• Bunny(2)：今回追加、自動トランスコード付きの配信所。
• Xserver(3)：安全で安定したWordPressの「メインのホスティングサーバー」であり、配信を振り分けるルーティングの中枢。
• pCloud(4)：買い切りプランを活かした「保存倉庫」。

もし配信にトラブルが起きても、Xserver、pCloud、Dropboxへ速やかに切り替えることができます。 ここに、強力なCDN配信所として「Bunny CDN」が加わった形になります。このような柔軟で自立したエコシステムが完成した今、私がVimeoなどの大手プラットフォームに依存し続けるメリットは殆どなくなりました。

５　逆転の発想〜再生数が多過ぎたら、その動画をYouTubeへ隔離する。

そんなことはないとは思いますが、もし動画に過度に人気や関心が集まり再生数が増大してしまい、Bunnyの料金負担が重いと感じるようになってしまったとします。具体的には月2$(300円)を超えるような場合です。その場合は、その動画を特定して（Bunnyのダッシュボードの左サイドバー→Monitoring→Logs→Report→Video Libraryから自分のライブラリを選択→Top10 URLs by Traffic）、その動画をYouTubeへ隔離するようにしたいと思います、残念ながら広告が入るかも知れませんが。その動画とて、公共の道具であるインターネットを通じて公開してきているわけですので、観たい聴きたいというニーズに対しては、応えていく必要はあると思います。

また、BunnyのStreamとして保存したGB数の上限を自分で決めて、それを超えた場合は、古いものについては、Bunnyから除去して、ファイル選択もBunnyを外して、標準の拡張子別の再生に切り替えるようにすることも考えています。

このようにマイライブラリを使うことにより、出費をコントロールしながら、自由自在に、動画の配信所の選択ができるわけです。

おわりに：世界情勢が物語る「脱・依存」の重要性

特定のプラットフォームにすべてを預けてしまうと、規約変更や大幅な値上げ、あるいはサービス終了の際に、自分のメディアが人質に取られたような状態になってしまいます。最近の世界情勢が物語っているように、何か一つの場所やサービスに過度に依存しないことは、情報発信においても非常に重要です。

Vimeoからの卒業は、まさに自分の資産を自分自身でコントロールする自由を手に入れるための、最良の決断でした。これからも色々工夫して、このブログの、無料かつ非営利の配信を堅持していきます。

今回は、Webカメラとマイクを使って、自分の顔の動きや声に合わせて画面上の動作人形（パペット）を動かせる「自作パペットシステム」をご紹介します。
「自分専用のオリジナルアバターを、もっと手軽に動かしてみたい！」という思いからPythonで開発を進めていたシステムですが、前回の記事の内容に改良を加え、やっと誰でも簡単に使えるパッケージになりました。
この辺で、Adobeのパペットにバイバイして、Adobeのサブスクをキャンセルすることにします。

今回はサンプルパペット付きのアプリ（ZIPファイル）を無料公開します。プログラミングが分からない方でもすぐに使えるように工夫したので、ぜひダウンロードして試してみてください。

✨ 自作パペットシステムの3つの特徴

1. Webカメラとマイクだけでスルスル動く

高価なトラッキング機材は不要です。Macの内蔵カメラ（またはWebカメラ）が自分の顔の傾きを認識し、マイクが声の大きさを拾って、パペットがリアルタイムに連動します。

「あいうえお」の口の形にも対応しており、まばたきや視線の移動も自動で行います。

2. 専用の設定画面（UI）でカンタン調整

以前はプログラムのコードを直接書き換える必要がありましたが、専用の「司令塔」となる設定画面を用意しました。

「マイクの感度」「パペットの大きさ」「顔の傾き具合」などを、数値で直感的に微調整できます。自分好みのセッティングを見つけたら、キャラクターごとに保存しておくことが可能です。

3. スペースキーでいつでも正面をリセット！

使っている途中で「ちょっと顔の向きがズレてきたな…」と思ったら、スペースキーをポンッと押すだけ。その瞬間の自分の顔の位置を「真正面」として再設定（キャリブレーション）します。

📥 ダウンロードと使い方

以下のリンクから、一式がまとまったZIPファイルをダウンロードしてください。

👉ダウンロード(Macのみ)(無料・許諾不要)

使い方の手順（※Mac専用です）

使うためには、お使いのMacに「Python」が入っている必要があります。（入っていない方は公式サイトからインストールしてください）

1. ダウンロードしたZIPを解凍し、フォルダを開きます。
2. 初回のみ、フォルダ内の『はじめにお読みください.txt』の手順に従って、必要なAIパーツ（MediaPipeなど）をインストールします。（※ターミナルにドラッグ＆ドロップするだけです！）
3. 準備ができたら、**「自作パペット起動.command」**をダブルクリック！
4. 設定画面が開くので、キャラクターに「サンプル」を選んで「起動」ボタンを押せば完了です。

※初回起動時はMacのセキュリティで弾かれることがあります。その場合はファイルを「右クリック」→「開く」を選択してください。カメラのアクセス、マイクのアクセスの許可を求められたら「許可」を選択してください。

🎨 応用編：オリジナルのパペットを自作しよう！

今回お配りしたフォルダの中には、run_assets/サンプル という場所に、パペットのデザインの元になった 「サンプル.pxd」 というファイルが入っています。

Macの画像編集ソフト「Pixelmator Pro」をお持ちの方は、このファイルを開いて自分の好きな絵に描き換えるだけで、完全オリジナルの自作パペットを作ることができます！

さらに、Pixelmator Proから画像を書き出してパペットを起動するまでを「ワンクリック」で全自動化する裏技（AppleScriptとAutomatorの連携）も開発しました。私は、サブスク版ではない、以前からある単発アプリを使っています。もしサブスク版で「パペット書き出し起動.app」がうまく動かなくなった場合は、Automatorで作成したAppleScript内の tell application “Pixelmator Pro” という1行を、新しいサブスク版の正確なアプリ名に書き換えるだけで解決します。

コードや詳しい仕組みに興味がある方は、こちらのページにスクリプトを公開していますので、ぜひ覗いてみてください。

コードと要約(クリック)

要約：このシステムは、顔認識と音声入力を利用してリアルタイムで動作するデスクトップパペットを実現します。 run_ui.pyは、パペットの各種設定を行うGUIアプリケーションです。キャラクターの新規作成、複製、選択、そしてボリューム閾値、グローバルスケール、顔の傾き制限、目の感度、カメラ/マイクIDといったパラメータ調整機能を提供します。これらの設定はキャラクターごとにJSONファイルとして保存されます。 run_puppet.pyは、UIで選択・設定されたキャラクターとパラメータに基づき、実際のパペット動作を制御するスクリプトです。OpenCVとMediaPipe Face Meshを用いてカメラ映像から顔の傾き、目の動き、口の形を検出し、マイクからの音声ボリュームと連携させてアバターの頭の回転、視線、口の動きをリアルタイムで再現します。キャリブレーションデータもキャラクターごとに保存されます。 Automatorスクリプトは、これらのPythonスクリプトの実行を補助します。「自作パペット起動.app」は設定UIを立ち上げ、「パペット書き出し起動.app」はPixelmator Proで開いているドキュメントの各レイヤーをPNG画像として書き出し、キャラクターごとの設定JSONを自動生成した後、該当するパペットを起動する一連の処理を行います。これにより、Pixelmator Proでの画像編集からパペット起動までがスムーズに連携されます。

公開スクリプトに関するお問い合わせは以下へ↓

PixelmatorProによるパーツの変更をパペット起動アプリに即座に反映している動画を以下に掲載します。

💡 OBSでリアルタイム配信に使いたい方へ

このパペットシステムは、OBS Studioを使ってリアルタイム配信などの画面に合成することも可能です。

ウィンドウキャプチャでパペットの画面を取り込み、背景（グリーンバック等）を透過させればOKです。

【ワンポイントアドバイス：音ズレの直し方】

映像の処理には少し時間がかかるため、OBS上で「声（マイク）」に対して「パペットの口の動き（映像）」がわずかに遅れて見えることがあります。

その場合は、OBSの「オーディオの詳細プロパティ」から、マイクの「同期オフセット」を「200ms〜500ms」ほどプラスに設定して、声をわざと遅らせて映像に合わせると自然になります。私は今500msに設定しています。

おわりに

自分が描いたイラストが、自分の動きに合わせて滑らかに動く体験は、何度やっても感動します。それではご自由に利用ください。

日々増え続ける大容量データをどのように安全かつ柔軟に扱うか、悩んでいる方も多いのではないでしょうか？

詳しい解説は以下の動画にまとめていますので、まずはご覧ください。

動画で紹介している2つのシステム

動画内で解説しているのは、私がローカルの Mac mini 上で構築・稼働させている以下の2つのシステムです。

1. 配信を自由自在に操る「マイライブラリ」

Dropboxをデータの「製造工場」として活用し、ウェブ配信用の素材（動画、画像、VTT字幕、書類など）をシームレスに配信所へ渡すシステムです。

• 複数の配信所を管理: 複数の配信サーバーを用意しておき、リクエストや用途に応じて自由自在に配信先を切り替えることが可能です。

2. NASの弱点を克服する「棚田式ファイル管理システム」

一般的なNAS（RAID構成など）は、専用のフォーマットが必要なため「HDDを直接取り外して別のPCですぐに読み込む」といった物理的な使い回しが難しいという弱点があります。そこを解決したのがこのシステムです。

• 抜き差ししてすぐ使える: 一般的な外付けHDDやSSDと同じ感覚で、パコッと抜いて他のPCやMacに挿せば、すぐにデータを読み込めます。
• 階層型（棚田式）の管理: データを「作業段」「保管段」「長期保管段」という3つの階層に分けて管理。使わず眠っている古いハードディスクも有効活用できます。

2つのシステムに共通する「最大の秘密」

用途の異なるこの2つのシステムですが、設計の根底には共通する重要なコア技術があります。それは、**「メタデータの変更に基づき、実体データを操作する」**という仕組みです。

• 棚田式システムでの活用:
  いきなり重い実体データを動かすのではなく、まずは「メタデータ」だけを移動させるシミュレーションを何度も実行します。これにより、移動先の容量オーバーや操作ミスを事前に防ぐことができます。
• マイライブラリでの活用:
  スプレッドシートに登録した「属性（メタデータ）」を書き換えるだけで、それに連動して実際のファイルが自動で移動したり、再生サーバーが切り替わったりします。
  
  もともとマイライブラリは、図書館をイメージしていて、図書館の本は質量のある物体のため、それぞれの図書館に受付窓口が必要になりますが、メディアアセットは、質量のない、ほぼ瞬間コピー、瞬間移動ができる存在であるため、図書館カードのようなメタデータは１箇所に集中することができるわけです。その１箇所でメタデータを変更することにより実体データを操作できるわけですね。

まとめ

大容量のハードディスクが高価になっている今、手元にあるストレージをいかに安全・確実、そして無駄なく使い切るかは大きなテーマです。

「メタデータによる実体データの制御」を取り入れることで、日々のクリエイティブ作業やデータ管理は驚くほど快適になります。ご自身のファイル管理や配信のヒントにしてみてください。