今回は、Googleの生成AI（Gemini）の「Gem共有（カスタムAIエージェント）」を活用して、高精度なVTT字幕を生成するプログラムを作成しましたので紹介します 。

最大の特徴は、サブスクリプション不要（無料）で実践できるという点です 。（※Googleアカウントは必要です 。）

Geminiの文字起こしはマルチモーダル処理のため、精度は非常に高く、後から手直しする手間が劇的に減ります 。無料枠の制限を賢く回避しつつ、面倒な作業は、Macクイックアクションで自動化する、実践的なワークフローを公開します。

以下の動画をご覧ください。

動画はまだ準備中です。

コードと要約(クリック)

要約： 「VTT作成用に動画を分割する」ワークフローは、ユーザーが指定した基本秒数を基に、動画を無音区間で自動分割し、VTTの「秒ずらし」に役立つオフセット記録を生成します。ffmpegとPythonスクリプトを連携させ、再エンコードなしで高速分割します。 「字幕時刻の秒ずらしを行う」ワークフローは、選択したVTTファイルの全タイムスタンプを、ユーザーが入力した秒数だけシフト（前後にずらす）させ、新しいVTTファイルを出力します。awkを用いて精密な時間計算を行います。 「VTTの連番を付け直す」ワークフローは、VTTファイル内の古い連番や不要なヘッダを削除し、字幕ブロックに正しい連番を振り直して整理されたVTTファイルを生成します。 これらのワークフローは、それぞれ動画の分割、字幕の時間調整、字幕ファイルの整理という異なる課題に対応し、VTT作成・管理作業を自動化・簡素化することを目的としています。

添付の動画の音声から字幕用のvtt形式のコードを出力します(Gem共有)。

公開スクリプトに関するお問い合わせは以下へ↓

ポイント解説

解決すべき課題：Geminiの「5分の壁」

Geminiに動画を読み込ませて文字起こしをする際、特に無料アカウントでは「動画は5分以内」という制限があります 。 今回紹介するワークフローは、事前の「動画分割」と、事後の「タイムスタンプ調整（秒ずらし）」を組み合わせることで、この壁をストレスなく突破します。
有料会員でも使用制限を超えた時で、急いでいる場合などは、この方式は有用です。

長時間の動画からVTT字幕を生成する6つのステップ

ここでは、例として10分弱の動画に字幕をつける手順を解説します 。

1. 動画の準備

まずは手元に、字幕を作成したい元の動画ファイルを用意します 。

2. 基本秒数の設定と動画の分割（クイックアクション）

動画を5分以内のパーツに分けます 。

• 用意した動画を右クリックしクイックアクションから自作の「字幕用に動画を分割する」を選択します 。
  
• 分割する基本秒数を入力します（デフォルトは270秒＝4分30秒です） 。
  
• ポイント: 単純に時間でバサッと切るのではなく、指定時間付近の「1秒間の無音部分」を探し、キリの良いところで自動分割されるように工夫しています 。
  
• 実行すると、split_01、02…という分割動画と同時に、offsets.txtというファイルが生成されます 。このテキストには「245.130秒」といった分割時のズレ（累計秒数）が記録されており、後で使います 。
  

3. Gemini（Gem）によるVTT字幕作成（手動）

いよいよAIに文字起こしを依頼します。公開している専用のGemを使用します（※リンクは「コードと要約」に掲載します） 。

• Gemを開き、「Proモード」を選択します 。
  
• 下部のメッセージボックスに、分割した最初の動画（01）をドロップ（またはコピペ）して送信します 。
  
• しばらく待つと、タイムスタンプ付きのVTTコードが出力されます 。
  
• 出力されたコードをコピーし、あらかじめ用意しておいた空のVTTファイル（例：01.vtt）にペーストして保存します 。
  
• 注意点: 02以降の動画を処理する際は、AIが混乱するのを防ぐため、必ず「新しいセッション（チャット）」を開いてから同じ手順を繰り返してください 。
  

4. VTTの秒ずらし（クイックアクション）

出力された02番以降のVTTファイルは、動画の開始時刻が「0秒」にリセットされてしまっています 。これを元の時間軸に戻します。

• 対象のVTTファイル（02など）を右クリックし、クイックアクションから「字幕時刻の秒ずらしを行う」を選びます 。
  
• 手順2で生成されたoffsets.txtに記載されている秒数（例：245.130）を入力し、OKを押します 。
  
• 正しい時間にシフトされた _timeshifted.vtt というファイルが新しく作成されます 。
  

5. VTTファイルの結合（手動）

それぞれの時間軸が整ったら、1つのファイルにまとめます。

• 結合用の空ファイル（binded.vtt(※1)）を用意します 。
  
• 01.vttの中身をそのままペーストします 。
  
• 続けて、02_timeshifted.vtt、03_timeshifted.vtt の連番以降のテキスト部分を順番にコピーして下に追加し、保存します 。
  

※1:あとで気付きました。bindedは間違った英語です。boundあるいはconbinedというのが適切です。

6. 連番の振り直しと整理（クイックアクション）

結合したファイルは、字幕の通し番号（連番）が「1」から始まる箇所が複数混在してしまっています 。これを綺麗に整えます。

• binded.vtt を右クリックし、クイックアクションから「字幕VTTの連番を付け直す」を選択します 。
  
• これにより、最初から最後まで番号が正しく振り直された完成版 renumbered.vtt が出来上がります 。
  

まとめ

言葉遣いやテキストの微修正は、このように全体の形が綺麗に整った最後に行うのがおすすめです 。

地味にコツコツと進める手作業の部分もありますが、仕組みが非常に分かりやすいため、作業中のストレスはほとんど感じません 。Gem(ChatGPTもそう)の文字起こし精度が抜群に高いのは、単なる音声からの文字起こしだけでなく、動画内の視覚情報（映像）例えば、動画に登場する文字、人物の動きなどを認識するという、マルチモーダル処理を行っているためです。26年3月現在、CapCut、Vrew、Premiere Pro、Davinci Resolve、Filmoraの文字起こしは「映像情報」を加味せず、純粋に「音声データ」のみに依存しています。おかげで、Gemの場合は、手直しが非常に少なくて済むのが最大のメリットです 。

以上

別の投稿で紹介したいと思いますが、字幕起こしを伴う字幕作成サービスについては日進月歩でして、どんどん高品質になっています。大きく分けると、ローカルで処理する方法（大抵は無料でできる）と外部サーバーで処理する方法（大抵は使用料課金かサブスク提供)がありまして、外部サーバー利用の方については激しい競争下にあるためかなり高品質で、生成AI系企業のサービスが群を抜いています。

最近、AIの進展で、動画をアップロードするだけで音声を取り出しその内容をAIに理解させることができるようになってはきましたが、やはり字幕ファイルによる文字情報で内容を理解させる方が圧倒的に迅速で正確です。しかも動画からの読み込みは多大なリソースを消費するので、追加料金も発生するかも知れません。そんな意味で、ブログ投稿をAIに学習させる場合も、動画には字幕ファイルを別添して貼り付けるようにして、字幕ファイルからの情報吸い上げを重視すべきだと私は思います。

そんな中で、ここで紹介する方法は、無音声の動画に解説用の字幕をサクッと付ける場合、に役立つものです。

動画はまだ準備中です。

ポイント解説

１　VTTで編集ができます：
簡易な字幕作成ツールとしては、「字幕工房」が優秀であるという見方は変わりませんが、SRTファイルでの書き出しです。私はWordPressブログに掲載する動画が殆どですので、毎回VTTファイルへ変換することになり面倒です。「字幕工房」に限らず、動画作成アプリで出力される字幕は、殆どがSRTファイルなのですね。

２　ローカルファイルの更新をそのまま反映します：
動画共有サービスに共通することですが、字幕もそのほかのメディアアセットもローカルからアップロードした時点で切り離されてしまうので、ローカルファイルを更新しても自動では反映されません。図の下段は、今運用しているマイ・メディアライブラリの機能ですが、ここでもその威力が発揮されます。ローカルでVTTファイルをTextEditで開いて手直しすれば、そのまま自動的に、ブログの表示が変更されます（数分のタイムラグはあり）。

３　停止位置の時刻を自動で取得します：
QuickTimePlayerで動画を停止した場所の時刻(時点)を自動で取得して、テキストとともに、VTTファイルへ書き込みます。さらに、書き込んだ情報を読み込んで、HUD(ディスプレイ)に即座に表示します。

主な特徴点は以上ですが、かんたんな点では、「字幕工房」を上回っています。

４　わずか2ステップ：

①対象の動画をクリックして開く(デフォルトはQuickTimePlayer)。

②フォルダの上で右クリックして、「字幕かんたん作成」を立ち上げ、VTTファイルを作る。

だけです。

５　キビキビと動きます：
字幕作成アプリを探すと、ブラウザアプリが主流になっています。そのブラウザアプリですが、欠点は、「もったりヌルヌルした動作」にあります。iPad iPhoneでは仕方ないにしても、Macでも感じるところがあるので、それはなんか疲れるわけですね。QuickTimePlayer、TextEdit、標準スクリプト、そういった標準搭載ツールは、実にキビキビと動きます。

実装の手順

(1)	下の青色のボタンから、スクリプト(txtファイル)をダウンロードします。
(2)	生成AI( Gemini、ChatGPTなど)を利用すると簡単です。AIのプロンプト欄に、 ①ダウンロードしたスクリプトをアップロードします。 ②以下を記述します。 「私のMacに、添付したスクリプトを実装する手順を作ってください。それをtxt形式で提供ください。 私のMacは、[機種名][OSバージョン]です。よろしくお願いします。」
(3)	提供された、実装手順を記載したtxtファイルに基づき、生成AIとやりとりしながら、実装してください。 ※txtファイルを開いたまま生成AIとやり取りし、修正後のtxtを再度送って「これで大丈夫ですか」と確認する方法を取れば、更新内容を逐一手元に残せるため、作業の履歴管理として便利で安心です。

以上です。

現状では、世界のどこかの人が何かのデバイスで、このブログを見て、その中の動画を視聴した時に、言葉がわからないという問題にぶつかります。ですから、そのブログの中に、言葉をわかるようにする「手掛かり」を配置しておきたいと思います。

ただその「手掛かり」と言っても、なかなか簡単ではありません。
条件が複雑過ぎるからです。

現在、条件がどうマチマチであるか眺めてみます。まず、デバイスとしてポピュラーなものをピックアップすると、WindowsPC,Mac,iPhone,iPad,Android携帯、Androidタブレット、以上になるでしょうし、OSでポピュラーなものは、Windows,Mac,iPad/iPhone,Androidになるでしょうし、ブラウザでポピュラーなものは、Chrome,Edge,Safariになるでしょうし、さらに動画の配信側は、YouTube,Vimeo,WordPress,Dropboxなどクラウドサービス、自宅サーバーなど。。
こんな複雑な条件の中で、今、こうしたブログさらにその中の動画などが配信されているわけですね。ですから、全てのユーザーに、「言葉がわかるようにする」のは無理と言っていいでしょう。

結論が遅れました。

それほど、手の込んだ工夫ではありません。

動画の下に、タイムコードあるいは番号が付いた「字幕一覧」を配置すべし。
具体的には以下です。

このような折りたたみの字幕一覧を用意しておくと、ブログの翻訳をすれば、この部分も翻訳されます。(1)(2)などの番号でもいいですが、動画の中の位置が分かりません。タイムコードなら動画のバーを近くに持っていけます。YouTubeなどで字幕の自動翻訳もありますが、速く進み過ぎて目が追いつけません。だから、自分のペースで追いたいです。逆に、急いでいるので動画の要点をサラッと知りたいということもあります。いわば「本屋の立ち読み」です。音声の早送りより、はるかに生産性は高いです。10分の動画でも字幕一覧をみれば30秒で概略がわかります。

AIの解読力ですが、動画を理解することもできるようになってきてはいます。しかし多大なリソース消費の問題もあり正確性も今一歩のところがあります。Geminiに質問してみましたが、動画に字幕ファイルが別添されている形が、AIとすると一番ありがたい形式、と言う返答でした。

いずれにせよ字幕一覧形式は非常に優れています。翻訳した字幕一覧を自分のメモに貼り付けることも出来ます。字幕が邪魔なら、動画の字幕を非表示にして、この字幕一覧を折り畳めばいいです。

ちなみに、上の折りたたみ字幕一覧を、左上のGoogle翻訳で試してみてください。翻訳の途中から改行がされない現象が生ずる場合があります。これはChromeからChromeの翻訳機能を使っても同じ現象になるでしょう。
次に、AppleやWindowsの翻訳を試してみてください。ブラウザから利用できると思います。それを使うと、正しく改行されるはずです。

Macで使う場合、Vimeoの動画に表示される字幕の翻訳は、Google翻訳では翻訳不可ですが、Apple翻訳ではVimeoの動画に表示される字幕を翻訳してくれます(動画無音)。iPad,iPhoneではそれが難しいのでWordPress固定ページに字幕一覧を読み込んで工夫することにします(動画有音)。

Apple翻訳で気づいた欠点の一つは、WordPress動画プレーヤーで表示される字幕について翻訳しようとする時パカパカと点滅状態になるため(動画無音)字幕は非表示にせざるを得ない点があります（2024.2月現在)。

なお、WindowsのEdgeにより、vimeoのプレーヤーを直接に呼び出す場合ですが、AppleのSafariと同じく、字幕は直接に翻訳されます(動画無音)。

総じて、各社の字幕や翻訳の対応は、まだまだバラバラな状況と言っていいです。そこへ群がるように、各社がAI生成画像、音楽などのサービスをくっつけてきているというのが現状です。

そこで、振り回されないように、字幕一覧を配置して、Apple/Windows翻訳とGoogle翻訳の両方を使い分けるようにしよう。というのが、この投稿の主張です。

＜字幕作成に関するオリジナルスクリプト一覧表＞

ポイント解説

１　その他

WindowsPCでのこのブログにリンクした動画の再生についてです。Dropboxの動画についてですが、Dropboxの動画は、ブログに貼り付けた場合は、そのまま素直にストリーミング再生されます。しかし、URLをリンクで再生しようとした場合、ダウンロードしてからの再生を求められます。それはとても面倒なこと。その点も勘案して、Google翻訳アイコン、動画、字幕一覧の各場所をテンプレートにして、動画については、Vimeo、Dropbox、WordPressサーバー、YouTubeなどを貼り付けられるようにして、WordPressの固定ページで動画ライブラリーとしてひとまとめにするように改善中です。

以上