26.10.03:エディタの改造を行ないました。内容としては、BGMや音声ファイルを合成する機能を追加しました。

今回の投稿は、前回の投稿ID-29651「VTT字幕の全自動生成」とペアになる投稿です。

以下のビデオは、

前回の投稿である動画音声ファイルからVTT字幕を生成するパートと、今回の投稿のメインであるエディタで編集するパートを一緒にしたものです。ご視聴ください。

２　ウインドウを統合したエディタを作った

ID-27063「字幕かんたん作成～」にてご案内しましたが、ウインドウがバラバラに配置され使いにくさがありました。

今回、大幅に改善しました。各ウインドウを統合して使いやすくしました。誰でも簡単にインストールできるようにしました。

３　字幕かんたんエディタの特徴

（１）字幕ファイルはvttを使う

動画アプリの殆どが字幕はsrtファイルを出力する形になっていますが、これは大手プラットフォームのプレーヤーの標準がsrt使用になっているからです。ところが私はWordpressプレーヤーを改良したハンドメイドプレーヤーでの再生を基本に考えていますので、Wordpressの字幕ファイルの標準であるvttを使うことにしています。

（２）文字情報はプレーンテキストが基本

私は字幕を動画に焼き付けることは基本的にはしません。その動画の中に焼き付けられた文字の理解のためには、コンピュータの頭脳にかなり大きなエネルギーを使わせることになります。

最近、YouTubeなどの動画そのものを生成AIに読み込ませてマルチモーダルに理解させることを売りにしているようですが、こんなことをするとユーザーそれぞれが金太郎飴のように同じことをやり出すわけで、膨大な資源の無駄遣いのように感じます。やはり文字情報はプレーンテキストで記録するのが基本だろうと考えます。

だから私は、動画ファイルと字幕ファイルは別々に作ります。再生するときにプレーヤー上で合体させますし、ブログ記事をソース化するときも貼り付けた動画の字幕一覧情報を含めています。

（３）字幕一覧txtファイルも同時生成する

字幕vttファイルと同時にセットで字幕一覧txtファイルも出力するようになっています。

字幕一覧は、見たい場面に瞬時に移動できる点と、前後の字幕の見逃しや先読みに役に立つ点、それらに加えて、実は、翻訳した時の精度のばらつきをカバーするのに役に立ちます。どういうことかというと、Google翻訳は字幕一覧の中まで綺麗に翻訳出来るのに対して、Apple翻訳は字幕一覧の中の翻訳は使い物にならないほど酷いのにかかわらず画像内の文字列の翻訳は見事に出来るなど、得手不得手がバラバラです。いずれにしても字幕一覧があれば、その凸凹な翻訳レベルを補ってくれます。

４　実装

（１）Macの条件

このアプリをインストールできるのは、

Apple Silicon (M1以降) を搭載したMac

対応OS：macOS 11 (Big Sur) 以降
必要なソフト：なし（完全スタンドアロン）

Pythonの環境構築や追加ライブラリのインストールは一切不要です。ダウンロードしてすぐに使用できます。

ちなみに私は、M2 Mac mini Sonomaです。

（２）インストール方法

必須の操作：初回起動時のセキュリティ許可

初回のみ、readme.txt に記載の「右クリック ➔ 開く」によるGatekeeper（開発元未確認）の回避操作が必要です。

関係スクリプトおよびインストーラ(クリック)

関係するスクリプトは全て公開します。 関係スクリプト要約： 「字幕かんたんエディタ」は、PyWebViewとBottleで構築されたmacOS向け字幕編集アプリケーションです。動画への字幕付け、BGMの追加・合成などの機能を持ち、WebKitのファイルスキーム制約回避やFFmpeg連携による効率的な処理を実現しています。配布はbuild_dmg.shスクリプトで生成されるDMGパッケージを通じて行われ、readme.txtには初回起動や日常的な動画ファイルからの起動方法が案内されています。 本システムは、Gemini 3.6 Flash APIを利用した高度な自動字幕生成ワークフローも提供します。multimodal_vtt_pipeline_auto.pyスクリプトは、入力された長尺動画をFFmpegで精密に分割し、Gemini APIで高精度なWebVTT形式の字幕を生成。同時に、ウェブページ埋め込み用の字幕一覧HTML（_listJ.txt）も自動作成します。このスクリプトは、処理完了後に「字幕かんたんエディタ.app」に動画パスを渡して自動起動し、シームレスな編集フローを実現します。 エディタ連携を伴わない単体で字幕を生成するmultimodal_vtt_pipeline.pyスクリプトも存在し、日本語の不自然な空白除去や話者区分の自動判断なども行います。 スクリプト↓

インストーラ↓SubtitleEasyEditor.dmgをクリックしてアプリをドラッグ&ドロップしてください。

内容に関するお問い合わせは以下へ↓

付録： 動画を360p音質キープに変換.workflow 要約： このワークフローは、入力された動画ファイルを一括して360p解像度に変換するシェルスクリプトです。入力された各ファイルについて、新しいファイル名（元のファイル名に_360pを付加）を生成し、動画処理を行います。 動画はアスペクト比を保ちつつ、高さが360ピクセルになるようにスケーリングされます（または幅が360ピクセルになるよう調整され、もう一方が-2で自動設定）。映像コーデックにはH.264（libx264）を使用し、品質はCRF 23、エンコード速度はveryfastプリセット、ピクセルフォーマットはyuv420pが設定されています。 音声に関しては、ffprobeで元の音声コーデックとビットレートを判定します。もし元の音声がAACであればcopyモードで劣化なく複製され、それ以外のコーデックであれば、元のビットレート（取得できない場合は256kbps）に近い値でAAC形式に再エンコードされます。最終的に、データサイズの最適化とWeb再生に適した形式で360p動画が出力されます。 スクリプト↓

５　使用方法

説明不要なくらい簡単です。上に貼り付けたビデオでざっくりと説明していますのでご覧ください。

６　使用上の注意

私は、字幕vttファイル、字幕一覧txtファイルを新規に作成するときは、自動送信用のmmedia pmediaフォルダではない、別の静的なローカルフォルダに作成するようにしています。その後の、数分で済むような小さな修正は、自動送信用フォルダ内で行います。送信用フォルダは更新の都度、毎分そのファイルを配信所へ送信しますので、あまり処理のラッシュにならないようにしています。

７　まとめ

今回の開発で、私にとって「字幕工房」は不要になりました。
DIYで作れてしまいます。
つくづくアプリ開発で、収入を得るのは、大変な時代になったと感じます。

私としては、デジタル創作物もそれなりに広がりと奥行きがついてきました。これまでも意識してきたことではありますが、もっと、このimakatブログを、読者の皆さんの実装に役立つように、充実していきたいと思います。

26.10.09: Google無料アカウントのユーザーは本日からFlash-Liteのみに制限されるようです。変化が目まぐるしくて困ります。下の記事は「そんなことできた時があったんだ！」と驚かれる内容かもしれません。

今日は、夏休みの工作のようなアプリを一つ。

「Finderから動画・音声ファイルを右クリックするだけで、完全に結合・調整された1本のVTT字幕ファイルが自動でピコンと出来上がる」という、全自動連続パイプラインを開発しました 。これもギターコードアプリと同様、自分専用の介助ロボットづくり、ともいえます。

無料アカウントのままで利用可能ですのでご安心ください。

２　なぜGeminiの文字起こしは、VrewやCapCutより優れているのか？

一般的に使われている文字起こしツールは、純粋に「音声だけ」を聴いて文字に起こす仕組みになっているようです。そのため、同音異義語や画面に映っている言葉と乖離した誤変換が起きやすく、後からの手直しが避けられません。

しかし、Gemini 1.5 Pro（またはFlash、今回制作したPythonの中ではgemini-3.6-flashを使っています。）などGeminiモデルの最大の特徴は～「目（映像解析）」と「耳（音声解析）」の両方を同時に使うマルチモーダル処理～が可能なことです。 動画内のスライド、背後のホワイトボードの文字、話している文脈をGeminiが総合的に理解して文字起こしを行うため、専門用語や固有名詞の変換精度が非常に高く、手直しの手間がとても少なくなります。

３　拡がる字幕情報の活用

さらに今回は、～「映像と音声から複数人の会話（対談やインタビュー）だと自動判断した場合のみ、字幕の先頭に [男性]： [女性]： などの話者ラベルを自動で付与する」～という命令（話者判別ロジック）をプロンプトに組み込みました。これにより、例えば、Notebookで2人の音声解説を作る→それをこのアプリでVTT形式で文字起こしする→それをそのままPodcastや音声ブログにする、あるいはさらに、そこから動画を生成することもできます。

４　サンプルとして「聴くブログ」の字幕の出来栄えをご確認ください。

今回のアプリで作成したサンプルです。以下の「聴くブログ」をクリックすると表示されます。内容は結構お硬いですが高校生に理解できる程度の会話です。音声と連動して表示される字幕を確認ください。サイドバーにも掲載しています。

読み込み中…

この字幕情報の作り方ですが、Notebookで20分程度の音声解説を作りそれを今回のアプリで時刻付きの文字起こしVTTファイルを作成→次にそれをインタラクティブ・トランスクリプト(Interactive Transcript/対話型文字起こし型txtファイル)形式のtxtファイルに変換して同期させています。
インタラクティブ・トランスクリプト形式のtxtファイルの記述例：

<details translate="yes"><summary translate="yes">字幕一覧(クリック)</summary> <p translate="yes">
(<a href="#" class="imk-cue" data-seek="0:16" translate="no">00:00:16</a>) ディープダイブへようこそ。<br>
(<a href="#" class="imk-cue" data-seek="0:17" translate="no">00:00:17</a>) [男性]：今日のテーマなんですが、ずばり「妥協なきデジタル主権への挑戦」ということで。<br>
(<a href="#" class="imk-cue" data-seek="0:25" translate="no">00:00:25</a>) [女性]：デジタル主権、響きからして壮大ですよね。巨大IT企業に依存しないで、自分自身でデータを完全にコントロールするインフラをどうやって獲得するのか。<br>

</p> </details>
<style>
details { font: 16px "Open Sans", Calibri, sans-serif; width: 100%; }
details > summary { padding: 2px 6px; width: 100%; background-color: #ddd; border: none; box-shadow: 3px 3px 4px black; cursor: pointer; list-style: none; }
details > p { font: 14px "Open Sans", Calibri, sans-serif; height:150px; overflow: scroll; background-color: #EDF7FF; padding: 2px 6px; margin: 0; box-shadow: 3px 3px 4px black; }
</style>

なお、このテストでは、字幕作成の対象ファイルに、動画ではなくmp3音声ファイルを選んでいますが問題なく処理されています。

全自動作成後のVTTに対する修正箇所ですが、ロールバック機構→フォールバック機構、DR52.php→dr52.php、MyBox→mybox、 MyBox_1→mybox_1、の修正だけです。句読点もそのまま、時刻もそのままです。このサンプルは動画内に表示された文字を理解させるテストにはなっていませんが、それにしてもかなり高い精度です。

５　無料アカウントでも20分以上の動画がエラーなく処理できる秘密

Google AI Studio（API）の無料枠を利用する場合でも、長尺の動画は容量や処理限界の壁にぶつかります。 今回のパイプラインスクリプトは、以下の工程をすべて「Python」とMac標準ツールがバックグラウンドで全自動実行します。

（１）自動・無音分割（FFmpeg）: 動画を読み込み、1.0秒以上の無音区間を自動で探し出し、キリの良いポイント（デフォルト4分30秒）で動画を再エンコードなし（一瞬）で自動分割。

（２）クリーンな並列API送信: 分割した各動画を、それぞれ毎回クリーンな別のAIセッションにアップロードして文字起こしを依頼（AIの脳内メモリの混線を100%防止）。

（３）自動クリーンアップ: 処理が終わった動画ファイルは、APIサーバー上から直ちに自動削除（サーバー容量を圧迫しません）。

（４）自動タイムシフト＆マージ: 0秒リセットで返ってきた各字幕のタイムスタンプに、分割時のオフセット秒（ズレ）を自動で足し算して復元。

（５）通し連番の再編成: 結合された巨大なVTTデータを走査し、1から始まる綺麗な通し連番に一瞬で自動振り直し。

（６）デスクトップ通知: すべてが完了すると、Macの画面右上に「字幕作成が完了しました！」と通知が表示されます。

人間がやることは～「右クリックして待つだけ」～です。

６　実装手順

それでは、実装手順は以下です。

実装手順(クリック)

🛠️ 実装手順 （１）Geminiの「APIキー」を無料取得する APIを利用するための「鍵」を入手します。 Google AI Studioの公式サイト（ https://aistudio.google.com/ ）にアクセスします。 画面左上の 「Get API key」 ボタンを押し、プロジェクト用のキー（無料）を作成してコピーします。 （２）MacにPython 3とFFmpegをインストールする お使いのMacのターミナル（黒い画面）を開き、以下のコマンドが通る状態にしてください。 （※すでにHomebrewが導入されている環境を推奨します） brew install ffmpeg pip install google-genai （３） スクリプトの保存 １）Python 以下の青ボタンからPythonコードをダウンロードまたはコピーし、プログラム内の `API_KEY` の部分にご自身のAPIキーを貼り付けた上で、Macの適当なフォルダ（例: `/Users/（あなたのユーザー名）/python_scripts/` ）に **`multimodal_vtt_pipeline.py`** という名前で保存します。 ２）AppleScript 同じく以下の青ボタンからAppleScriptコードをダウンロードまたはコピーして、 ①Mac標準の 「Automator」 アプリを起動し、新規作成から 「クイックアクション」 を選択します。 ②画面最上部の設定を以下のように設定します。 「ワークフローの受け取る項目:」 ➔ 「ファイルまたはフォルダ」 「検索対象:」 ➔ 「Finder.app」 ③左側のアクション一覧から 「AppleScriptを実行」 を探し、右側のワークフローエリアにドラッグ＆ドロップします。 ④AppleScriptのコード入力欄に、ダウンロードしたコードを貼り付けます。 （※保存したPythonスクリプトのパスやPython実行環境のパスは、ご自身の環境に合わせて適切に書き換えてください） ⑤名前(全自動VTT字幕作成)をつけて保存します。

内容に関するお問い合わせは以下へ↓

７　運用上の注意

（１）ターミナルが起動するようにしてあります。

私は有料AI Proですが、それでも使用制限は結構な頻度で生じます。エラーやトラブルも時々生じます。そうした異常が生じた時、ターミナルに表示された文字列をコピーして、GeminiやGemなどの生成AIに貼り付けて、その末尾を改行してその下に「エラーが生じました。対策を教えてください。」と書いて、送信することになります。
その時の別な方法として、logを調べてそれをターミナルにコピペする方法もありますが、分かりにくく一手間余分に掛かりますので、ターミナルを常に表示するようにしておくのが、私にとっては安心に感じています。

（２）GeminiやGemなど生成AIはすぐに使えるようにしておく

ブラウザのブックマークや専用アプリなどを用意して、Gemini/Gem/生成AI、がすぐに使えるようにしておきましょう。エラーやトラブルの時、すぐにターミナルのコピペができるようにしておきましょう。

以上

別の投稿で紹介したいと思いますが、字幕起こしを伴う字幕作成サービスについては日進月歩でして、どんどん高品質になっています。大きく分けると、ローカルで処理する方法（大抵は無料でできる）と外部サーバーで処理する方法（大抵は使用量課金かサブスク提供)がありまして、外部サーバー利用の方については激しい競争下にあるためかなり高品質で、生成AI系企業のサービスが群を抜いています。

最近、AIの進展で、動画をアップロードするだけで音声を取り出しその内容をAIに理解させることができるようになってはきましたが、やはり字幕ファイルによる文字情報で内容を理解させる方が圧倒的に迅速で正確です。しかも動画からの読み込みは多大なリソースを消費するので、追加料金も発生するかも知れません。そんな意味で、ブログ投稿をAIに学習させる場合も、動画には字幕ファイルを別添して貼り付けるようにして、字幕ファイルからの情報吸い上げを重視すべきだと私は思います。

そんな中で、ここで紹介する方法は、無音声の動画に解説用の字幕をサクッと付ける場合、に役立つものです。

ポイント解説

１　VTTで編集ができます：
簡易な字幕作成ツールとしては、「字幕工房」が優秀であるという見方は変わりませんが、SRTファイルでの書き出しです。私はWordPressブログに掲載する動画が殆どですので、毎回VTTファイルへ変換することになり面倒です。「字幕工房」に限らず、動画作成アプリで出力される字幕は、殆どがSRTファイルなのですね。

２　ローカルファイルの更新をそのまま反映します：
動画共有サービスに共通することですが、字幕もそのほかのメディアアセットもローカルからアップロードした時点で切り離されてしまうので、ローカルファイルを更新しても自動では反映されません。図の下段は、今運用しているマイ・メディアライブラリの機能ですが、ここでもその威力が発揮されます。ローカルでVTTファイルをTextEditで開いて手直しすれば、そのまま自動的に、ブログの表示が変更されます（数分のタイムラグはあり）。

３　停止位置の時刻を自動で取得します：
QuickTimePlayerで動画を停止した場所の時刻(時点)を自動で取得して、テキストとともに、VTTファイルへ書き込みます。さらに、書き込んだ情報を読み込んで、HUD(ディスプレイ)に即座に表示します。

主な特徴点は以上ですが、かんたんな点では、「字幕工房」を上回っています。

４　わずか2ステップ：

①対象の動画をクリックして開く(デフォルトはQuickTimePlayer)。

②フォルダの上で右クリックして、「字幕かんたん作成」を立ち上げ、VTTファイルを作る。

だけです。

５　キビキビと動きます：
字幕作成アプリを探すと、ブラウザアプリが主流になっています。そのブラウザアプリですが、欠点は、「もったりヌルヌルした動作」にあります。iPad iPhoneでは仕方ないにしても、Macでも感じるところがあるので、それはなんか疲れるわけですね。QuickTimePlayer、TextEdit、標準スクリプト、そういった標準搭載ツールは、実にキビキビと動きます。

実装の手順

(1)	下の青色のボタンから、スクリプト(txtファイル)をダウンロードします。
(2)	生成AI( Gemini、ChatGPTなど)を利用すると簡単です。AIのチャット欄に、 ①ダウンロードしたスクリプトをアップロードします。 ②以下を記述します。 「私のMacに、添付したスクリプトを実装する手順を作ってください。それをtxt形式で提供ください。 私のMacは、[機種名][OSバージョン]です。よろしくお願いします。」
(3)	提供された、実装手順を記載したtxtファイルに基づき、生成AIとやりとりしながら、実装してください。 ※txtファイルを開いたまま生成AIとやり取りし、修正後のtxtを再度送って「これで大丈夫ですか」と確認する方法を取れば、更新内容を逐一手元に残せるため、作業の履歴管理として便利で安心です。

以上です。

字幕の作成に関する問題ですが、それは、規格が統一されていないことに尽きる、と言っていいです。動画を作成する人は、それに振り回されています。

その字幕作成の悩みの一つが、スマホなどの小さな画面を使って、解説の動画を視聴してもらおうとすると、字幕が邪魔になることです。その解決策として、既に、字幕を動画枠の外に表示する方法は紹介してきましたが、この動画では、字幕の背景を透過させる設定方法を紹介しています。

なお、WordPressプレーヤーを使用する場合は、以下の方法で、デフォルトで透過率を設定することができます。

video::cue {
  background-color: rgba(0, 0, 0, 0.5); /* 背景を黒で透過率50% */
  color: white; /* 字幕の文字色を白に設定 */
  text-shadow: 1px 1px 2px rgba(0, 0, 0, 0.5); /* 文字に影を追加 */
}

上のコードを、WordPressのカスタマイズ->追加CSS、へ追記して、公開のボタンを押します。

以上

YouTube,SNSといった庶民による動画配信が拡大したことにより、動画作成や字幕作成、翻訳などについてのアプリやサービスは、百花繚乱といった状況です。

アプリやサービスを、取り替えては楽しむ。それは若い人は、それでいいのでしょうが、私なんかは、手作業で地味にコツコツできないものか、とすぐに考えてしまいます。

QuickTimePlayerとテキストエディットは、Macを買えば、最初から入っています。いわば大工のノミとカンナのような小道具です。今回、感じたのは、新しいものの吸収も大事だが、古くからある道具にコツコツ慣れることも大事だろう、と思えることです。

下のイメージ図は、動画と字幕作りのワークフローです。結局、作られたものは必ずといっていいほど、作り直しが発生するわけです。その時に、本格的に動画アプリでその修正を行うか、または、ノミ、カンナなどDIYショップで買えるような小道具で行うか。そこの選択ですが、私は、まずはDIYを選ぶ。ダメなら動画アプリなどを選ぶ。そのような順番で考えます。

＜クイックアクション＞

ポイント解説

１　「字幕工房」の利用

動画や字幕を修正する小道具は、ノミやカンナのようなものと言いましたが、小道具側に入れるが、ちょっと高級なもの、電動ノコギリのようなものが「字幕工房」です。
ナレーションを文字起こしするような場合は、Vimeo、Vrew、Filmoraなどの機能を使って字幕ファイルが自動生成されますが、内容を文字で説明する場合は、説明文を自分で打ち込むことになります。そのような場合に、「字幕工房」は向いています。

「字幕工房」は、動画(mp4 mov)の上で、右クリック->このアプリケーションで開く->「字幕工房.app」で開けるのが非常に便利です。

この「字幕工房」は字幕をQuickTimeプレーヤーおよびSafariと紐付けするようになっています。その紐付け状態でWordPressプレーヤーで再生させると字幕が二重になったり扱いが面倒になります。従って、私としては、動画は動画として独立、字幕は字幕として独立して作成して、配信するときに、紐付けて動作させるやり方にします。

その方法ですが、2つ注意点があります。1つ目は、作成した字幕を忘れずに書き出すこと。ファイル->SRT->書き出す->日本語、とすると同じフォルダにSRTが書き出されます。これを忘れると、終了の時、字幕が何も残らない結果（何も修正されない結果)になってしまいます。SRTで書き出すことが字幕の保存という意味です。作業を後日続けたい時は、「読み込む…」で行います。その上にある保存、別名で保存は、mp4.mov動画の保存であり、私の場合は使いません。

2つ目は、終了する時、「動画に加えた変更を保存しますか？」と聞かれますが、動画のイメージ自体には何も変更はありませんが動画と字幕を紐付けすることは、動画にとっての変更となるでしょう。動画には何の変更もされたくありませんので「保存しない」を選びます。

上のスクリプトの説明表の中の動画は、「字幕工房」QuickTimePlayerで作成しています。

※「字幕工房」：Mac App Storeで購入できます。買い切りで約1000円。

２　Appleスクリプトによる字幕ファイルのかんたん作成

「字幕工房」よりもっと、かんたんな作成方法です。QuickTimePlayerで動画を表示しながら、止めた位置に、字幕テキストを書き込んでいく簡単なアプリを作成しました。そこそこ実用になります。→「字幕かんたん作成」

３　字幕文章の時刻情報(00:00:00)の挿入と削除について

上の表にあるように、字幕文章の先頭に秒未満をカットした時刻情報(00:00:00)を、挿入したり削除したりできます。一応、その都度、ファイル名に、timeadded、timeremovedが追記されます。なぜ、このようなものを用意しているかですが、動画内の字幕が翻訳できない場合の補助として、その字幕の位置を示すためです。例えば、Vimeoなど動画内に表示される字幕を翻訳できる場合と、WordPressのように動画内では翻訳できない場合があります。字幕一覧は翻訳されます。
時刻情報が文章に入っている例：
下は、Dropboxの動画をWordPressプレーヤーで配信している例です。ページ左上の「言語を選択」から適当な言語を選んで表示してみてください。(1)はリアルタイムで翻訳されますが、動画の外枠へ表示します。(2)は動画内の字幕は日本語ですが、字幕一覧は翻訳されます(長い動画の時は翻訳の改行が不安定になりますが)ので、時刻情報をキーとして内容を把握できます。
(1)メールを全受信に表示しない方法＜字幕一覧なし＞ 33秒(動画🎥Dropbox)
(2)メールを全受信に表示しない方法＜字幕一覧あり＞ 33秒(動画🎥Dropbox)

必要に応じて、文章頭に時刻情報を入れることが可能、と捉えてください。

４　その他

動画作成の作業を便利にするものとして、今回は、QuickTimePlayer、テキストエディット、字幕工房を具体的に取り上げましたが、網羅するならば、上に掲載したクイックアクション、それから、下にあるStream Deckの各設定が、全体像になります。

Stream Deckに関しては、また別に取り上げます。

以上。

現状では、世界のどこかの人が何かのデバイスで、このブログを見て、その中の動画を視聴した時に、言葉がわからないという問題にぶつかります。ですから、そのブログの中に、言葉をわかるようにする「手掛かり」を配置しておきたいと思います。

ただその「手掛かり」と言っても、なかなか簡単ではありません。
条件が複雑過ぎるからです。

現在、条件がどうマチマチであるか眺めてみます。まず、デバイスとしてポピュラーなものをピックアップすると、WindowsPC,Mac,iPhone,iPad,Android携帯、Androidタブレット、以上になるでしょうし、OSでポピュラーなものは、Windows,Mac,iPad/iPhone,Androidになるでしょうし、ブラウザでポピュラーなものは、Chrome,Edge,Safariになるでしょうし、さらに動画の配信側は、YouTube,Vimeo,WordPress,Dropboxなどクラウドサービス、自宅サーバーなど。。
こんな複雑な条件の中で、今、こうしたブログさらにその中の動画などが配信されているわけですね。ですから、全てのユーザーに、「言葉がわかるようにする」のは無理と言っていいでしょう。

結論が遅れました。

それほど、手の込んだ工夫ではありません。

動画の下に、タイムコードあるいは番号が付いた「字幕一覧」を配置すべし。
具体的には以下です。

このような折りたたみの字幕一覧を用意しておくと、ブログの翻訳をすれば、この部分も翻訳されます。(1)(2)などの番号でもいいですが、動画の中の位置が分かりません。タイムコードなら動画のバーを近くに持っていけます。YouTubeなどで字幕の自動翻訳もありますが、速く進み過ぎて目が追いつけません。だから、自分のペースで追いたいです。逆に、急いでいるので動画の要点をサラッと知りたいということもあります。いわば「本屋の立ち読み」です。音声の早送りより、はるかに生産性は高いです。10分の動画でも字幕一覧をみれば30秒で概略がわかります。

AIの解読力ですが、動画を理解することもできるようになってきてはいます。しかし多大なリソース消費の問題もあり正確性も今一歩のところがあります。Geminiに質問してみましたが、動画に字幕ファイルが別添されている形が、AIとすると一番ありがたい形式、と言う返答でした。

いずれにせよ字幕一覧形式は非常に優れています。翻訳した字幕一覧を自分のメモに貼り付けることも出来ます。字幕が邪魔なら、動画の字幕を非表示にして、この字幕一覧を折り畳めばいいです。

ちなみに、上の折りたたみ字幕一覧を、左上のGoogle翻訳で試してみてください。翻訳の途中から改行がされない現象が生ずる場合があります。これはChromeからChromeの翻訳機能を使っても同じ現象になるでしょう。
次に、AppleやWindowsの翻訳を試してみてください。ブラウザから利用できると思います。それを使うと、正しく改行されるはずです。

Macで使う場合、Vimeoの動画に表示される字幕の翻訳は、Google翻訳では翻訳不可ですが、Apple翻訳ではVimeoの動画に表示される字幕を翻訳してくれます(動画無音)。iPad,iPhoneではそれが難しいのでWordPress固定ページに字幕一覧を読み込んで工夫することにします(動画有音)。

Apple翻訳で気づいた欠点の一つは、WordPress動画プレーヤーで表示される字幕について翻訳しようとする時パカパカと点滅状態になるため(動画無音)字幕は非表示にせざるを得ない点があります（2024.2月現在)。

なお、WindowsのEdgeにより、vimeoのプレーヤーを直接に呼び出す場合ですが、AppleのSafariと同じく、字幕は直接に翻訳されます(動画無音)。

総じて、各社の字幕や翻訳の対応は、まだまだバラバラな状況と言っていいです。そこへ群がるように、各社がAI生成画像、音楽などのサービスをくっつけてきているというのが現状です。

そこで、振り回されないように、字幕一覧を配置して、Apple/Windows翻訳とGoogle翻訳の両方を使い分けるようにしよう。というのが、この投稿の主張です。

＜字幕作成に関するオリジナルスクリプト一覧表＞

ポイント解説

１　その他

WindowsPCでのこのブログにリンクした動画の再生についてです。Dropboxの動画についてですが、Dropboxの動画は、ブログに貼り付けた場合は、そのまま素直にストリーミング再生されます。しかし、URLをリンクで再生しようとした場合、ダウンロードしてからの再生を求められます。それはとても面倒なこと。その点も勘案して、Google翻訳アイコン、動画、字幕一覧の各場所をテンプレートにして、動画については、Vimeo、Dropbox、WordPressサーバー、YouTubeなどを貼り付けられるようにして、WordPressの固定ページで動画ライブラリーとしてひとまとめにするように改善中です。

以上

23.12.26更新：CapCutのMacへのダウンロード版を使っていたら、PROへの参加（即ち有料)をしないと、SRT字幕ファイルのダウンロードが出来なくなりました。ところが、オンライン版は、ダウンロードが可能でした。しかし、いつか不可能になるかも知れません。

CapCutの自動字幕起こしを使う。

下のビデオは、Mac版CapCutを使用した例です。

はじめに：

一つ前の投稿で紹介したVimeoの字幕生成機能を使う方法ですが、それはあくまで暫定手段なのだろう、やはり動画編成アプリ自体に字幕起こし機能が備わっているのがベストだ、と思えています。最近、CapCutという動画編成アプリを見つけまして、これが無料で、自動字幕起こし機能がついています。しかも動画編集機能もシンプルで扱いやすいので、動画として完成させて、あちこちへアップロードして幅広く使おうと思っていました。

CapCutはTikTokワールドの一部。無料のアプリを使うのに、あれこれ要望はできない。規約に従うのみ。：

しかしこのCapCutというアプリはTikTokの会社の製品であり、TikTokへの動画加工から配信までの流れを簡単にできるようにすることに主眼があります。著作権については、CapCutで制作した動画の所有権はTikTok会社に移り、TikTok会社の所有になった動画は、作者の許可なく再加工ができる、ということです。あの「さすらいネキ」は、どれがオリジナルか分からないくらい再加工の投稿が溢れかえっています。渡ったら最後戻ってこないと思った方がいいです。何が怖いかって、それは、悪用されることです。

やはり、無料なのに、広告も入らない、会社ロゴの刷り込みもされない、なんて、不自然です。タダより高いものはない。

TikTokビジネス圏、TikTokワールドで、みんなで共有して楽しむ展示物として供出した、そういう位置付けとなります。例えると、夏休みの親子絵画体験会。主催者側が道具や指導の先生を準備、描いた作品を会館に展示、作品はテレビで紹介もします。そんなビジネスモデルですね。無料で道具を使わせてもらうわけですので、文句を言う立場にはない、CapCutを利用して制作した動画の扱いについては規約に従う必要があります。

お試し的に、使ってみよう：

CapCutの利用ついては、三択です。（１）全く使わない、（２）一部機能である字幕起こしを使ってSRTファイルを作るプロセスのみを利用する、（３）動画加工も含めて全部利用する、この三つです。

（３）は、私はオリジナルの音楽の所有権を放棄するつもりもありませんので、選びません。（２）の字幕起こし機能については15分以内等の使用制限の範囲で無料で提供される文字起こしサービスで、Google,Vrewなど他社も同様なサービスを一定の使用制限内を無料で提供しているので、それと同様に、一つの単機能として、一定の制限内で、使用できるものと今のところは捉えます。しかしながら、CapCutとしてはそれは許可しないのであれば、文字起こしは当面、単機能アプリであるVrewなどを使うことにします。つまり（１）を選んでCapCutは全く使わないことになろうと思います。

ポイント解説

１　字幕のフォーマット形式はSRTがいい。ほぼ全体をカバー。

2023年12月時点で、アプリごとの字幕ファイルのフォーマットを調べてみました。調べ方は、既にメジャーになっているSRTまたはVTTを使っているかどうかです。

以上から、SRTを基調として使い、SRT<->VTT相互に変換できるようなツールを用意しておけば良さそうです。ところで、YouTubeのSBV形式ですが、SRT形式と殆ど同じです。

一点だけ異なります。
SBVのタイムコードの秒とミリ秒の間は”.”です。
SRTのタイムコードの秒とミリ秒の間は”,”です。

以下のAppleスクリプトをMacのAutomatorのクイックアクションで動かすと一発で変換できます。

SBVからSRTを生成するAppleスクリプト

（１）「 AppleScriptを実行」を挿入

on run {input, parameters}
	set sbvFilePath to POSIX path of input
	
	-- 新しいファイルに拡張子をSRTに変更してコピー
	set srtFilePath to replaceExtension(sbvFilePath, "srt")
	do shell script "cp " & quoted form of sbvFilePath & " " & quoted form of srtFilePath
	
	return srtFilePath
end run

-- 拡張子を置き換える補助関数
on replaceExtension(filePath, newExtension)
	set AppleScript's text item delimiters to "."
	set pathItems to text items of filePath
	set lastItem to last item of pathItems
	set last item of pathItems to newExtension
	set AppleScript's text item delimiters to "."
	set newPath to pathItems as text
	return newPath
end replaceExtension

（２）「 AppleScriptを実行」を挿入

on run {input, parameters}
	set srtFilePath to POSIX path of input
	
	-- 秒とミリ秒の間の"."を","に変更してファイルに書き込む
	do shell script "sed -i '' 's/./,/g' " & quoted form of srtFilePath
	
	return input
end run

SRTからSBVを生成するAppleスクリプト
※実際に使うことは無いかも知れません。

（１）「 AppleScriptを実行」を挿入

on run {input, parameters}
	set srtFilePath to POSIX path of input
	
	-- 新しいファイルに拡張子をSRTに変更してコピー
	set sbvFilePath to replaceExtension(srtFilePath, "sbv")
	do shell script "cp " & quoted form of srtFilePath & " " & quoted form of sbvFilePath
	
	return sbvFilePath
end run

-- 拡張子を置き換える補助関数
on replaceExtension(filePath, newExtension)
	set AppleScript's text item delimiters to "."
	set pathItems to text items of filePath
	set lastItem to last item of pathItems
	set last item of pathItems to newExtension
	set AppleScript's text item delimiters to "."
	set newPath to pathItems as text
	return newPath
end replaceExtension

（２）「 AppleScriptを実行」を挿入

on run {input, parameters}
	set sbvFilePath to POSIX path of input
	
	-- 秒とミリ秒の間の","を"."に変更してファイルに書き込む
	do shell script "sed -i '' 's/,/./g' " & quoted form of sbvFilePath
	
	return input
end run

２　字幕情報の各国語翻訳への対応

各動画に、字幕情報をクローズドキャプションとして表示することは、上記の対応で可能となりますが、その字幕情報を各国語へ翻訳したい時、動画の外側に字幕情報がテキストデータで掲載されていれば、このブログの最上段にあるGoogle翻訳の言語選択を行うことにより、その字幕情報もブログの一部として、翻訳が実行されます。具体的には、このページの上方の動画の下にある字幕情報のボックスがそれになります（すみません。雑な字幕起こしの段階で掲載しているのであまり効果的には感じられないかも知れません）。

この字幕情報ボックスへ格納するための字幕情報を作成する、Appleスクリプト及びWordPressのカスタムhtmlブロックを紹介します。

VTTファイルからWordPress表示用TXTファイルを生成 Appleスクリプト

こちらに記載

WordPressブログのカスタムhtmlブロック

上で生成したTXTファイルのデータを、下の<!– 以下から書き出し –>　と　<!– 以上まで書き出し –>の間の行に、コピー＆ペーストしてください。

<details> 
[prisna-google-website-translator] 
<summary>字幕情報を全行表示します(クリック)</summary>
<p>
<!-- 以下から書き出し -->

<!-- 以上まで書き出し -->
</p>
</details>

<style>
details {
  font: 16px "Open Sans", Calibri, sans-serif;
  width: 100%;
}

details > summary {
  padding: 2px 6px;
 width: 100%; 
  background-color: #ddd;
  border: none;
  box-shadow: 3px 3px 4px black;
  cursor: pointer;
  list-style: none;
}

details > p {
  font: 14px "Open Sans", Calibri, sans-serif;
  height:150px;
  overflow: scroll;
  background-color: #EDF7FF;
  padding: 2px 6px;
  margin: 0;
  box-shadow: 3px 3px 4px black;
}
</style>

上のコピー＆ペーストは面倒なこともあると思います。txtファイルの上で右クリックをしてクイックアクションでクリップボードに書き込むスクリプトは以下です。

WordPressブログのカスタムhtmlブロックをクイックアクションで生成するAppleScript

こちらに記載

但し、私が記述している日本語の段階では、改行コード<br>は有効に働きますが、私の環境の問題か、Google翻訳の問題かわかりませんが、各国語に翻訳した時、改行がされない、空白行が生ずる、表示順番があべこべになる言語があるなど、不具合が生ずることがあります。より正確に翻訳を行いたい場合は、各ブラウザから直接呼び出せるプラグインなど、別のアプリをお試しください。改善は引き続き進めます。

３　まとめ

実際のところ、Final Cut ProやQuickTime Player などで動画の寸法がある程度決まったら、動画を一時的に読み込んで、文字起こしをCapCutまたはVrew、またはVimeoなどで行い、そのSRTファイルを、Final Cut Proで読み込みます。SRTファイルの読み込みは、この1回だけです。その後、何かメディアを追加削除したり、トランジションを入れると、字幕が増えたり、書き換えが起きますが、字幕修正は、Final Cut Proの中で手で部分修正します。

器材記録：

CapCut
Adobe puppet Dr.AppleSmith
Mac mini M2 Ventura
BGM:オリジナル音楽

以上です。

私の場合、Vimeoの一番安いクラスPlusの会員、700円/月、250GBになっています。現在はもうPlusの募集は無く、新体系でStarterが登場し1,200円/月、2TBということになっています。Vimeoの有料会員のサービスに、日本語字幕の自動生成が含まれるようになりました。これを使うのが経済的です。最近、自動生成される文字起こしも、使い物になってきていると感じます。このやり方の何がいいかというと、自分でテキストエディタなどで修正を行なって即反映できること。実は字幕データの修正は、つまり文字の移動や時刻の移動などは、アプリやWeb上で行うより、使い慣れたテキストエディタで行う方がラクです。Vimeoはそうした形での利用に向いています。例えばVimeoの自動字幕起こしを元に作った例は、こんな感じです。

自動字幕起こしにvimeoを使った例_OBS~音声の設定 9分(動画🎥)

字幕起こしについては、色々触ってみましたが、今一番コスパがいいと思うのは、Vimeoです。動画をアップロード→自動字幕起こし→srtをダウンロード→下記の文字修正→テキストエディタ上で文字直し→必要ならFinalCutProへ読み込んで尺の調整→完成アップロード、となります。Vimeoの翻訳レベルは割と高い、句読点、。が入っている点も好みです。

さらに、Vimeoは動画配信をそのまま、差し替え自由、広告なしでやってくれる点を忘れてはなりません。

修正作業を効率化するフロー及びツールを作りましたので、以下にご紹介します。

ポイント解説

１　Vimeoの日本語(自動生成）を利用しダウンロードします。ところが。

ところが、自動生成したものは、下のように、文字と文字の間に、不規則に、空白が入っており、このまま使いたくありません。それから、auto_generated_captions.vttとしてダウンロードされます。つまりvttファイルです。それと連番が０から始まっています。srtは連番は1から始まる必要があり、Final Cut Proで使うためには変換が必要になります。これも全体の流れを複雑にしている理由でもありますが。

２　MacのAutomatorを使い、Appleスクリプトを記述します。

（１）文字と文字の空白を削除する。

（２）”–>”の前後の空白も削除されてしまうので、” –> “に置き換える。

（３）先頭行を”WEBVTT “だけにして、２行目に空白行を挿入する。

 Vimeo修正用　Appleスクリプト：コピーしてご利用ください。

「 AppleScriptを実行」を挿入

on run {input, parameters}
	set filePath to POSIX path of input
	
	-- Remove all spaces from the file
	do shell script "sed -i '' -e 's/ //g' " & quoted form of filePath
	
	-- Ensure the arrow has spaces on both sides
	do shell script "sed -i '' -e 's/-->/ --> /g' " & quoted form of filePath
	
	-- Ensure the first line is exactly "WEBVTT"
	do shell script "sed -i '' -e '1s/.*/WEBVTT/' " & quoted form of filePath
	
	return input
end run

３　クイックアクションで、vttファイルを修正します。

コピーしたvttファイルの上で右クリック→クイックアクション→vimeoのvttの修正、を起動します。

すると、以下のように、修正されます。

これを元に、テキストエディットで更に手直しを行い、vttファイルを完成します。それをvimeoの字幕へアップロードします。

上記説明とは直接には関係ありませんが、この際、あると便利なものを作っておきます。

vttからsrt生成、srtからvtt生成についても、あちこちで変換ツールが提供されていますが、Macとして一番使いやすいのは、Finderから対象ファイルの上で右クリックで操作できるのが一番ラクです。そのためのAppleスクリプトは以下です。ご利用ください。

vttからsrt生成兼連番付け直しスクリプト

vttからsrtを作成するときは、連番が0からではなく、1から始まるようにする必要があります。vttファイル上で作業するときに、いくつかの文章行をまとめたり削除したりしますと、当然、連番は変わっていきます。連番の付け直しの作業も行います。つまり、このスクリプトは、vttからsrtを生成するときとsrtの内容を手直しして連番を正しくしたいときに使います。_renumbered.srtが新しくできます。
（１）「 AppleScriptを実行」を挿入

-- 手順１　内容を複製した新たなSRTファイルを作成する。
on run {input, parameters}
	set srtFilePath to POSIX path of (first item of input)
	
	-- 新しいファイル名を作成
	set fileName to do shell script "basename " & quoted form of srtFilePath
	set baseName to text 1 thru ((offset of "." in fileName) - 1) of fileName
	set newFileName to baseName & "_renumbered.srt"
	set newFilePath to (text 1 thru -((count fileName) + 1) of srtFilePath) & newFileName
	
	-- ファイルをコピーして新しいファイルを作成する
	do shell script "cp " & quoted form of srtFilePath & " " & quoted form of newFilePath
	
	-- 次の処理に新しいファイルのパスを渡す
	return {newFilePath}
end run

（２）「 AppleScriptを実行」を挿入

-- 手順２　新しいSRTファイルの内容を更新する。
on run {input, parameters}
	set newFilePath to POSIX path of (first item of input)
	
	-- SRTファイルの内容を読み込む
	set fileContent to read newFilePath as «class utf8»
	set fileLines to paragraphs of fileContent
	
	-- 新しい内容を生成
	set newContent to ""
	set counter to 1
	set lineCount to count of fileLines
	
	repeat with i from 1 to lineCount
		if (item i of fileLines) contains "-->" then
			-- 連番を追加
			set newContent to newContent & (counter as string) & linefeed
			-- 時刻行
			set newContent to newContent & (item i of fileLines) & linefeed
			-- 文章情報行
			if i + 1 ≤ lineCount then
				set newContent to newContent & (item (i + 1) of fileLines) & linefeed
			end if
			-- 空白行
			set newContent to newContent & linefeed
			-- 連番カウンターを増加
			set counter to counter + 1
		end if
	end repeat
	
	-- ファイルに新しい内容を書き込む
	set fileHandle to open for access newFilePath with write permission
	set eof of fileHandle to 0
	write newContent to fileHandle as «class utf8»
	close access fileHandle
	
	return input
end run

srtからvtt生成用Appleスクリプト

（１）「 AppleScriptを実行」を挿入

-- 手順１　内容を複製した新たなvttファイルを作成する。
on run {input, parameters}
	set srtFilePath to POSIX path of input
	
	-- 拡張子をVTTに置き換える
	set newFilePath to replaceExtension(srtFilePath, "vtt")
	
	-- ファイル名を作成する
	set fileName to do shell script "basename " & quoted form of srtFilePath
	set baseName to text 1 thru ((offset of "." in fileName) - 1) of fileName
	set newFileName to baseName & ".vtt"
	
	-- 新しいファイルのパスを生成する
	set newFilePath to (text 1 thru -((count fileName) + 1) of srtFilePath) & newFileName
	
	-- ファイルをコピーして新しいファイルを作成する
	do shell script "cp " & quoted form of srtFilePath & " " & quoted form of newFilePath
	
	-- 手順２に新しいファイルのパスを渡す
	return {newFilePath}
end run

-- 拡張子を置き換える補助関数
on replaceExtension(filePath, newExtension)
	set AppleScript's text item delimiters to "."
	set pathItems to text items of filePath
	set lastItem to last item of pathItems
	set last item of pathItems to newExtension
	set AppleScript's text item delimiters to "."
	set newPath to pathItems as text
	return newPath
end replaceExtension

（２）「 AppleScriptを実行」を挿入

-- 手順２   次に、手順１で新たに作ったVTTファイルに対して、
-- (1) 先頭行に文字列"WEBVTT"を含む行を挿入する。
-- (2) 2行目に空白の行を挿入する。
-- (3) 3行目以降から、読み込んだデータを書き込む。
-- (4) "-->" がある行は、行の中の","を"."に置き換える。

on run {input, parameters}
	set newFilePath to POSIX path of (first item of input)
	
	-- ファイル内容を読み込む
	set fileContent to read newFilePath as «class utf8»
	set fileLines to paragraphs of fileContent
	
	set newContent to "WEBVTT" & linefeed & linefeed
	
	-- 条件に基づいてファイル内容を更新
	repeat with i from 1 to count fileLines
		set lineText to item i of fileLines
		
		if i > 1 then -- 読み込みデータの2行目以降
			if lineText contains "-->" then -- (4)
				set lineText to textReplace(lineText, ",", ".")
			end if
		end if
		
		set newContent to newContent & lineText & linefeed
	end repeat
	
	-- ファイルに新しい内容を書き込む
	set fileHandle to open for access newFilePath with write permission
	set eof of fileHandle to 0
	write newContent to fileHandle as «class utf8»
	close access fileHandle
	
	return input
end run

-- 文字列中の特定の文字を置き換える
on textReplace(inputText, findText, replaceText)
	set AppleScript's text item delimiters to findText
	set textItems to text items of inputText
	set AppleScript's text item delimiters to replaceText
	set newText to textItems as text
	set AppleScript's text item delimiters to ""
	return newText
end textReplace

４　まとめ

補足しますが、Vimeoの自動生成は音声がある場合、作動します。

Vimeoの自動生成を使うのは、動画の尺は変えない段階まで来てから、字幕だけ付けるという場合、有効でしょう。あるいはもしFinal Cut Proで動画編集をしているなら、Final Cut Proの字幕ファイル読み込みはsrtファイルだけなので、先に述べてきた通りAppleスクリプトでvtt→srtを生成して、srtを読み込みFinal Cut Proで編集する方法があります。

字幕起こしアプリVrewも、Filmoraも代替方法とします。

ただ、Vimeoの自動生成をテキストエディタで修正したものを、srtとvttを変換しながらFinal Cut Proで修正するのが、そこそこ分かりやすい方法ですが、いかんせん、何回も変換するのは面倒。

使い慣れたテキストエディタが、一番使いやすい！

さて、説明してきたように、Vimeoの自動生成ファイルはvttファイルです。それを手直ししながら全部済むなら一番ラクです。

誰にでも操作できるツールは、Windows、Mac問わず、テキストエディタです。正直言って、字幕起こしアプリの中で、文字を直したり、移動したり、時刻を変更する作業は、どれを使ったとしても、私には、更新に不安定さを感じますし、作業方法があれこれ変えられてしまうアプリ会社の都合も入ってきます。ところが、テキストエディタは、昔から殆ど変わりません。メニューバーも１行程度しかありません。ですから、やることは、

「Vimeo他の自動字幕起こしを行ったら、すぐに自分のテキストエディタへダウンロードをする。
動画を適当なプレーヤーで表示しながら、各字幕の開始時刻、終了時刻、文字の修正を、テキストエディタへ直接書き込む。」

以上のことだけで十分です。

さらにあると便利だと感じるのは、「時刻情報をxxx分xxx秒(いやxxx秒だけの方がわかりやすいかも)、だけズラせ」というスクリプトを動作できるようにすれば、それはさらに便利でしょう。この改善（スクリプトは完成しています。）は後日、ブログで投稿したいと思います。

結論的に言うならば、

簡単な字幕の修正なら、vttファイルのままで、時刻ずらしスクリプトなどを使ってテキストエディタで処理する、複雑な修正なら、連番の付け直しをしてsrtファイルに変換して、Final Cut Proに読み込んで、動画との紐付きを視覚的に確認しながら処理する、と言うことになります。

器材記録：

Vimeo(PLUS会員)
Automator
テキストエディット
Mac mini M2 Ventura
BGM:オリジナル音楽

以上です。