ビデオ内のすべてのシーンカットを見つける
ビデオをアップロードすると、検出器がそれをスキャンし、あるショットが終わり、次のショットが始まる場所を見つけ、開始時間、終了時間、サムネイルを含む番号付きのシーンリストを提供します。これはフレームを比較することでブラウザ内で実行されるため、ビデオがデバイスを離れることはなく、インストールするアプリもありません。
これは、ビデオが何であるかをAIが推測するのではなく、ビデオをそのカットで分割する機械的な作業です。編集を開始するためのカットリスト、各ショットにジャンプする方法、またはクリップにいくつのシーンがあるかを素早く数える必要がある場合、これがそのためのツールです。
シーン検出器が実際にすること
シーンカットとは、画像があるショットから別のショットに変わる瞬間です。これらを検出することで、単一のビデオファイルを操作可能なセグメントのリストに変換でき、そのリストはほとんどの編集およびキャプション作成ワークフローで実際に最初に必要となるものです。
検索結果がこれらを混同するため、言葉について正確であることが重要です。ショットとは、2つのカットの間にカメラが連続して撮影したものです。シーンとは通常、一緒に属するいくつかのショットのことです。このようなフレーム差検出は、ショット、つまり視覚的な明確な境界を見つけます。これは、「シーンカット検出」と「ショット境界検出」の両方が実際に指すものです。物語を読んで物語上のシーンがどこで始まるかを決定するわけではありません。それは自動ツールでは確実に判断できないものです。
カットを見つける方法
この方法は意図的にシンプルであり、そのためサーバーなしで自分のマシンで実行できます。このツールは、ビデオを一定のステップでサンプリングし、サンプリングされた各フレームを小さなグレースケールのサムネイルに縮小し、各フレームが前のフレームとどれだけ異なるかを測定します。ハードカットでは、ほとんどすべてのピクセルが一度に変化するため、差が急増します。その急増が感度しきい値を超えると、ツールはそこにカットをマークし、新しいシーンを開きます。
すべてのフレームをチェックするのではなくサンプリングするため、カットは最も近いサンプルに当たり、長いビデオではタイムコードが数分の1秒ずれることがあります。これは、高速でブラウザ内で実行するためのトレードオフです。編集リストや大まかなセグメンテーションには十分近く、サムネイルで各境界を確認できます。
感度コントロールが重要なつまみです。高くすると微妙な変化を捉え、より多くのシーンを返し、低くすると大きな変化のみで分割し、より少ないシーンを返します。まずはミディアムから始め、フッテージに対してカウントが高すぎる、または低すぎるように見える場合は調整してください。
ハードカット、フェード、そして見逃されるもの
ハードカットは、このツールが得意とするところです。あるショットから別のショットへの直接的な編集は、フレームの差が急増するため明確に現れます。
緩やかなトランジションは、正直な弱点です。ゆっくりとしたフェードアウト、クロスディゾルブ、または長いモーフィングは、画像を一度に少しずつ変化させるため、単一のフレーム間の差がしきい値を超えるほど大きくありません。感度を上げると役立ちますが、ソフトなディゾルブは依然として1つの連続したシーンとして認識される可能性があります。速い動きや強いカメラフラッシュは、逆の効果をもたらし、1つのショットを2つに分割することがあります。サムネイルがあるのは、誤った分割を一目で発見し、無視できるようにするためです。
これらはどれもブラウザツールに特有の欠陥ではありません。フレーム差検出はどこでもこれらの限界を持っています。ここで得られるのは、大部分の通常のカットで正確な、高速でプライベートな最初のパスです。
ブラウザツール vs DaVinci と PySceneDetect
人々が通常使う2つのツールは、DaVinci ResolveとPySceneDetectであり、どちらもこれ以上のことができます。問題は、何をセットアップする気があるかです。
DaVinci Resolveにはシーンカット検出機能がありますが、それは大規模な編集スイートをインストールし、実行する前にクリップをインポートすることを意味します。PySceneDetectは、コンテンツ認識モードと閾値モードを備えたオープンソースのコマンドラインツールであり、ターミナルでの操作やPythonパッケージのインストールに慣れている場合は強力です。どちらも、1つのクリップをすばやくチェックするために開くようなものではありません。
このツールは、まさにそのクイックチェックのための、インストール不要、アカウント不要のバージョンです。ファイルをドロップし、カットリストを読み、タイムコードをコピーして、次に進みます。大規模なバッチジョブや完成した編集内のフレーム完璧な境界には、デスクトップツールがやはり優れており、そこへあなたを送り出すのが公平な場所です。
シーン検出の利用用途
編集者は、編集前に生のフッテージをクリップに分割するためにカットリストを使用したり、Bロールが切り替わる正確な秒数を見つけて音楽やキャプションをタイミングよく挿入したりします。
キャプションや字幕の作業は、字幕ファイルがカットをまたがって続くのではなく、ショットの切り替わりで改行される方が読みやすくなるため、恩恵を受けます。シーンリストはこれらの区切り点を提供します。
フッテージをログ記録またはアーカイブする人々は、ショットごとに長い録画をインデックス化するためにこれを使用します。これにより、2時間のキャプチャがスクラブバーではなく、操作可能なリストになります。また、2つのバージョンの編集を比較する誰もが、シーンを数え、カットポイントを素早く確認できます。
カットリストのその先
シーンの場所が分かったら、次のステップは通常、それらを使って何かをすることです。カットされた場所だけでなく、各シーンの内容を理解するために、AIビデオアナライザーはコンテンツ、オブジェクト、イベントをタイムスタンプ付きで読み取ります。特定の瞬間または一定の間隔で静止画を抽出するには、ビデオフレームエクストラクターがフレームをPNGまたはJPGとして保存します。そして、クリップがどこでカットされたかではなく、AIによって生成されたり操作されたりしたかどうかを知りたい場合、それはAIビデオ検出器の仕事であり、全く別の作業になります。
お客様が保存する録音は、Whisper Large-v3とSOC 2 Type 2セキュアストレージによって文字起こしできます。
よくある質問
ビデオシーン検出とは何ですか?
これは、ビデオが1つのショットから次のショットに切り替わるポイントを見つけ、そのポイントでビデオをシーンのリストに分割することです。このツールは、フレームを比較し、映像が急激に変化する箇所をマークすることでこれを行い、各シーンのタイムコードとサムネイルを提供します。
シーン検出器は無料ですか?
はい。ビデオをアップロードしてそのシーンを検出する作業は、アカウントやウォーターマークなしで、完全にブラウザ内で無料で実行されます。各シーンの内容を分析するなど、さらに進んだAI機能は、ScreenAppの通常のプランに従います。
何もインストールせずにオンラインで動作しますか?
はい。ブラウザで動作するため、デスクトップでも電話でも、ダウンロードやインストールは何もありません。DaVinci ResolveやPySceneDetectとは異なり、最初にアプリやコマンドラインを設定する必要はありません。
これはAIビデオ分析とどう違うのですか?
シーン検出は機械的なものです。フレーム差によってカットを見つけ、コンテンツを解釈しません。AIビデオ分析は、フッテージ内で何が起こっているか、オブジェクト、アクション、瞬間を読み取り、それらを記述します。カットリストにはこちらを使用し、ビデオが何を含んでいるかを知る必要がある場合はAIビデオアナライザーを使用してください。
フェードやディゾルブを検出できますか?
ハードカットほど確実ではありません。ゆっくりとしたフェードやクロスディゾルブはフレームが徐々に変化するため、1つの連続したシーンとして読み取られる可能性があります。感度を上げるとより多くを検出できますが、非常にソフトなトランジションは見逃される可能性があります。ストレートカットはよく検出されます。
私のビデオはどこかにアップロードされますか?
いいえ。分析全体はブラウザ自身のキャンバスを使用してデバイス上で実行されます。ファイルはフレームを比較するためにローカルで読み取られ、サーバーに送信されたり、保存されたり、ログに記録されたりすることはありません。
どのようなビデオ形式をサポートしていますか?
ブラウザが再生できるあらゆる形式をサポートしており、MP4、MOV、WebM、およびほとんどのAVIファイルが含まれます。ビデオがページ内で再生される場合、検出器はそれをサンプリングして分析できます。
これはDaVinciのシーンカット検出やPySceneDetectの無料の代替品ですか?
素早く一度限りの確認であれば、そうです。インストールやコマンドラインなしで同じフレーム差のアイデアを使用しています。完全な編集内のフレーム単位で正確な境界、または大規模な自動バッチ処理には、デスクトップおよびコマンドラインツールの方が適しています。