Люди задают это как один вопрос, а на самом деле это шесть вопросов, с шестью разными ответами.

Может ли ChatGPT посмотреть видео, проанализировать его, резюмировать, транскрибировать, перевести, понять. Это не одни и те же задачи, и ChatGPT действительно хорошо справляется с некоторыми из них и откровенно плохо - с одной в частности. Восприятие их как единого “да” или “нет” приводит к тому, что многие люди испытывают разочарование, глядя на сводку, которая явно упустила половину видео.

Краткая версия: он силен во всем, что начинается с текста, слаб во всем, что начинается с медиафайла, и именно разрыв между этими двумя пунктами является причиной всех жалоб.

Шесть вопросов, шесть ответов

Вот вся статья в одной таблице. Остальное - детали.

Обратите внимание на структуру. Две вещи, которые он делает лучше всего, обе начинаются с текста. Единственное, что он делает хуже всего, - это превращение медиафайлов в текст. Это не совпадение, и это самое полезное, что нужно здесь понять.

Может ли ChatGPT смотреть видео?

Не так, как вы смотрите. Он берет образцы.

Когда вы даете ему клип, он извлекает кадры через определенные интервалы и считывает любой доступный аудиосигнал, а затем рассуждает на основе этого образца. Для 30-секундной демонстрации продукта этого часто достаточно, чтобы описать происходящее. Для 40-минутного вебинара это больше похоже на быстрое пролистывание нескольких неподвижных изображений и догадки о прочем.

Это наиболее важно для всего краткого. Подпись, которая мелькает полсекунды, быстрая смена кадра, число на экране на один такт: все это существует между образцами и просто не существует для модели. Если важен конкретный кадр, сделайте его скриншот и вставьте изображение. Вы получите гораздо лучший ответ, чем если бы спрашивали о видео в целом.

Что касается механики загрузки, форматов и различий между устройствами, у нас уже есть полное руководство по загрузке видео и аудио в ChatGPT. Эта статья о том, что происходит после загрузки файла.

Может ли ChatGPT понимать видео?

Он понимает содержание. Он не воспринимает видео.

Это различие звучит педантично, пока вы с ним не столкнетесь. Спросите о том, какой аргумент приводит кто-то, и вы получите по-настоящему острый ответ, потому что аргументы существуют в языке. Спросите, кто из двух людей на экране кивал, пока говорил другой, и вы получите нечто, что звучит уверенно, но по сути выдумано.

Итак, правило, которым я пользуюсь: если ответ содержится в словах, ChatGPT превосходен. Если он содержится в изображении, во времени или в пространстве между тем, что было сказано и что было показано, посмотрите сами. Что касается промежуточного варианта, когда вы хотите получить ответы на вопросы как по аудио, так и по визуальному ряду, специализированный ИИ-наблюдатель за видео выполняет иную работу, чем чат-модель с прикрепленным файлом.

Может ли ChatGPT транскрибировать видео?

Об этом стоит сказать прямо. Нет, ненадежно, и это неподходящий инструмент для этой работы.

ChatGPT - это языковая модель, а не система распознавания речи. Он может приблизительно сообщить, что было сказано в коротком клипе, и этот отчет будет читаться бегло, что и является проблемой. Беглость и точность - разные вещи. Чего вы не получите, так это того, что делает транскрипцию полезной: временных меток, которые совпадают, меток говорящих, которые сохраняются на протяжении разговора, или гарантии, что предложение в выводе было действительно произнесено.

Для двухминутного клипа, где вам нужен только смысл, это нормально. Для всего, что вы собираетесь цитировать, подписывать или на что будете опираться, сначала пропустите это через настоящий конвертер видео в текст. Затем передайте транскрипт в ChatGPT. Этот порядок - весь секрет.

Если вы выбираете, чем транскрибировать, сравнение инструментов ИИ-транскрипции охватывает точность и форматы экспорта по основным вариантам.

Может ли ChatGPT суммировать видео?

Да, и именно здесь он приносит свою пользу. С одним условием.

Дайте ему чистую расшифровку, и резюме будет действительно хорошим: оно удерживает нить аргументации на протяжении 5000 слов, выделяет решения и перестраивает материал для другой аудитории, не требуя повторений. Дайте ему видеофайл и попросите то же самое, и он суммирует образец, который ему удалось взять, что при длительной записи означает, что он уверенно описывает первые несколько минут и общее настроение остального.

Сбой происходит тихо, что делает его опасным. Вы не получаете ошибку. Вы получаете правдоподобное резюме, в котором отсутствует то, что было решено на 34-й минуте.

Для сравнения специализированных инструментов, созданных для этого, обзор AI-сумматоров видео описывает, чем отличается специализированный сумматор.

Может ли ChatGPT переводить видео?

Да, и он очень хорошо справляется с этим, если вы понимаете, что именно переводится.

Он переводит текст. Так что настоящий рабочий процесс - это сначала расшифровка, затем исправление расшифровки, затем перевод. Этот средний шаг люди пропускают, а пропуск его означает, что вы тщательно переводите свои собственные ошибки на второй язык. Неправильно услышанное название продукта на английском становится неправильно услышанным названием продукта на испанском, что теперь труднее заметить.

ChatGPT превосходит прямые машинные переводы в плане тона и контекста. Попросите его сохранить формальный регистр, технические термины или сократить строки так, чтобы они подходили для субтитров, и он это сделает. Это реальное преимущество по сравнению с вставкой текста в общий переводчик.

Для файлов субтитров в частности, вы хотите сохранить тайминги, что означает генерацию SRT или VTT с помощью видеопереводчика, а не просьбу к чат-модели восстановить временные коды, которые она никогда не видела.

Может ли ChatGPT просматривать ссылки YouTube?

Вставка URL - это не то же самое, что предоставление видео, и это сбивает с толку больше людей, чем что-либо еще в этом списке.

При наличии функции просмотра он может достичь страницы. Страница - это заголовок, описание, некоторые метаданные, возможно, видимые субтитры. Это не видео. Таким образом, вы можете получить ответ, который ссылается на правильную тему и звучит информированно, но был составлен из поля описания.

Признак - это специфичность. Спросите, что сказал ведущий в 12:40. Если ответ уверенный, но расплывчатый, у него никогда не было содержания. И когда у видео отключены субтитры, оно приватное, имеет возрастные ограничения или является повтором прямой трансляции, на этой странице вообще нечего использовать.

Сгенерируйте расшифровку и вставьте ее. Это займет дополнительную минуту и превратит догадку в ответ.

Каковы фактические лимиты загрузки

Это задокументированные цифры из FAQ по загрузке файлов OpenAI, и они объясняют большинство ошибок, о которых сообщают пользователи.

Прочитайте последние две строки вместе, и аргумент становится очевидным. Расшифровка двухчасовой встречи - это несколько сотен килобайт текста против потолка в 2 миллиона токенов. Видео той же встречи может быть 800 МБ, что превышает лимит файла еще до начала. Преобразование в текст - это не обходной путь для ограничений, это их устранение.

Число “3 в день бесплатно” также является честным ответом на вопрос, можете ли вы делать это бесплатно. Можете, три раза, один раз в день.

Рабочий процесс, который действительно работает

Сначала расшифровка. Все остальное следует из этого.

Если вы хотите, чтобы первый шаг был выполнен правильно, ScreenApp выполняет расшифровку, суммирование и перевод за один проход, и экспортирует в TXT, PDF, SRT или VTT. Оттуда берите любой нужный вам результат в ChatGPT. Это не конкурирующий инструмент, это шаг, предшествующий ему.

Та же последовательность работает и для видеоматериалов, сгенерированных ИИ, у которых есть свои особенности: преобразование клипа Gemini или Veo в текст сталкивается с другими проблемами, в основном потому, что клипы длятся секунды и часто вообще не содержат диалогов.

Полезные промты

После того, как у вас есть расшифровка, эти четыре пункта охватывают большую часть того, что нужно людям. Корректируйте и используйте повторно.

Фраза, которая выполняет работу в трех из этих промтов, - это инструкция о том, что делать, когда информация отсутствует. Если ее оставить без внимания, модель плавно заполнит пробелы. Если ей сказать отметить их, она их отметит.

Когда что-то идет не так

Почти каждая жалоба на это сводится к одному из этих пунктов, и большинство из них на самом деле не являются ошибками.

Что бы я сделал на самом деле

Часто задаваемые вопросы

Может ли ChatGPT смотреть видео?

Не так, как это делает человек. Он выбирает кадры и аудио из загруженного клипа и анализирует эту выборку. Короткие видео работают достаточно хорошо. Длинные просматриваются бегло, и он не скажет вам, что просмотрел их бегло.

Может ли ChatGPT расшифровать MP4?

Ненадежно. Это языковая модель, а не система распознавания речи. Вы можете получить что-то читаемое из короткого клипа, но без надежных временных меток или меток говорящих, и без гарантии, что слова были фактически сказаны.

Может ли ChatGPT резюмировать видео?

Да, и это одна из его сильных сторон, но резюме будет настолько полным, насколько полную информацию вы ему предоставите. Из полной стенограммы оно получается действительно хорошим. Из длинного видеофайла оно резюмирует только ту часть, которую проанализировало.

Может ли ChatGPT перевести видео?

Он очень хорошо переводит текст. Сначала сделайте транскрипцию, исправьте ошибки, затем переведите. Он лучше справляется с тоном и техническими терминами, чем обычный переводчик, что является основной причиной его использования здесь.

Может ли ChatGPT анализировать ссылку на YouTube?

Он может получить доступ к странице, а именно к названию, описанию и метаданным. Это не само видео. Если субтитры отключены или видео является частным, там вообще нет ничего пригодного к использованию. Вместо этого вставьте стенограмму.

Насколько большое видео я могу загрузить в ChatGPT?

Размер файлов ограничен 512 МБ каждый, согласно документированным лимитам OpenAI. Длинная запись экрана в 1080p легко превышает этот лимит, что является еще одной причиной работать со стенограммой.

Могу ли я сделать это на бесплатном тарифе?

Три загрузки файлов в день на бесплатном тарифе. Вставленный текст не расходует этот лимит таким же образом, поэтому рабочий процесс, основанный на стенограммах, позволяет сделать гораздо больше на бесплатном аккаунте, чем загрузка видео.

Может ли ChatGPT читать текст, показанный на экране?

Иногда, если текст находится на экране достаточно долго, чтобы попасть в выбранный кадр. Все, что мигает кратко, пропускается. Когда конкретный кадр имеет значение, сделайте его скриншот и вставьте изображение.

Может ли ChatGPT различать говорящих?

Только если стенограмма, которую вы ему предоставляете, уже содержит метки говорящих. Он не может самостоятельно разделять голоса из аудио, поэтому диаризация должна происходить на предыдущем этапе.

Почему мое резюме пропустило половину видео?

Потому что оно суммировало образец, а не всю запись. Резюме, которое необычно смещено к началу, является классическим признаком. Предоставьте ему полную стенограмму и спросите снова.

Может ли ChatGPT анализировать запись Zoom или запись экрана?

Действуют те же правила. Экспортируйте запись, транскрибируйте ее, затем работайте с текстом. Записи встреч обычно длинные и с участием нескольких говорящих, и именно здесь прямая загрузка работает хуже всего.

Какой самый быстрый и надежный способ анализа видео?

Транскрибируйте, просмотрите на предмет неверных имен собственных, вставьте в ChatGPT с конкретным вопросом. Эта последовательность занимает пару минут и превосходит все ярлыки, которые я пробовал.