В начале декабря OpenAI выпустила из бета-версии свою нейросеть Sora, который создаёт видео с помощью искусственного интеллекта.

Sora — далеко не первый сервис, способный создавать видео по запросу, но, безусловно, это одно из самых продвинутых решений на сегодняшний день. Как отметил блогер Маркус Браунли (MKBHD), Sora одновременно впечатляет и пугает своими возможностями.

Давайте разберёмся, что умеет Sora, какие у неё есть ограничения и как можно попробовать создать своё собственное видео.

Кратко:

• Что такое Sora
  Какие видео создает Sora
  Ограничения Sora
  Другие возможности Sora
  Как протестировать Sora
  Как создать видео в Sora
  Краткие итоги

Что такое Sora

Пример видео, созданного Sora по запросу «Современный корабль на реке Нева в центре Санкт-Петербурга. Пасмурная и мрачная погода»

Sora — это модель искусственного интеллекта, способная создавать реалистичные видео на основе текстового запроса или загруженных фото.

Она может генерировать сложные сцены с несколькими персонажами, заданными типами движения и точными деталями объектов и фона. При создании видео Sora учитывает, как описываемые объекты выглядят в реальной жизни.

Sora работает на основе диффузионной модели: видео создаётся, начиная с одного изображения, похожего на статический шум. Постепенно шум удаляется, формируя картинку, которая затем превращается в анимацию.

Последовательность работы Sora

Изначально Sora была представлена в феврале 2024 года. В течение года она дорабатывалась и тестировалась дизайнерами, художниками и режиссёрами.

Результатом стала новая версия — Sora Turbo, которая работает значительно быстрее, чем оригинальная модель.

◦ Назад к содержанию ◬

Какие видео создает Sora

Оригинал, Красная поляна

Sora понимает русский язык. Я загрузил фотографию, которую Микк сделал во время поездки в Сочи, и попросил дорисовать несколько фуникулёров, добавить красивый закат и самолёт в небе. Результат вы видите выше.

Не скажу, что видео получилось идеальным, но первое точно лучше второго. Во втором ролике самолёт летает хаотично, а фуникулёры выглядят нереалистично. В первом видео фуникулёр справа просто движется в воздухе, хотя трос находится рядом с ним.

Для следующего видео я взял другую фотографию и попросил сделать так, чтобы из воды показалась доисторическая крупная рыба, а по камням ходили рептилии.

Оригинальное фото

Первое видео получилось совсем не таким, как я его задумывал. Хотя я указал, что в видео должен быть один план, Sora почему-то решила сделать два несвязанных друг с другом плана. В обоих случаях физика оставляла желать лучшего.

Зато во втором видео нейросеть почти сделала то, что я хотел. Крупная рыба есть, правда, она просто наложена на воду, поэтому реалистичность теряется. У рептилии мало деталей, но поскольку она на заднем плане, на это не обращаешь внимания.

Следующим испытанием для Sora стало создание видео с нуля, без загруженных фото. Я попросил её создать старый русский город 18 века, в котором ездят современные машины. В этот раз результат действительно впечатлил.

Конечно, можно придраться к тому, как отрисованы люди, но визуально видео всё равно выглядит приятно.

Все видео, создаваемые с помощью Sora, содержат логотип OpenAI в правом нижнем углу. Однако его можно обрезать, что делает вопрос достоверности таких видео ещё более острым.

Сейчас Sora — это, по большей части, развлекательный инструмент и способ генерации идей. Например, если нужно быстро сделать какой-то черновик просто для того, чтобы показать идею, то Sora может с этим помочь.

Но в качестве профессионального помощника, чьи наработки можно использовать в готовом проекте, Sora пока что не подходит. Однако она может пригодиться для создания различных коротких роликов для презентаций и постов в соцсетях.

С другой стороны, улучшение возможностей Sora — лишь вопрос времени. В будущем видео станут более реалистичными, а их качество и продолжительность существенно увеличатся.

◦ Назад к содержанию ◬

Ограничения Sora

Видео по запросу «создай видео с группой друзей, которые делают селфи на фоне башен Москва Сити в солнечный день»

Самое важное ограничение Sora связано с продолжительностью создания видео. Скорость обработки видео зависит от его разрешения, соотношения сторон и продолжительности. Например, создание 5-секундного видео в разрешении 480p занимает около 20 секунд. Однако для 10-секундного ролика в формате 1080p может потребоваться несколько минут. И это с учетом того, что Sora сейчас пользуется мало человек.

Очевидно, что процесс требует значительных вычислительных мощностей, которых OpenAI пока не хватает. Это объясняет длительное время ожидания, необходимость использования кредитов, сложные условия доступа и медленную работу сайта.

Видео по запросу «создай видео с марафоном по бегу в Сочи. Спортсмены должны бежать по набережной, а двое из них должны быть показаны крупным планом. Цвета в видео должны напоминать фильмы Гая Ричи».

Другие ограничения Sora связаны с качеством создаваемых видео. Компания предупреждает, что в роликах возможны непостоянство объектов и нереалистичная физика. Это проявляется, например, во внезапном исчезновении объектов из кадра или их движении неестественным образом.

Особенно сложной для Sora остаётся отрисовка людей и животных. Хотя они могут выглядеть реалистично на статичных кадрах, движения часто выглядят искусственно. Люди, например, двигаются так, будто их сняли в замедленной съёмке, с резкими скачками в один момент. При этом объекты на фоне могут двигаться с нормальной скоростью, что делает результат ещё менее убедительным.

Ограничения есть и при работе с загруженными изображениями. Sora откажется анимировать картинку, если обнаружит на ней известного человека, логотип или решит, что человеку на фото меньше 18 лет.

◦ Назад к содержанию ◬

Другие возможности Sora

Сделай черно-белое кинематографичное видео, в котором показывается строительство здания МГУ в Москве.

В Sora есть видеоредактор, в котором пользователи могут покадрово описать то, что они хотят увидеть в своём видео. Эта функция особенно полезна для создания роликов с разными сценами.

При просмотре видео, созданными другими пользователями, можно увидеть запрос, на основе которого работала Sora, а также уточняющие правки, внесённые человеком для получения финального результата.

Видео можно отмечать лайками, такие ролики автоматически добавляются в избранное. Кроме того, пользователи могут создавать папки и вручную добавлять в них нужные видео.

◦ Назад к содержанию ◬

Как протестировать Sora

Интерфейс Sora

Sora не является частью ChatGPT. Она размещена на отдельном сайте sora.com, доступ к которому можно получить из любой страны, где работает ChatGPT, за исключением Великобритании, стран Евросоюза и Швейцарии.

Пользователи могут либо создать новую учётную запись, либо войти с помощью аккаунта ChatGPT. Sora доступна бесплатно для использования, но создание видео требует платной подписки.

Бесплатные возможности

▶︎ Просмотр видео, которые были созданы другими пользователями
▶︎ Возможность сохранять эти видео в папки

Платные возможности

В Sora есть своя валюта под названием credits (кредиты). В зависимости от того, какой тариф подключен, меняется количество кредитов и возможности Sora.

ChatGPT Plus/ChatGPT Team

▶︎ 1000 кредитов на приоритетные видео. Этого хватит, например, на 6 видео в 480p продолжительностью 20 секунд
▶︎ Максимальное разрешение 720p продолжительностью до 5 секунд
▶︎ Возможность скачивания видео

ChatGPT Pro

▶︎ 10.000 кредитов на приоритетные видео. Можно, например, создать 5 видео в Full HD длиной 20 секунд
▶︎ Неограниченное количество видео в «расслабленном режиме»
▶︎ Максимальное разрешение 1080p продолжительностью до 20 секунд
▶︎ Одновременное создание 5 видео
▶︎ Возможность скачивания видео без водяного знака

Кредиты позволяют создавать видео без очереди — в приоритетном режиме. Однако, когда они заканчиваются, подписчики ChatGPT Pro могут продолжать генерировать ролики в порядке живой очереди во время низкой загруженности сайта.

Тарифы на создание видео в Sora

Тарифы на создание видео в Sora через функцию Re-mix

В Sora доступна функция Re-mix, которая позволяет редактировать видео, созданные другими пользователями. Например, если вам понравилось какое-либо видео, но вы хотите добавить в него свои детали, с помощью Re-mix это можно сделать. Однако использование этой функции также требует кредитов.

Подписка ChatGPT Plus стоит $20 в месяц (~2 тыс. рублей), а ChatGPT Pro — $200 в месяц (~22–25 тыс. рублей).

◦ Назад к содержанию ◬

Как создать видео в Sora

Sora доступна только в веб-версии. Она работает очень просто:

1. Откройте Sora

2. Введите свой запрос в поле, которое расположено внизу сайта. Там же можно настроить видео и прикрепить фотографию, если хотите создать на её основе ролик

3. После этого нажмите кнопку ↑, чтобы запустить процесс создания видео

Краткие итоги

OpenAI создала один из лучших нейросетей с технической точки зрения.

Уже сейчас Sora способна создавать реалистичные видео, хотя у неё всё же есть некоторые недостатки.

Каждый пользователь может получить доступ к Sora, но для создания видео требуется платная подписка. А для генерации роликов в самом высоком качестве придётся заплатить около 25 тысяч рублей.
◦ Назад к содержанию ◬

• До ←

  Эта важнейшая функция в iPhone сломана уже два года. Стив Джобс бы уволил всех

• После →

  Эти видео сделала нейросеть Sora. Взрыв мозга, я просто написал задачу текстом и получил вариант