Google запустил Lumiere

Google запустил Lumiere — новую модель искусственного интеллекта

Представляем Lumiere от Google — революционную модель создания видео с помощью искусственного интеллекта, которая расширяет границы возможного. Благодаря своей способности создавать реалистичные и визуально ошеломляющие видеоролики Lumiere может произвести революцию в создании и потреблении контента.

Инновационная технология Lumiere использует архитектуру Space-Time U-Net, которая позволяет генерировать видео с беспрецедентной временной последовательностью. Это означает, что движения объектов и людей в видео, созданных Lumiere, более плавные и естественные, чем когда-либо прежде.

Помимо впечатляющих технических возможностей, Lumiere обладает невероятной универсальностью. С его помощью можно создавать самые разные видеоматериалы — от коротких клипов до полнометражных фильмов. Lumiere можно использовать даже для создания видео из текстовых описаний, что позволяет воплотить в жизнь все ваши фантазии.

Буквально это ChatGPT для:

  1. Изображение в видео
  2. Преобразование текста в видео
  3. Стилизованное поколение
  4. Видео c рисунком
  5. Стилизация видео
  6. Синемаграфы
  7. Редактирование видео

Новая модель искусственного интеллекта Lumiere, созданная Google для создания видео, использует новую модель диффузии под названием Space-Time-U-Net, или STUNet, которая определяет, где находятся объекты в видео (пространство) и как они одновременно движутся и изменяются (время). По сообщению Ars Technica, этот метод позволяет Lumiere создавать видео за один процесс, а не накладывать друг на друга небольшие стоп-кадры.

Lumiere начинает с создания базового кадра из промпта. Затем, используя фреймворк STUNet, он начинает приблизительно определять, куда будут двигаться объекты в этом кадре, чтобы создать больше кадров, которые перетекают друг в друга, создавая видимость плавного движения. Lumiere также генерирует 80 кадров по сравнению с 25 кадрами в Stable Video Diffusion.

В основе Lumiere лежит инновационный нейросетевой подход «пространство-время».

Он создает клипы за один кадр, а не как другие модели, которые полагаются на удаленные ключевые кадры.

1. Изображение в видео

Просто вставьте изображение и поручите искусственному интеллекту его анимировать.

2. Текст к видео

Опишите, что вы хотите увидеть в движении.

 

3. Стилизованная генерация

Lumiere позволяет легко генерировать видео в нужном стиле, используя всего одно опорное изображение.

 

4. Перекрашивание видео

Замените объект в видео на что-то другое.

 

5. Стилизация видео

Lumiere позволяет использовать готовые методы редактирования изображений на основе текста для последовательного редактирования видео.

 

6. Синемаграфы

Модель Lumiere способна анимировать содержимое изображения в пределах определенной области, заданной пользователем.

 

7. Редактирование видео

Вносите изменения и правки в живое видео.

С Lumiere возможности безграничны. Мы можем надеяться на будущее, в котором видео, созданные искусственным интеллектом, будут столь же распространены, как и традиционные. Lumiere — это первый шаг к миру, где грань между реальностью и вымыслом размыта.

Читайте также: Google теперь признает, что собирает данные в режиме инкогнито Chrome (Откроется в новой вкладке браузера)

Прокрутить вверх