Представляем Lumiere от Google — революционную модель создания видео с помощью искусственного интеллекта, которая расширяет границы возможного. Благодаря своей способности создавать реалистичные и визуально ошеломляющие видеоролики Lumiere может произвести революцию в создании и потреблении контента.
Инновационная технология Lumiere использует архитектуру Space-Time U-Net, которая позволяет генерировать видео с беспрецедентной временной последовательностью. Это означает, что движения объектов и людей в видео, созданных Lumiere, более плавные и естественные, чем когда-либо прежде.
Помимо впечатляющих технических возможностей, Lumiere обладает невероятной универсальностью. С его помощью можно создавать самые разные видеоматериалы — от коротких клипов до полнометражных фильмов. Lumiere можно использовать даже для создания видео из текстовых описаний, что позволяет воплотить в жизнь все ваши фантазии.
Буквально это ChatGPT для:
- Изображение в видео
- Преобразование текста в видео
- Стилизованное поколение
- Видео c рисунком
- Стилизация видео
- Синемаграфы
- Редактирование видео
Новая модель искусственного интеллекта Lumiere, созданная Google для создания видео, использует новую модель диффузии под названием Space-Time-U-Net, или STUNet, которая определяет, где находятся объекты в видео (пространство) и как они одновременно движутся и изменяются (время). По сообщению Ars Technica, этот метод позволяет Lumiere создавать видео за один процесс, а не накладывать друг на друга небольшие стоп-кадры.
Lumiere начинает с создания базового кадра из промпта. Затем, используя фреймворк STUNet, он начинает приблизительно определять, куда будут двигаться объекты в этом кадре, чтобы создать больше кадров, которые перетекают друг в друга, создавая видимость плавного движения. Lumiere также генерирует 80 кадров по сравнению с 25 кадрами в Stable Video Diffusion.
В основе Lumiere лежит инновационный нейросетевой подход «пространство-время».
Он создает клипы за один кадр, а не как другие модели, которые полагаются на удаленные ключевые кадры.
1. Изображение в видео
Просто вставьте изображение и поручите искусственному интеллекту его анимировать.
1. Image to Video
Simply insert an image and instruct the AI on to animate it. pic.twitter.com/b0fucr8KTQ
— Madni Aghadi (@hey_madni) January 27, 2024
2. Текст к видео
Опишите, что вы хотите увидеть в движении.
2. Text to video
Describe what you want to see in motion. pic.twitter.com/Ywt64Pzwja
— Madni Aghadi (@hey_madni) January 27, 2024
3. Стилизованная генерация
Lumiere позволяет легко генерировать видео в нужном стиле, используя всего одно опорное изображение.
3. Stylized Generation
Lumiere empowers you to effortlessly generate videos in the desired style with just a single reference image. pic.twitter.com/Cz3PB9NZNW
— Madni Aghadi (@hey_madni) January 27, 2024
4. Перекрашивание видео
Замените объект в видео на что-то другое.
4. Video Inpainting
Replace a subject in a video with something else. pic.twitter.com/71U29srGVN
— Madni Aghadi (@hey_madni) January 27, 2024
5. Стилизация видео
Lumiere позволяет использовать готовые методы редактирования изображений на основе текста для последовательного редактирования видео.
5. Video Stylization
Lumiere allows you to use off-the-shelf text-based image editing methods for consistent video editing. pic.twitter.com/Hz5d72KeuS
— Madni Aghadi (@hey_madni) January 27, 2024
6. Синемаграфы
Модель Lumiere способна анимировать содержимое изображения в пределах определенной области, заданной пользователем.
6. Cinemagraphs
The Lumiere model is capable of animating the content of an image within a specific region provided by the user. pic.twitter.com/UNoASl4xiP
— Madni Aghadi (@hey_madni) January 27, 2024
7. Редактирование видео
Вносите изменения и правки в живое видео.
7. Video Editing
Make changes and edits to a live video. pic.twitter.com/mCDy1oxCIO
— Madni Aghadi (@hey_madni) January 27, 2024
С Lumiere возможности безграничны. Мы можем надеяться на будущее, в котором видео, созданные искусственным интеллектом, будут столь же распространены, как и традиционные. Lumiere — это первый шаг к миру, где грань между реальностью и вымыслом размыта.
Читайте также: Google теперь признает, что собирает данные в режиме инкогнито Chrome (Откроется в новой вкладке браузера)