BytePlus OmniHuman 2.0 — это ИИ-модель генерации видео на основе аудио, которая превращает изображения и звук в реалистичные ролики с говорящими аватарами. Она поддерживает естественную синхронизацию губ, выразительную мимику, жесты и создание видео длительностью до 5 минут.

Pricing: 14 credits per second ($0.07/s), billed on the output video duration. 720P output, length follows the input audio (4–300 s). High-tier top-ups include +10% bonus credits. Effective pricing is approximately 10% lower than the above rates.
Input

Text prompt (Character Tendency). used for precise control of the scene,movements.camera movements,etc. Supported Languages: Only Chinese, English, Japanese, Korean, Spanish (Mexican), Indonesian.

0/300

Click to upload or drag and drop

Supported formats: MPEG, WAV, X-WAV Maximum file size: 15MB

Audio url. The duration [4,300] s

Click to upload or drag and drop

Supported formats: JPEG, PNG, WEBP, BMP, TIFF, GIF Maximum file size: 30MB; Maximum files: 1

Image URL. Only one image is supported. Aspect Ratio (Width/Height): [0.4,2.5]. Dimension (px): [300,6000]

Whether to enable the watermark. Default: true.

Output
output typevideo

README

Complete guide to using omnihuman-2-0

OmniHuman 2.0 API для видео с говорящими ИИ-аватарами

Original image
FeatureOmniHuman 1.5 APIOmniHuman 2.0 API
InputИзображение + аудио + необязательный промптИзображение + аудио + необязательный промпт
Анимация на основе аудиоSupportedSupported
Синхронизация губSupportedSupported
МимикаSupportedSupported
Жесты телаSupportedSupported
Анимация нескольких людейSupportedSupported
Управление текстовыми промптамиSupportedSupported
Максимальная длительность видеоМенее 60 секундДо 300 секунд*
Выходное разрешение720p / 1080p720p*
Лучше всего подходит дляКоротких видео с аватарами в высоком разрешенииБолее длинных видео с говорящими аватарами
Price27 credits/s ($0.135)14 credits/s ($0.07)
Характеристики OmniHuman 2.0 могут различаться в зависимости от провайдера API и эндпоинта.

OmniHuman 2.0 API — это API для генерации видео с ИИ на основе аудио, разработанный на базе модели OmniHuman 2.0 от ByteDance. Он превращает изображения персонажей и аудиозаписи в видео с говорящими аватарами, синхронизируя движение губ, мимику и жесты. Разработчики могут интегрировать OmniHuman 2.0 API через Kie AI для создания приложений с ИИ-аватарами и генерацией видео.

Создайте ключ на странице API-ключей Kie AI (kie.ai/api-key) и передайте его в заголовке Authorization: Bearer YOUR_API_KEY. Затем отправьте запрос POST https://api.kie.ai/api/v1/jobs/createTask, указав модель omnihuman-2-0 и объект input с полями image_urls (массив из одного элемента), audio_url и необязательным параметром prompt. Запрос вернет taskId: передайте callBackUrl, чтобы получить уведомление об успешном завершении или ошибке, либо опрашивайте GET /api/v1/jobs/recordInfo?taskId=…; при успешной генерации ссылка на MP4 будет находиться в resultJson.resultUrls. Все параметры описаны в документации OmniHuman 2.0 API.

ByteDance OmniHuman 2.0 использует референсное изображение и аудиофайл для генерации анимированных видео с персонажами. Модель анализирует речь, ритм и звуковые акценты, создавая соответствующие движения губ, мимику и жесты. Разработчики также могут использовать необязательные текстовые промпты, чтобы направлять действия и манеру исполнения персонажа.

OmniHuman 2.0 API принимает одно изображение на запрос в формате JPEG, PNG, WebP, BMP, TIFF, GIF, HEIC или HEIF размером менее 30 МБ, со сторонами от 300 до 6 000 пикселей и отношением ширины к высоте от 0,4 до 2,5. Аудио должно быть в формате MP3 или WAV, размером менее 15 МБ и длительностью от 4 до 300 секунд. Полные требования к входным данным приведены в документации API Kie AI.

OmniHuman 2.0 API поддерживает видео длительностью от 4 до 300 секунд (5 минут), при этом длина сгенерированного ролика соответствует длительности входного аудио. Модель выдает видео в разрешении 720p, что подходит для длинных роликов с говорящими аватарами, презентаций и вокальных номеров. Ограничения для конкретных эндпоинтов указаны в документации API Kie AI.

OmniHuman 2.0 стоит 14 кредитов (0,07 $) за секунду готового видео в 720p, а длительность ролика определяется вашим аудио. 30-секундный клип обходится в 420 кредитов (2,10 $), а полное 5-минутное (300 секунд) видео — в 4 200 кредитов (21 $). OmniHuman 1.5 тарифицируется по 27 кредитов (0,135 $) за секунду. Цены могут обновляться; актуальный тариф всегда указан в карточке цен вверху этой страницы.

Да, OmniHuman 2 API поддерживает анимацию нескольких людей, позволяя разработчикам создавать видео с несколькими персонажами в одной сцене. Это удобно для виртуальных интервью, ИИ-подкастов и групповых выступлений. Результат может зависеть от исходного изображения, аудиозаписи и сложности сцены.

OmniHuman 2.0 API поддерживает более длинные видео — до 300 секунд в разрешении 720p, что делает его идеальным для продолжительных роликов с говорящими аватарами и выступлений персонажей. OmniHuman 1.5 API ориентирован на более короткие видео до 60 секунд с поддержкой разрешения 1080p. Обе модели обеспечивают анимацию на основе аудио, синхронизацию губ, мимику и жесты. Kie AI предоставляет доступ как к OmniHuman 1.5 API, так и к OmniHuman 2.0 API, позволяя разработчикам выбрать подходящую модель для своих проектов.

Да. OmniHuman AI API поддерживает необязательный текстовый промпт длиной до 300 символов на китайском, английском, японском, корейском, испанском (мексиканском) или индонезийском языке, который помогает задать действия персонажа, жесты, движение камеры и стиль исполнения. Разработчики могут комбинировать промпты с изображениями и аудио, чтобы влиять на итоговую анимацию. Финальные движения также зависят от аудиодорожки и интерпретации модели.

Да, по умолчанию. Параметр enable_watermark по умолчанию имеет значение true; укажите false во входных данных запроса, чтобы получить видео без водяного знака.

Kie AI предоставляет новым пользователям бесплатные кредиты для начала работы с OmniHuman 2.0 API. Хватит ли этих кредитов для генерации видео, зависит от входных параметров и расчетной стоимости в кредитах. Вы можете проверить необходимое количество кредитов перед отправкой запроса на генерацию.