nvidia / nemotron-3-5-transcribe

NVIDIAが音声認識向けに開発したNemotron 3.5 Transcribeは、Kie.ai上で1回のAPIリクエストにより、文字起こしテキスト、単語単位のtimestamps、話者ラベル、および英語と31言語間の音声翻訳を返すことができます。

Pricing: Nemotron 3.5 Transcribe is priced at 0.005 credits per second of audio (0.3 credits per minute, $0.0015/min) — word timestamps, speaker labels and translation included at no extra cost.
Input

Click to upload or drag and drop

Supported formats: MP4, QUICKTIME, WEBM Maximum file size: 200MB; Supported formats: MPEG, WAV, X-WAV, AAC, MP4, OGG, FLAC, OPUS Maximum file size: 200MB

Audio to transcribe: a publicly downloadable URL. Common formats work (MP3, WAV, M4A/AAC, FLAC, OGG/Opus, WEBM), and so do videos with an audio track (MP4, MOV); only the sound is used. Up to 60 minutes and 200 MB per file. The language is detected automatically.

Also return word-level start and end times and speaker labels in the result file. Transcription only: not available together with target_language. The example output was produced with timestamps on and lists only the first 40 words; the API result file contains every word.

Leave empty (default) to transcribe in the spoken language. Pick a language to translate the speech into it instead. Translation is guaranteed between English and the other listed languages: non-English speech into English (en), or English speech into another language.

Output
output typetext
Loading JSON viewer...

README

Complete guide to using nvidia/nemotron-3-5-transcribe

Nemotron 3.5 Transcribe API:多言語の音声テキスト変換

NVIDIAのNemotron 3.5 Transcribeモデルで40言語の音声を文字起こし。Kie.aiでは、1回のリクエストで文字起こしテキスト、単語単位のtimestamps、最大8人の話者セグメント、および英語と31言語間の音声翻訳を取得でき、音声の秒単位で課金されます。
Nemotron 3.5 Transcribe API:多言語の音声テキスト変換

Nemotron 3.5 Transcribe APIでできること

40言語での文字起こし
01

40言語での文字起こし

NVIDIAは文字起こし対応の40言語を、Leading(13言語)、Production-ready(15言語)、Supported(12言語)の3つのティアに分類しています。モデルは話されている言語を自動で検出できます。
単語単位のtimestampsと話者ラベルを一度に取得
02

単語単位のtimestampsと話者ラベルを一度に取得

すべての単語の開始・終了時刻と、最大8人までの話者セグメントを同じ結果内で取得できます。NVIDIAは13言語での話者ダイアライゼーションに対応しています。
英語と他言語間の音声翻訳
03

英語と他言語間の音声翻訳

文字起こしに加え、英語と31言語間の音声翻訳にも対応しているため、1回の呼び出しで対応言語の録音を英語テキストに、または英語の音声を対応言語のテキストに変換できます。
長尺音声向けに設計
04

長尺音声向けに設計

NVIDIAは最大1時間の音声ファイルでモデルを学習させており、決算説明会などの長尺テストセットでの結果を報告しています。

Nemotron 3.5 Transcribeの精度(NVIDIA報告値)

NVIDIAは公開テストセットにおける以下の単語誤り率(WER、低いほど高精度)を報告しています。これらの数値はNVIDIAの公表結果に基づくものであり、Kie.ai上で計測されたものではありません。
テストセット対象内容Nemotron 3.5 TranscribeWhisper-large-v3
Open ASR(英語9セット平均)一般的な英語音声4.71%6.66%
Earnings21/22およびCORAAL(平均)長尺音声10.98%13.92%
AMI会議の録音7.81%13.63%
7言語平均多言語音声4.62%7.94%
Nemotron 3.5 Transcribeの精度(NVIDIA報告値)

Kie.aiでのNemotron 3.5 Transcribe APIの使い方

  1. 1

    ステップ1:APIキーを取得

    Kie.aiでアカウントを作成し、APIキー管理ページを開いてAPIキーを生成します。すべてのリクエストでAuthorization: Bearer YOUR_API_KEYヘッダーに指定して渡してください。
  2. 2

    ステップ2:文字起こしタスクを作成

    Nemotron 3.5 Transcribeモデルと音声ファイルのURL(audio_url)を指定して、/api/v1/jobs/createTaskにPOSTリクエストを送信します。単語単位のタイミングを取得する場合はtimestampsを設定し、音声を翻訳したい場合はtarget_languageを設定します。話者ラベルは結果に含まれます。
  3. 3

    ステップ3:結果を取得

    文字起こしは非同期タスクとして実行されます。ジョブが完了したら結果を取得し、文字起こしテキスト、話者セグメント、およびリクエストした場合は単語単位のtimestampsを受け取ります。

本番導入前のヒント

  1. 01

    無音音声を事前にチェック

    NVIDIAによると、無音や非音声の入力によって、実際には話されていないテキストが生成される場合があります。音声を送信する前に、無音の録音は除外し、長い無音区間はトリミングしてください。
  2. 02

    精度が低下しやすいケースを把握

    NVIDIAによると、コードのような用語、オランダ語の音声、および中国語と英語の混在など言語が切り替わる発話は、Whisper-large-v3よりも文字起こしの精度が低くなります。
  3. 03

    ファイル全体の処理を前提とした設計

    このモデルは部分的な結果のストリーミングや信頼度スコアの返却を行わず、ファイル全体をまとめて文字起こしするため、完了した文字起こしテキストを前提にワークフローを設計してください。

Kie.aiでNemotron 3.5 Transcribe APIを使用する理由

01

Kie.aiマーケット全体で共通のキー

Kie.aiマーケット内のすべてのモデルは同じ認証方式を使用します。Kie.aiのAPIキー管理ページで取得したキーを、Authorization: Bearer YOUR_API_KEYヘッダーに指定してください。
02

開始用の無料クレジット

Kie.aiの新規ユーザーには、テスト用に80の無料クレジットが付与されます。アカウントにはすべての生成サービスで共有される単一のクレジット残高があり、残りクレジット取得APIで確認できます。
03

ホスティングやインストールは不要

Kie.aiはこのモデルをプレイグラウンド付きのAPIとして提供しているため、ダウンロードやインストールが必要なアプリはありません。管理すべきGPUやモデルの重みもありません。

Nemotron 3.5 Transcribe APIの主な用途

一度のリクエストでテキスト、timestamps、話者ラベルを返せるため、このモデルは単純な文字起こしテキスト以上の情報を必要とするワークロードに適しています。

会議やインタビューの記録

長時間の会議やインタビューを、話者ごとの発言が分離され時間情報が付与された構造化された文字起こしテキストに変換します。

字幕とキャプション

単語レベルの開始および終了timestampsを使用して、キャプションを動画に合わせます。

多言語コンテンツ

40言語の元音声を文字起こししたり、同じリクエスト内で英語と31言語間の音声翻訳を行ったりできます。

決算説明会や長時間の録音

決算説明会やその他の長時間の録音を検索可能なテキストに変換します。

よくある質問

Nemotron 3.5 Transcribe APIの料金はいくらですか?

音声の秒単位で課金され、単語のtimestamps、話者ラベル、翻訳は追加費用なしで利用できます。現在のレートについては上部の料金カードをご覧ください。

Nemotron 3.5 Transcribeはどの言語をサポートしていますか?

このモデルは、NVIDIAの3つのティアにわたる40の文字起こし言語に加え、13言語での話者分離、英語と31言語間の音声翻訳、および自動言語検出をサポートしています。

Nemotron 3.5 Transcribe APIはtimestampsと話者ラベルを返しますか?

はい。一度のリクエストで、文字起こしテキストとともに単語レベルの開始・終了時刻および最大8人の話者セグメントを返すことができます。NVIDIAは13言語での話者分離をサポートしています。

Nemotron 3.5 Transcribeの精度はどのくらいですか?

9つの公開英語テストセットにおいて、NVIDIAはWhisper-large-v3の6.66%に対し、平均単語誤り率4.71%と報告しています。その他のベンチマークについては、上部の精度表をご参照ください。

どの音声フォーマットと長さを送信できますか?

WAV、FLAC、MP3、OGG、M4Aなどの一般的なフォーマットの音声URLを渡してください。音声は16 kHzモノラルとして処理され、NVIDIAは最大1時間のファイルでこのモデルをトレーニングしました。

Nemotron 3.5 Transcribeはリアルタイムストリーミングをサポートしていますか?

いいえ。このモデルは部分的な結果をストリーミングするのではなく、音声ファイル全体をオフラインで文字起こしします。

Nemotron 3.5 Transcribe APIは無料ですか?

いいえ。すべてのリクエストで上部の料金カードに示されたレートのクレジットが消費されますが、Kie.aiの新規ユーザーにはテスト用に80の無料クレジットが付与されます。

Nemotron 3.5 Transcribe APIキーはどうやって取得しますか?

Kie.aiにサインアップし、APIキー管理ページでキーを生成してください。同じキーをKie.aiマーケット内のすべてのモデルで使用できます。