新しい埋め込みモデルとAPIの更新

コンテンツ

新しい埋め込みモデルの新世代、新しいGPT-4 Turboおよびモデレーションモデル、新しいAPI使用管理ツール、そして間もなくGPT-3.5 Turboの価格引き下げを開始します。

クイックリンク

New Embeddings Models And API Updates

新しいモデルをリリースし、GPT-3.5 Turboの価格を引き下げ、開発者がAPIキーを管理しAPIの利用状況を把握するための新しい方法を導入します。新しいモデルには以下が含まれます:

  • 2つの新しい埋め込みモデル
  • 更新されたGPT-4 Turboプレビューモデル
  • 更新されたGPT-3.5 Turboモデル
  • 更新されたテキストモデレーションモデル

OpenAI APIに送信されたデータは、デフォルトではOpenAIモデルのトレーニングや改善に使用されません。

低価格の新しい埋め込みモデル

私たちは2つの新しい埋め込みモデルを導入しています: より小さく高効率な text-embedding-3-small モデルと、より大きくより強力な text-embedding-3-large モデルです。

An embedding is a sequence of numbers that represents the concepts within content such as natural language or code. Embeddings make it easy for machine learning models and other algorithms to understand the relationships between content and to perform tasks like clustering or retrieval. They power applications like knowledge retrieval in both ChatGPT and the Assistants API, and many retrieval augmented generation (RAG) developer tools.

新しい小さなテキスト埋め込みモデル

text-embedding-3-smallは、新しい非常に効率的な埋め込みモデルであり、その前身であるtext-embedding-ada-002モデルよりも大幅にアップグレードされています。このモデルは、2022年12月にリリースされたDecember 2022モデルです。

パフォーマンスの向上。 text-embedding-ada-002text-embedding-3-smallを比較すると、多言語検索の一般的なベンチマーク(MIRACL)での平均スコアが31.4%から44.0%に向上し、英語タスクの一般的なベンチマーク(MTEB)での平均スコアが61.0%から62.3%に向上しました。

価格が削減されました。 text-embedding-3-small は、前世代の text-embedding-ada-002 モデルよりも大幅に効率的です。そのため、text-embedding-3-small の価格は、1kトークンあたりの価格が$0.0001から$0.00002に比べて5倍に削減されています。

text-embedding-ada-002を廃止する予定はありませんので、新しいモデルをお勧めしますが、お客様は以前の世代のモデルを引き続きご利用いただけます。

新しい大規模なテキスト埋め込みモデル:text-embedding-3-large

text-embedding-3-largeは、新しい次世代の大規模な埋め込みモデルであり、最大3072次元の埋め込みを作成します。

より高いパフォーマンス。 text-embedding-3-large は私たちの新しい最高のパフォーマンスモデルです。 text-embedding-ada-002text-embedding-3-large を比較すると、MIRACLでは平均スコアが31.4%から54.9%に向上し、MTEBでは平均スコアが61.0%から64.6%に向上しました。

text-embedding-3-largeは1,000トークンあたり$0.00013で価格設定されます。

新しい埋め込みモデルの使用方法については、埋め込みガイドをご覧いただけます。

埋め込みの短縮をネイティブでサポート

より大きな埋め込みを使用する場合、たとえば検索用のベクトルストアに格納する場合、一般的にはより多くのコンピューティング、メモリ、およびストレージを消費し、より高いコストがかかります。

私たちの新しい埋め込みモデルの両方は、開発者が埋め込みを使用する際のパフォーマンスとコストをトレードオフすることを可能にする技術で訓練されました。具体的には、開発者はdimensions APIパラメータを渡すことで、埋め込みを短縮することができます(つまり、シーケンスの末尾からいくつかの数字を削除します)。たとえば、MTEBベンチマークでは、text-embedding-3-large埋め込みをサイズ256に短縮することができ、それでもサイズ1536の短縮されていないtext-embedding-ada-002埋め込みを上回る性能を発揮します。

| ada v2 | text-embedding-3-small | text-embedding-3-large | | | | | | ------------------ | ---------------------- | ---------------------- | ---- | ---- | ---- | ---- | | Embedding size | 1536 | 512 | 1536 | 256 | 1024 | 3072 | | Average MTEB score | 61.0 | 61.6 | 62.3 | 62.0 | 64.1 | 64.6 |

これにより非常に柔軟な使用が可能になります。たとえば、1024次元までの埋め込みのみをサポートするベクトルデータストアを使用する場合、開発者は今後、最高の埋め込みモデルである text-embedding-3-large を使用し、dimensions APIパラメータの値として1024を指定することができます。これにより、埋め込みの次元数を3072から短縮することができ、より小さなベクトルサイズと引き換えに一部の精度を犠牲にすることができます。

その他の新しいモデルと価格の引き下げ

GPT-3.5 Turboモデルの更新と価格の引き下げ

来週、新しいGPT-3.5 Turboモデル、gpt-3.5-turbo-0125を導入します。過去1年間で3回目となるGPT-3.5 Turboの価格引き下げを行い、お客様のスケール拡大を支援します。新モデルの入力価格は50%引き下げられ、1Kトークンあたり$0.0005に、出力価格は25%引き下げられ、1Kトークンあたり$0.0015になります。このモデルには、要求された形式でのより高い精度での応答と、非英語の言語機能呼び出しにおけるテキストエンコーディングの問題を修正するなど、さまざまな改善が加えられます。a bugの修正も含まれます。

gpt-3.5-turboモデルのエイリアスを使用している顧客は、このモデルのローンチ後2週間でgpt-3.5-turbo-0613からgpt-3.5-turbo-0125に自動的にアップグレードされます。

GPT-4 Turbo プレビューが更新されました

GPT-4 APIの顧客からのリクエストの70%以上が、GPT-4 Turboへの移行を果たしました。開発者たちは、更新された知識のカットオフ、より大きな128kコンテキストウィンドウ、そして低価格を活用しています。

今日、私たちは更新されたGPT-4 Turboプレビューモデル、gpt-4-0125-previewをリリースしています。このモデルは、以前のプレビューモデルよりもコード生成などのタスクをより徹底的に完了し、モデルがタスクを完了しない「怠惰」のケースを減らすことを意図しています。新しいモデルには、非英語のUTF-8生成に影響を与えるバグの修正も含まれています。

新しいGPT-4 Turboプレビューバージョンに自動的にアップグレードしたい方々のために、私たちは新しいgpt-4-turbo-previewモデル名のエイリアスを導入します。これにより、常に最新のGPT-4 Turboプレビューモデルを指すことができます。

私たちは、数ヶ月以内に一般提供を予定しているGPT-4 Turbo with visionをローンチする予定です。

更新されたモデレーションモデル

無料のモデレーションAPIを使用すると、開発者は潜在的に有害なテキストを特定できます。継続的な安全対策の一環として、私たちはこれまでで最も堅牢なモデレーションモデルである 'text-moderation-007' をリリースしています。 'text-moderation-latest' と 'text-moderation-stable' のエイリアスはそれを指すように更新されました。safety best practices guideで安全なAIシステムの構築について詳しく学ぶことができます。

API利用の理解とAPIキーの管理の新しい方法

開発者が利用状況をより見やすく把握し、APIキーをより制御できるように、2つのプラットフォームの改善を導入します。

開発者は今、APIキーのページからAPIキーに権限を割り当てることができます。たとえば、特定のエンドポイントにのみアクセスできるように制限したり、内部のトラッキングダッシュボードをサポートするために読み取り専用アクセスを割り当てることができます。

Second, the usage dashboard and usage export function now expose metrics on an API key level after turning on tracking. This makes it simple to view usage on a per feature, team, product, or project level, simply by having separate API keys for each.

Image2

今後数ヶ月で、特に大規模な組織において、開発者がAPI利用状況を表示し、APIキーを管理する能力をさらに向上させる予定です。

OpenAIのAPIに関する最新情報は、@OpenAIDevsでフォローしてください。

著者

謝辞

Juntang Zhuang, Paul Baltescu, Joy Jiao, Arvind Neelakantan, Andrew Braunstein, Jeff Harris, Logan Kilpatrick, Leher Pathak, Enoch Cheung, Ted Sanders, Yutian Liu, Anushree Agrawal, Andrew Peng, Ian Kivlichan, Mehmet Yatbaz, Madelaine Boyd, Anna-Luisa Brakman, Florencia Leoni Aleman, Henry Head, Molly Lin, Meghan Shah, Chelsea Carlson, Sam Toizer, Ryan Greene, Alison Harmon, Denny Jin, Karolis Kosas, Marie Inuzuka, Peter Bakkum, Barret Zoph, Luke Metz, Jiayi Weng, Randall Lin, Yash Patil, Mianna Chen, Andrew Kondrich, Brydon Eastman, Liam Fedus, John Schulman, Vlad Fomenko, Andrej Karpathy, Aidan Clark, Owen Campbell-Moore

要約する
OpenAIは新しい埋め込みモデル、GPT-4 Turbo、モデレーションモデル、API使用管理ツールを発表し、GPT-3.5 Turboの価格を引き下げる予定。新しい埋め込みモデルには、効率的な'text-embedding-3-small'と強力な'text-embedding-3-large'が含まれる。また、GPT-3.5 Turboの価格を50%引き下げる新モデル'gpt-3.5-turbo-0125'を導入し、API使用とキー管理の新しい方法も提供する。