Payer deux fois moins cher à condition d’attendre jusqu’à 24 heures ? C’est désormais une possibilité pour qui utilise l’API OpenAI.
Une option de traitement par lots vient effectivement de faire son entrée. Un point de terminaison lui est dédié (/batches). Elle permet d’exécuter des requêtes contenues dans un fichier JSONL qu’on aura uploadé au préalable via l’endpoint /files.
Le traitement par lots ne fonctionne pour le moment que sur l’endpoint de saisie semi-automatique (/chat/completions). Il permet de choisir entre une quinzaine de modèles des familles GPT-3.5, 3.5 Turbo, 4 et 4 Turbo. Toute requête traitée est facturée, même si on annule le batch ou qu’il expire.
Il n’y a pas de limites sur le nombre de requêtes par lot. Il y en a en revanche sur le nombre de tokens en file d’attente. Elles varient selon le modèle et selon le niveau d’usage (défini par le volume de dépenses sur l’API). La limite se réinitialise lorsqu’une requête est achevée.
GPT-3.5 Turbo | GPT-4 | GPT-4 Turbo | |
Niveau gratuit | 200 k | ||
Niveau 1 | 200 k | 100 k | 900 k |
Niveau 2 | 400 k | 200 k | 1,35 M |
Niveau 3 | 10 M | 5 M | 40 M |
Niveau 4 | 100 M | 30 M | 80 M |
Niveau 5 | 300 M | 45 M | 250 M |
Le ZDR (zero data retention) ne s’applique pas à l’endpoint /batch (ni d’ailleurs à /files).
Cette politique assure que requêtes et réponses ne sont jamais stockées (elles n’existent qu’en mémoire). OpenAI l’applique par défaut aux endpoints /audio/transcriptions, /audio/translations et /moderations. Les « clients de confiance avec des applications sensibles » peuvent l’activer sur /chat/completions, /embeddings et /completions. S’ils ne le font pas, OpenAI peut conserver les données jusqu’à 30 jours « à des fins de détection des usages abusifs ».
Ni /batches ni /files ne peuvent bénéficier du ZDR (comme, d’ailleurs, /fine_tuning/jobs). C’est à l’utilisateur de supprimer les données.
Illustration © Murrstock – Adobe Stock
L’Autorité de la concurrence et des marchés (CMA) britannique ouvre une enquête sur les conditions…
Thomas Gourand est nommé Directeur Général pour la France. Il est chargé du développement de…
Pour dissuader le CISPE d'un accord avec Microsoft, Google aurait mis près de 500 M€…
Pour réduire la taille des mises à jour de Windows, Microsoft va mettre en place…
De l'organisation administrative à la construction budgétaire, la Cour des comptes pointe le fonctionnement complexe…
Sous la bannière SpreadSheetLLM, Microsoft propose un framework destiné à optimiser le traitement des feuilles…