Passer au contenu
Atacloud est en accès anticipé. Nous accueillons des partenaires de conception par vagues. S'inscrire à la liste d'attente
  1. Accueil
  2. Produits
  3. Passerelle d'IA

IA

Accès anticipé

Passerelle d'IA

Maîtrisez les coûts, l'utilisation et la relève de chaque appel d'IA de vos applications.

La passerelle d'IA se place entre vos applications et vos modèles d'IA au Canada. Elle plafonne les dépenses en dollars canadiens, répartit équitablement la capacité et vous permet de changer de modèle sans modifier le code.

Rejoindre l'accès anticipé

Ouvert aux clients en accès anticipé dans les vagues suivantes. Pas encore offert au grand public.

Fonctionnalités

Changez de modèle sans toucher au code

Les applications appellent un nom simple : vous pouvez donc essayer un nouveau modèle sur une partie du trafic ou changer de modèle en tout temps.

Relève automatique au Canada

Si un modèle est occupé ou en panne, les requêtes sont relancées, puis passent à un modèle de relève au Canada.

Budgets en dollars canadiens

Fixez un plafond de dépenses mensuel; une fois qu'il est atteint, passez à un modèle plus petit ou arrêtez les requêtes.

Limites d'utilisation par application

Chaque application a sa propre limite d'utilisation; un service ne peut donc pas épuiser la capacité de tous.

Choisissez ce qui est journalisé

Journalisez seulement les renseignements de base, masquez les renseignements personnels courants ou conservez tout, dans la province de votre choix.

Une seule connexion par modèle

Connectez chaque modèle à la passerelle une seule fois; les applications passent par la passerelle, et chaque requête peut être associée à son application.

Fonctionnement

  1. 1

    Créez une route avec un nom, des modèles, une région et un budget.

  2. 2

    Reliez chaque application et attribuez-lui une limite d'utilisation.

  3. 3

    Dirigez votre application vers la route et laissez la passerelle gérer les nouvelles tentatives.

ata ai-route create support-bot --alias assistant --network shop --region ca-east --residency QC \
  --target llama-assistant=90 --target llama-assistant-ft=10 --fallback mistral-assistant \
  --budget 500 --currency CAD --period month --on-exhausted downgrade --downgrade-to llama-small \
  --log-mode redacted --log-retention 30d --request-timeout 150s   # retry stays at the route default
ata ai-route bind support-bot --app support-api --tokens-per-minute 20000   # quota keyed on the app's workload identity
Aperçu de l'interface. Sous réserve de modifications.

Souveraineté

Les requêtes ne passent qu'entre des modèles situés au Canada, et les journaux restent dans la province de votre choix.

Questions fréquentes