Outil d'IA

AIStupidLevel Review

AIStupidLevel est une plateforme d'évaluation comparative indépendante et en temps réel qui note les grands modèles linguistiques sur le codage, le raisonnement, l'appel d'outils et la vitesse, et détecte la dérive de performance au fil du temps.

shipped 30 août 2026freemium

Domain rating25Monthly visits1.4K/mo

Pourquoi c'est important

1Évalue 21 modèles de production actifs avec plus de 500 000 exécutions d'évaluation annuelles et 2,5 millions d'exécutions de tests en janvier 2026.

2Comprend un 'Smart AI Router' avec 6 stratégies de routage, y compris 'auto-coding' et 'auto-cheapest'.

3Offre des évaluations comparatives en temps réel toutes les 4 heures sur 147 défis de codage uniques et une détection horaire de la dérive par 'canary'.

4A atteint 100 000 utilisateurs actifs au 8 septembre 2025, sans promotion payante.

À propos de AIStupidLevel

Modèle économique

Freemium SaaS

Tarification à l’usage

$17.00 per 1M tokens

Plateformes

Web

Public cible

AI researchers and developers

Formules tarifaires

AI Router Pro

$4.99/mo

• Benchmark-powered routing
• All models
• Save 50-70%

Exemples de coûts

• Expensive at $17.00/1M tokens for Claude Opus 4.6
• Expensive at $10.20/1M tokens for Claude Sonnet 4.6

GitHubOpen Source

Spécifications

API disponible

Oui, API publique

overview

Qu'est-ce que AIStupidLevel ?

AIStupidLevel est un outil d'évaluation comparative de l'IA en temps réel développé par StudioPlatforms qui permet aux développeurs, aux équipes produit IA et aux chercheurs de mesurer et de comparer l'intelligence, l'efficacité et la cohérence des principaux modèles d'IA. Il se concentre sur la détection du 'AI stupid level', qui fait référence aux cas où la sortie de l'IA est fragile, négligente, trop confiante ou inattendument incorrecte de manière perceptible par les utilisateurs. La plateforme évalue les modèles d'IA selon neuf dimensions : Correctness, Complexity, Code Quality, Efficiency, Stability, Refusal Handling, Recovery, Format et Safety. Elle utilise une architecture de test multicouche, comprenant des évaluations en temps réel, la détection de dérive par 'canary', des tests de raisonnement approfondis et des évaluations d'appel d'outils.

features

Fonctionnalités clés de AIStupidLevel

AIStupidLevel offre une suite complète de fonctionnalités conçues pour une évaluation et une gestion rigoureuses des modèles d'IA. Sa fonctionnalité principale repose sur l'évaluation comparative continue et en temps réel et la détection de dérive, garantissant que les performances des modèles d'IA sont constamment surveillées et comprises.

Évalue les grands modèles linguistiques sur le codage, le raisonnement, l'appel d'outils et la vitesse.
Détecte la dérive et la dégradation des performances au fil du temps grâce à la détection horaire de la dérive par 'canary'.
Offre une évaluation comparative continue avec 147 défis de codage uniques exécutés toutes les 4 heures.
Fournit un 'Smart AI Router' avec 6 stratégies de routage (par exemple, auto, auto-coding, auto-cheapest) pour une sélection optimale du modèle.
Comprend des tests de raisonnement approfondis et des évaluations d'appel d'outils pour les problèmes complexes en plusieurs étapes et les capacités d'agent.
Comprend un 'Intelligence Center' affichant les classements des modèles en direct, les étiquettes de stabilité, la direction des tendances et le coût par million de jetons.
Surveille 21 modèles de production actifs avec plus de 500 000 exécutions d'évaluation annuelles et 2,5 millions d'exécutions de tests (en janvier 2026).
Offre une visibilité des invites au sein du Smart Router pour le suivi de l'utilisation, des dépenses et des types d'invites.

use cases

Qui devrait utiliser AIStupidLevel ?

AIStupidLevel est conçu pour diverses parties prenantes impliquées dans le développement, le déploiement et la gestion des modèles d'IA, fournissant des outils spécifiques pour l'optimisation des performances, la fiabilité et le contrôle des coûts.

Développeurs individuels : Pour l'optimisation des coûts en utilisant automatiquement des modèles efficaces, la maximisation des performances avec la sélection de modèles spécifiques aux tâches, et l'amélioration de la fiabilité grâce au basculement automatique.
Équipes de développement : Pour la gestion centralisée des modèles, l'analyse de l'utilisation, le suivi des coûts, les préférences de routage à l'échelle de l'équipe et l'intégration avec les outils de développement existants.
Équipes produit IA : Pour surveiller la fiabilité des invites, la qualité des refus et la dérive des modèles afin de prévenir les impacts négatifs sur l'expérience client.
Chercheurs et universitaires : Pour une méthodologie transparente avec un code open-source et une évaluation statistiquement rigoureuse des modèles d'IA.
Équipes d'opérations : Pour comprendre quand la sortie de l'IA est suffisamment fiable pour une utilisation en production et pour détecter la dégradation des performances.

how to use

Comment utiliser AIStupidLevel

AIStupidLevel fournit un espace de travail d'évaluation comparative et une API pour les utilisateurs afin de tester et de surveiller les performances des modèles d'IA. Les utilisateurs peuvent accéder aux données en temps réel et configurer des stratégies de routage pour optimiser leur infrastructure IA.

1Accédez à la plateforme AIStupidLevel via aistupidlevel.info.
2Consultez le 'Intelligence Center' pour les classements des modèles en direct, les tendances de performance et les données de coût.
3Configurez le 'Smart AI Router' pour sélectionner automatiquement les modèles en fonction des critères souhaités (par exemple, auto-coding, auto-cheapest).
4Intégrez l'API AIStupidLevel dans les applications existantes pour le routage des modèles et la surveillance des performances en temps réel.
5Utilisez la détection de dérive par 'canary' pour recevoir des alertes sur les baisses significatives de performance des modèles (plus de 10 %).
6Participez au forum officiel AI Stupid Level pour des discussions et des retours sur les performances des modèles.

pricing

Tarification et plans AIStupidLevel

AIStupidLevel fonctionne sur un modèle économique freemium-SaaS, offrant un niveau gratuit pour un accès de base et un abonnement 'AI Router Pro' pour les fonctionnalités avancées. De plus, une tarification basée sur l'utilisation s'applique à la consommation de jetons via son API.

Niveau gratuit : Comprend un accès de base aux données d'évaluation comparative et des fonctionnalités limitées.
AI Router Pro : 4,99 $ par mois, offrant des capacités de routage améliorées et potentiellement des analyses plus détaillées.
Tarification d'utilisation : 17,00 $ par million de jetons pour les appels API, avec des exemples spécifiques comme Claude Opus 4.6 à 17,00 $/million de jetons et Claude Sonnet 4.6 à 10,20 $/million de jetons.

Cet article vous plaît ? Recevez-en un comme celui-ci chaque matin.

un e-mail par jour · désinscription en deux clics · aucun traqueur tiers

Pros

+Provides independent, real-time benchmarking data updated every 4 hours.
+Effectively detects AI model performance drift and degradation with hourly canary tests.
+Features a 'Smart AI Router' for automated, intelligent model selection based on performance or cost.
+Offers comprehensive evaluation across 9 dimensions, including correctness, code quality, and refusal handling.
+Validated by internal use among engineers from major AI research labs like OpenAI and Anthropic.
+Includes a free tier and has an open-source component for transparency.

Cons

−Usage-based pricing at $17.00 per 1M tokens can be expensive for high-volume users.
−While offering an API, deep programmatic integration might be less flexible than purely open-source frameworks.
−The platform's focus on 'AI stupid level' might not cover all niche evaluation needs for highly specialized AI tasks.
−Specific integrations with third-party tools are not explicitly detailed, potentially requiring custom development.

Outils similaires

AIStupidLevel vs Concurrents

AIStupidLevel se différencie dans le paysage de l'évaluation comparative et de l'observabilité de l'IA par son accent sur les métriques de performance en temps réel, indépendantes et orientées utilisateur, en particulier pour la détection des instances de 'AI stupid level' et de la dérive de performance.

DeepEval↗

It is an open-source Pythonic framework for unit testing LLM outputs, offering a wide range of built-in and custom evaluation metrics.

DeepEval provides deep, customizable evaluation through code, but requires programmatic integration and lacks a dedicated real-time UI for continuous monitoring and drift visualization found in AIStupidLevel.

Arize Phoenix↗

This self-hostable, open-source (source-available) platform provides LLM observability and evaluation with production-ready features for logging model calls and spotting failures.

Phoenix offers robust observability and evaluation for self-hosted environments, but its real-time benchmarking and drift detection might require more setup compared to AIStupidLevel's out-of-the-box platform.

LangfuseOn Stork

It is an open-source LLM engineering platform that provides comprehensive tracing, prompt versioning, and flexible evaluation workflows, including LLM-as-judge metrics and human annotations.

Langfuse offers a broader suite of LLM engineering tools with a strong focus on observability and tracing, which can be more involved to set up for pure benchmarking than AIStupidLevel.

Arthur Bench↗

This open-source tool is designed to standardize LLM evaluation workflows for production use cases, enabling comparison of different models, prompts, and hyperparameters.

Arthur Bench focuses on structured evaluation and comparison of LLM performance, but might require more manual setup for continuous, real-time drift detection compared to AIStupidLevel's integrated platform.

Plus sur Stork