Scores de Benchmarks = Capacité Générale + "Claudiness"

Introduction

La publication de Gemini 3 a inclus un tableau massif montrant les performances du modèle sur dix-neuf benchmarks divers. De tels tableaux sont désormais courants, mais ils créent une situation statistique étrange. Les benchmarks mesurent ostensiblement des aspects différents, mais comme les modèles ont tendance à s'améliorer sur de nombreux benchmarks à la fois, l'ensemble de données des scores de benchmarks est dominé par une seule dimension de "Capacité Générale".

Dans cet article, je vais décrire les statistiques de cet ensemble de données, examiner ce qui reste lorsqu'on élimine cette dimension dominante (indice : c'est la "Claudiness"), et discuter de la manière dont cela se rapporte à une question importante sur la généralisation cross-task.

I. Les Données de Benchmarking Sont Dominées par une Seule Dimension

C'est l'une des leçons de notre récent travail sur l'Epoch Capabilities Index (ECI), qui combine trente-neuf benchmarks en un score de capacités unique. Si les benchmarks n'étaient généralement pas corrélés entre eux, on s'attendrait à voir de grands résidus : les scores de benchmarks prédits par le nombre ECI d'un modèle ne correspondraient pas aux scores de benchmarks réels du modèle.

Il s'avère que nous observons une très bonne correspondance. En d'autres termes, notre ensemble de données nominalement à haute dimension est bien approximé par une seule dimension.

Figure 1 : L'Indice des Capacités d'Epoch (ECI) prédit très bien les scores de référence en agrégé. Chaque point représente le score prédit et réel d'un modèle unique sur un seul benchmark.

II. Analyse en Composantes Principales (PCA)

Pour aller au-delà de cette dimension, nous pouvons effectuer une Analyse en Composantes Principales (PCA). Cela pose essentiellement la question : si nous créons des "composantes" synthétiques en prenant des sommes pondérées des différents scores de benchmarks, quelle est la variance maximale dans l'ensemble de données que nous pouvons expliquer avec le moins de composantes possible ?

Lorsque nous appliquons cela aux données brutes sous-jacentes à l'ECI, la première composante capture environ la moitié de la variance de l'ensemble de données. Le tableau ci-dessous montre les pondérations des différents benchmarks dans cette composante, représentant 80% du poids total.

Notez que les poids sont tous positifs et peu dispersés. C'est-à-dire que la PCA trouve également une composante unique de "capacité générale".

Figure 2 : Une seule dimension explique près de la moitié de la variance des scores de référence. Le graphique montre la magnitude de toutes les composantes principales, comparée à la taille des composantes trouvées dans des données aléatoires de même forme.

III. Les Données Montrent une Dimension "Claudiness" Plus Petite

Quelle est cette deuxième composante ? Voici les poids principaux, par valeur absolue, que cette composante attribue aux benchmarks, représentant à nouveau plus de 80% du poids total.

Par construction, cette composante est orthogonale à la composante principale de "capacité générale". Quand j'ai vu cela pour la première fois, j'ai dit que cela ressemblait à quelque chose comme "bon aux tâches agentiques, mais mauvais en vision... et aussi mauvais en mathématiques ?"

Mais je l'ai montré à un collègue et il a simplement dit "c'est Claude". Il avait raison.

Voici les cinq meilleurs modèles sur cette composante, ainsi que les cinq moins bons :

Je pense que cette deuxième composante montre que les benchmarks ne sont pas entièrement de la "capacité générale" plus du "bruit", même si c'est une assez bonne approximation. Bien que cette deuxième composante ne soit pas statistiquement significative, je pense qu'il est juste de dire qu'elle s'aligne avec la perception publique générale des priorités d'Anthropic, c'est-à-dire qu'ils semblent fabriquer Claude ainsi intentionnellement.

Cela a mis à jour ma réflexion sur une question plus large, comme je vais l'expliquer ensuite.

IV. La Dimension "Capacité Générale" Est-Elle Profonde ou Contingente ?

La grande question est pourquoi une seule dimension capture tant de variance dans les scores de benchmarks. Je peux penser à deux raisons possibles, correspondant à deux mondes possibles dans lesquels nous pourrions être. J'appellerai ces mondes "profond" et "contingent".

Quel Monde Ressemble le Plus au Nôtre ?

Parfois dans l'histoire de l'IA, les choses ont ressemblé au monde contingent. AlphaGo était surhumain au go mais c'était absurde de lui demander de faire quoi que ce soit d'autre.

À d'autres moments, les choses ont ressemblé au monde profond. Quand les LLMs commençaient à monter en puissance, la prédiction du token suivant sur du texte web relativement non organisé balayait des tâches NLP qui avaient auparavant été dominées par des modèles spécialisés.

Il y a sûrement une certaine généralisation entre les tâches, mais peut-être est-ce un signe de ses limites.

V. Une Question à un Trillion de Dollars

La dimension Claudiness n'est pas une preuve très forte pour le point de vue contingent. Une preuve plus forte pourrait être la manière dont les développeurs de modèles investissent massivement dans la collecte de données spécialisées, comme les environnements d'apprentissage par renforcement (RL) pour des verticales industrielles.

Même ainsi, il est possible qu'ils fassent cela et que le RL montre une excellente généralisation cross-task.

Comment Tester Cette Hypothèse ?

Une façon de tester cela serait de trouver un benchmark non contaminé qui mesure quelque chose d'inhabituel, et de voir s'il est corrélé avec la dimension "Capacité Générale". Malheureusement, nous ne savons pas ce qui compte comme "inhabituel" pour les modèles parce que nous ne savons pas ce qu'ils ont vu lors de l'entraînement.

De plus, je soupçonne qu'il y a un effet de sélection où les benchmarks qui montrent les meilleurs modèles avec de mauvais scores ont tendance à attirer l'attention. Pourtant, cela semble valoir la peine d'être poursuivi.

Je doute qu'il y ait des limites en principe à tout mettre en distribution, mais si nous sommes plus dans le monde contingent, alors nous ne devrions pas nous attendre à beaucoup de gains gratuits de la généralisation non plus.

Chaque point de pourcentage d'amélioration sur chaque benchmark devra être payé. Ici, je pense que nous devrions nous attendre à voir les capacités continuer à s'améliorer de manière assez générale, mais seulement tant que le volant de la croissance et de l'investissement continue de permettre aux développeurs de consacrer des ressources à faire activement que cela se produise.

Notes Méthodologiques