Un jeu sort. Vous ouvrez Metacritic. Le Metascore indique 74. Vous fermez l'onglet et passez à autre chose.
Ce chiffre vient de prendre une décision pour vous. C'était peut-être la bonne. Peut-être que le jeu que vous venez de rejeter était exactement ce dont vous aviez besoin. Vous ne le saurez jamais, car 74 ressemblait à une note éliminatoire et vous avez fait confiance à l'agrégat plutôt qu'à votre propre curiosité.
Metacritic est la force dominante en matière d'agrégation de critiques de jeux depuis sa fondation en 1999, et son Metascore est devenu ce qui se rapproche le plus, dans l'industrie, d'un verdict officiel sur la qualité d'un jeu. Les éditeurs le citent dans leurs campagnes marketing. Des développeurs ont vu leurs primes liées à celui-ci. Les détaillants l'utilisent pour décider de l'espace en rayon. Toute une infrastructure de décisions financières et culturelles repose sur un chiffre unique que moins de personnes que vous ne le pensez comprennent réellement.
Il ne s'agit pas d'affirmer que Metacritic est inutile. Il met en lumière de vraies critiques et agrège des opinions authentiques. Mais la façon dont la plupart des gens utilisent le Metascore, comme un verdict simple et direct, ne saisit pas ce qu'il mesure réellement. Comprendre l'écart entre ce à quoi le score ressemble et ce qu'il représente vraiment est le point de départ pour prendre de meilleures décisions concernant les jeux auxquels vous jouez.
La boîte noire derrière le chiffre
Metacritic calcule le Metascore comme une moyenne pondérée de scores de critiques individuelles, tous convertis sur une échelle de 100 points. La pondération est là où les choses deviennent compliquées, et opaques.
Selon l'explication de Metacritic, ils attribuent différents poids à différentes publications en fonction de leur qualité perçue, de leur envergure et de leur position dans l'industrie. Une critique d'un grand média compte plus pour le Metascore final qu'une critique d'un média plus petit. Metacritic a toujours refusé de révéler quelles publications reçoivent quels poids ou comment ces poids sont attribués.
Des chercheurs de la Full Sail University ont tenté de reconstituer le système et ont identifié six niveaux de pondération distincts sur 188 publications, comme rapporté par Game Developer. Le niveau le plus élevé, doté d'un multiplicateur de 1,5x, comprenait 26 publications telles qu'IGN, Game Informer et The New York Times. Le niveau le plus bas utilisait un multiplicateur de 0,25x sur 15 sites plus petits. Metacritic a contesté ces conclusions, les qualifiant de « sauvagement, entièrement inexactes », mais n'a offert aucune transparence quant aux poids réels.
La conséquence pratique est la suivante: lorsque vous regardez un Metascore, vous ne pouvez pas savoir quelles critiques ont le plus compté pour le produire. Un 74 pourrait être principalement le fait d'une poignée de grands médias dont les préférences penchent vers un genre particulier, ou il pourrait refléter un consensus authentique parmi des dizaines de publications. Le score ressemble à des maths. Les données qui l'alimentent sont masquées.
Quand les échelles ne correspondent pas
La pondération n'est qu'une partie du problème. Les critiques individuels utilisent des systèmes de notation très différents, et Metacritic les convertit tous à une échelle de 100 points en utilisant ses propres règles de correspondance, des règles qui peuvent en fausser le sens.
Considérez un critique qui utilise une échelle de cinq points où 3/5 signifie «bon, recommandé». Metacritic le convertit en 60. Sur une échelle de 100 points, 60 est généralement perçu comme étant en dessous de la moyenne ou décevant. Le critique a recommandé le jeu. La conversion de Metacritic suggère le contraire. Comme Kotaku l'a documenté dans son exploration approfondie des problèmes du Metascore, les critiques 3/5 de Tom Chick sont systématiquement interprétées négativement par la conversion de Metacritic, malgré son intention opposée.
Cela compte à grande échelle. Quand 80 critiques soumettent des évaluations en utilisant huit systèmes de notation différents et que Metacritic les convertit tous par un processus de correspondance unique, l'agrégat peut finir par représenter quelque chose qu'aucun critique individuel n'a réellement dit. Le chiffre qui émerge est dérivé mathématiquement des entrées, mais sémantiquement divorcé de ce que ces entrées signifiaient.
Le problème de la clause de bonus
Les distorsions inhérentes au Metascore auraient moins d'importance si le score n'avait qu'un poids culturel. Le problème est qu'il a également acquis un poids financier, et ce poids financier influence la façon dont les jeux sont créés.
L'exemple le plus souvent cité concerne Fallout: New Vegas. Le développeur Obsidian avait une clause de bonus dans son contrat avec l'éditeur Bethesda qui prévoyait un montant substantiel si le jeu atteignait un Metascore de 85. Le jeu est sorti avec des critiques généralement bonnes et a obtenu 84 sur Xbox 360 et PC. Un point séparait Obsidian d'une prime qui aurait représenté environ 1 million de dollars répartis entre l'équipe. Ils n'ont rien reçu.
Cet écart, 84 contre 85, était la différence entre des scores individuels convertis et les décisions de pondération de Metacritic. Ce n'était pas un écart qui reflétait une différence significative de qualité. Mais il a eu de réelles conséquences financières pour les personnes qui ont créé le jeu.
Des clauses de bonus liées à des seuils Metacritic ont été signalées dans toute l'industrie. CD Projekt avait auparavant conditionné les bonus des développeurs à l'atteinte d'une moyenne Metacritic de 90 avant de finalement abandonner cette exigence. 2K Games utilisait autrefois les moyennes Metacritic dans les candidatures, exigeant des candidats qu'ils listent le Metascore des jeux auxquels ils avaient contribué. Le score a cessé d'être le reflet de la qualité d'un jeu et est devenu une métrique qui a façonné les jeux qui sont créés, la rémunération des développeurs et les embauches.
Lorsque les primes dépendent des scores, les développeurs sont sous pression pour optimiser ce que les critiques récompensent. Les séquences cinématiques scriptées, les modes multijoueur ajoutés tardivement, les missions supplémentaires qui augmentent la valeur apparente, ce sont les marques d'un développement façonné par les performances Metacritic anticipées plutôt que par la vision de la conception.
Bombardement de critiques et manipulation de scores
Le Metascore mesure le consensus de la critique. Le User Score en dessous mesure quelque chose de plus proche de la participation organisée.
Les scores d'utilisateur sont vulnérables au « review bombing », des campagnes coordonnées qui inondent un jeu de notes négatives pour des raisons sans rapport avec sa qualité. L'incident de Firewatch en 2017 reste l'exemple le plus clair: après que le développeur Campo Santo a engagé une action en justice contre un YouTuber, des fans en colère ont ciblé la note Steam du jeu et l'ont fait passer de «très positif» à «mitigé». Le jeu n'est pas devenu pire. Le score a changé parce qu'un groupe organisé a décidé de le faire changer.
Le système d'évaluation des utilisateurs de Metacritic a connu des dynamiques similaires. Les jeux mettant en scène des personnages diversifiés ou des récits non traditionnels ont attiré des critiques négatives coordonnées, motivées par des objections culturelles plutôt que par une évaluation du gameplay. Le score d'utilisateur sur Metacritic peut refléter ce qu'une certaine partie d'Internet a décidé de faire un jour donné, autant que ce que les joueurs pensent réellement de l'expérience.
Le Metascore pondéré par les critiques est moins vulnérable à ce problème spécifique mais a sa propre version. Les éditeurs qui organisent des événements fastueux pour les critiques, offrent un accès prolongé dans des conditions favorables, ou sélectionnent stratégiquement les médias de critique peuvent influencer quelles critiques apparaissent et quand. Metacritic ne contrôle pas les circonstances dans lesquelles les critiques sont écrites, seulement les calculs qui les agrègent.
Le problème du patch
Voici un mode de défaillance rarement discuté: la plupart des critiques sont écrites au moment ou peu après le lancement, et la plupart des médias de critique ne mettent pas à jour leurs scores lorsque des patchs modifient de manière significative le jeu.
Un jeu qui sort avec de sérieux problèmes de performance pourrait obtenir un Metascore de 65 basé sur un état de lancement défectueux. Le développeur publie trois patchs majeurs en six semaines, résout les problèmes et offre une expérience fondamentalement différente. Le Metascore indique toujours 65. Les critiques sous-jacentes, chacune représentant une version spécifique du jeu évaluée dans des conditions spécifiques, restent statiques.
Metacritic verrouille les scores une fois publiés, une politique initialement mise en œuvre pour protéger les critiques de la pression des éditeurs à réviser à la hausse après la sortie. La protection est réelle. Mais l'effet secondaire est un enregistrement qui capture indéfiniment l'état de lancement d'un jeu, même lorsque cet état ne correspond plus à l'expérience que les joueurs rencontrent.
OpenCritic: une alternative plus transparente
Les problèmes de transparence dans la méthodologie de Metacritic ont directement motivé la création d'OpenCritic, qui a été lancé publiquement en septembre 2015. Fondé par Matthew Enthoven de Riot Games et l'ingénieur Charles Green, OpenCritic utilise une simple moyenne arithmétique plutôt qu'une moyenne pondérée. Chaque critique compte également. La formule est visible. Les utilisateurs peuvent voir quelles publications sont incluses et quels critiques ont écrit les évaluations.
Comme Game Developer l'a noté au moment du lancement d'OpenCritic, le site inclut également les critiques non notées et les critiques vidéo YouTube, un contenu que Metacritic exclut entièrement. Cela signifie que les jeux principalement évalués par des vidéastes critiques, ce qui est de plus en plus courant pour certains genres, bénéficient d'une représentation plus juste sur OpenCritic que sur Metacritic.
OpenCritic affiche également le pourcentage de critiques qui recommandent un jeu, en plus du score numérique. C'est important car « recommandé » est un signal plus clair qu'un chiffre. Un jeu à 76 où 80% des critiques le recommandent communique quelque chose de différent d'un jeu à 76 où seulement 45% le font.
OpenCritic n'est pas parfait. Sa moyenne simple peut être faussée par des critiques aberrantes, tout comme la moyenne pondérée de Metacritic peut être faussée par son système de niveaux opaque. Acquise par la société de médias Valnet en juillet 2024, elle est confrontée aux mêmes questions d'indépendance éditoriale que Metacritic. Mais elle vous donne plus d'informations avec lesquelles travailler, et les informations qu'elle vous montre sont celles qu'elle a réellement utilisées.
Ce qu'un score capture réellement
Même un score agrégé parfaitement calculé a un plafond fondamental quant à ce qu'il peut vous dire.
Un Metascore est un agrégat d'opinions professionnelles produites dans des conditions spécifiques, converties via diverses règles de correspondance d'échelle et pondérées selon une formule non divulguée. Il capture la réaction moyenne d'une catégorie spécifique de critiques qui ont évalué un jeu pendant une fenêtre spécifique, généralement au lancement. Il ne capture pas la façon dont le jeu vieillit. Il ne capture pas si l'expérience correspond à vos goûts particuliers. Il ne capture pas la réception de la communauté, le potentiel de modding, la jouabilité à long terme, ni comment le jeu se compare à d'autres de son genre que vous aimez spécifiquement.
Le score est utile comme un signal grossier. Un Metascore de 45 indique généralement un jeu avec de sérieux problèmes que la plupart des critiques ont trouvés frustrants. Un 90 indique généralement un jeu que les critiques ont largement adoré. Dans la grande fourchette médiane, entre 65 et 85, là où se situent la plupart des jeux, le chiffre est beaucoup moins fiable comme prédicteur de votre plaisir.
C'est la fourchette où la lecture des critiques réelles importe. Deux critiques qui attribuent toutes deux un 7/10 à un jeu peuvent le faire pour des raisons complètement opposées. Un critique a adoré le combat et a trouvé l'histoire faible; l'autre a adoré l'histoire et a trouvé le combat répétitif. Vous êtes peut-être quelqu'un qui joue pour l'histoire. L'agrégat ne vous dit rien sur l'expérience qui vous attend.
Bâtir votre propre opinion éclairée
L'alternative à la confiance aveugle en l'agrégat consiste à bâtir une relation avec des critiques dont vous comprenez le goût. C'est ainsi que les gens s'engageaient avec les critiques de jeux avant l'existence de l'agrégation, et c'est toujours la méthode la plus fiable pour faire correspondre les critiques à vos propres besoins.
Trouvez deux ou trois critiques dont les goûts correspondent aux vôtres, spécifiquement pour les genres que vous jouez le plus. Leurs raisons sont plus importantes que leurs scores. Quand ils adorent un jeu pour des raisons que vous appréciez aussi, cette recommandation a plus de pouvoir prédictif qu'un Metascore assemblé à partir de critiques qui pourraient jouer des choses entièrement différentes.
Vous pouvez explorer les critiques à travers tout le spectre de ce que disent les critiques sur votre page de jeux pour recouper les opinions sur les titres que vous envisagez. Et lorsque vous terminez un jeu vous-même, écrire ce que vous en avez réellement pensé, dans votre propre espace de critiques, construit un dossier personnel que l'agrégat ne pourra jamais égaler: votre réaction authentique à l'expérience spécifique que vous avez vécue.
C'est le genre de dossier vers lequel pointe l'évolution plus large de la culture de la critique: non pas plus d'agrégation, mais plus d'auteur personnel. Le Metascore vous dit ce qu'une moyenne pondérée de critiques professionnels a pensé. Votre propre historique de critiques vous dit qui vous êtes en tant que joueur, ce que vous appréciez, comment vos goûts ont évolué avec le temps. L'un de ces dossiers prend de la valeur plus longtemps vous le maintenez. L'autre est remis à zéro à chaque jeu.
Le chiffre n'est pas le verdict
Metacritic est un outil utile, mais mal utilisé comme verdict. Le Metascore agrège de véritables critiques et produit un chiffre qui contient un signal authentique. Mais le signal est filtré par un système de pondération que personne en dehors de Metacritic ne peut entièrement vérifier, un système de conversion d'échelle qui déforme le sens individuel, un instantané de la fenêtre de lancement qui ne se met pas à jour, et une structure d'incitation financière qui a façonné les jeux qui sont fabriqués.
Rien de tout cela ne signifie que vous devriez ignorer Metacritic. Cela signifie que vous devriez l'utiliser comme vous utiliseriez toute donnée unique: comme un élément parmi plusieurs, et non comme le dernier mot.
Le dernier mot vous appartient. Lisez les critiques. Regardez les critiques dont vous connaissez les goûts. Jouez au jeu que votre instinct vous dit de jouer, même si le 74 dit le contraire. Construisez votre propre dossier de ce que vous en avez pensé. Ce dossier, et non un agrégat, non une moyenne pondérée, non un score assorti de clauses de bonus, est celui qui reflète réellement votre expérience en tant que joueur.
