Por que as pontuações do Metacritic não contam a história toda
Pedro Faiole·
Um jogo é lançado. Você abre o Metacritic. O Metascore é 74. Você fecha a aba e segue em frente.
Esse número acabou de tomar uma decisão por você. Talvez tenha sido a decisão certa. Talvez o jogo que você acabou de descartar fosse exatamente o que você precisava. Você nunca saberá, porque 74 parecia uma nota de reprovação e você confiou no agregado em vez da sua própria curiosidade.
O Metacritic tem sido a força dominante na agregação de análises de jogos desde sua fundação em 1999, e seu Metascore se tornou o mais próximo que a indústria tem de um veredito oficial sobre se um jogo é bom. As editoras o citam em campanhas de marketing. Os desenvolvedores tiveram bônus atrelados a ele. Os varejistas o usam para decidir o espaço nas prateleiras. Uma infraestrutura inteira de decisões financeiras e culturais repousa sobre um único número que menos pessoas do que você pode imaginar realmente entendem.
Este não é um argumento de que o Metacritic é inútil. Ele apresenta críticas reais e agrega opiniões genuínas. Mas a maneira como a maioria das pessoas usa o Metascore (como um veredito direto) não compreende o que ele realmente mede. Entender a lacuna entre o que a pontuação parece e o que ela realmente representa é como você começa a tomar decisões melhores sobre os jogos que joga.
A caixa preta por trás do número
O Metacritic calcula o Metascore como uma média ponderada das pontuações de críticos individuais, todas convertidas para uma escala de 100 pontos. A ponderação é onde as coisas ficam complicadas e obscuras.
De acordo com a própria explicação do Metacritic, eles atribuem pesos diferentes a publicações diferentes com base em sua qualidade percebida, escala e posição na indústria. Uma análise de um grande veículo conta mais para o Metascore final do que uma análise de um menor. O Metacritic tem se recusado consistentemente a revelar quais veículos recebem quais pesos ou como esses pesos são atribuídos.
Pesquisadores da Full Sail University tentaram fazer engenharia reversa do sistema e identificaram seis níveis distintos de ponderação em 188 publicações, conforme relatado pelo Game Developer. O nível mais alto, com um multiplicador de 1,5x, incluía 26 publicações, como IGN, Game Informer e The New York Times. O nível mais baixo usava um multiplicador de 0,25x em 15 sites menores. O Metacritic contestou as descobertas, chamando-as de "extremamente, totalmente imprecisas", mas não ofereceu transparência sobre quais são os pesos reais.
A consequência prática é a seguinte: quando você olha um Metascore, você não pode saber quais análises foram mais importantes para produzi-lo. Um 74 pode ser impulsionado principalmente por um punhado de grandes veículos cujas preferências se inclinam para um gênero específico, ou pode refletir um consenso genuíno em dezenas de publicações. A pontuação parece matemática. Os dados de entrada que a alimentam estão ocultos.
Quando as escalas não combinam
A ponderação é apenas parte do problema. Críticos individuais usam sistemas de pontuação muito diferentes, e o Metacritic os converte todos para uma escala de 100 pontos usando suas próprias regras de mapeamento, regras que podem distorcer o significado no processo.
Considere um crítico que usa uma escala de cinco pontos onde 3/5 significa "bom, recomendado". O Metacritic converte isso para 60. Em uma escala de 100 pontos, 60 geralmente é interpretado como abaixo da média ou decepcionante. O crítico recomendou o jogo. A conversão do Metacritic sugere que não. Como Kotaku documentou em sua análise aprofundada dos problemas do Metascore, as análises 3/5 do crítico Tom Chick são consistentemente interpretadas negativamente pela conversão do Metacritic, apesar de sua intenção ser o oposto.
Isso importa em grande escala. Quando 80 críticos enviam análises usando oito sistemas de pontuação diferentes, e o Metacritic os converte todos por meio de um único processo de mapeamento, o agregado pode acabar representando algo que nenhum crítico individual realmente disse. O número que emerge é matematicamente derivado dos dados de entrada, mas semanticamente desvinculado do que esses dados de entrada significavam.
O problema da cláusula de bônus
As distorções incorporadas no Metascore importariam menos se a pontuação tivesse apenas peso cultural. O problema é que ela também desenvolveu peso financeiro, e esse peso financeiro retroalimenta a forma como os jogos são feitos.
O exemplo mais citado envolve Fallout: New Vegas. A desenvolvedora Obsidian tinha uma cláusula de bônus em seu contrato com a editora Bethesda que pagaria uma quantia significativa se o jogo atingisse um Metascore de 85. O jogo foi lançado com análises geralmente fortes e fez 84 no Xbox 360 e PC. Um ponto separou a Obsidian de um bônus que teria totalizado aproximadamente US$ 1 milhão distribuído entre a equipe. Eles não receberam nada.
Essa diferença, 84 versus 85, foi a diferença entre as pontuações individuais convertidas e as decisões de ponderação do Metacritic. Não foi uma diferença que refletisse qualquer diferença significativa de qualidade. Mas teve consequências financeiras reais para as pessoas que fizeram o jogo.
Cláusulas de bônus atreladas a limites do Metacritic foram documentadas em toda a indústria. A CD Projekt anteriormente condicionava os bônus dos desenvolvedores a atingir uma média de 90 no Metacritic antes de eventualmente abandonar a exigência. A 2K Games já usou médias do Metacritic em candidaturas a empregos, exigindo que os candidatos listassem o Metascore dos jogos que haviam lançado. A pontuação deixou de ser um reflexo de quão bom é um jogo e tornou-se uma métrica que moldou quais jogos são feitos, como os desenvolvedores são compensados e quem é contratado.
Quando os bônus dependem das pontuações, os desenvolvedores enfrentam pressão para otimizar o que os críticos recompensam. Sequências cinemáticas roteirizadas, modos multiplayer adicionados tardiamente, missões adicionais que aumentam o valor aparente, essas são as impressões digitais do desenvolvimento moldado pelo desempenho antecipado do Metacritic, em vez da visão de design.
Bombardeio de análises e manipulação de pontuação
O Metascore mede o consenso dos críticos. A pontuação do usuário, abaixo dela, mede algo mais próximo da participação organizada.
As pontuações dos usuários são vulneráveis a bombardeios de análises, campanhas coordenadas que inundam um jogo com avaliações negativas por razões não relacionadas à sua qualidade. O incidente de Firewatch em 2017 continua sendo o caso mais claro: depois que a desenvolvedora Campo Santo abriu uma ação legal contra um YouTuber, fãs irritados atacaram a avaliação do jogo no Steam e a levaram de "muito positiva" para "mista". O jogo não piorou. A pontuação mudou porque um grupo organizado decidiu que ela mudasse.
O sistema de avaliação de usuários do Metacritic tem enfrentado dinâmicas semelhantes. Jogos com personagens diversos ou narrativas não tradicionais atraíram análises negativas coordenadas destinadas a objeções culturais, em vez de avaliação da jogabilidade. A pontuação do usuário no Metacritic pode refletir o que um subconjunto específico da internet decidiu fazer em um dia específico, tanto quanto reflete o que os jogadores realmente pensam da experiência.
O Metascore ponderado pelos críticos é menos vulnerável a esse problema específico, mas tem sua própria versão. Editoras que organizam eventos de análise luxuosos, fornecem acesso estendido em condições favoráveis ou selecionam estrategicamente os veículos de análise podem influenciar quais análises aparecem e quando. O Metacritic não controla as circunstâncias em que as análises são escritas, apenas a matemática que as agrega.
O problema do patch
Aqui está um modo de falha que raramente é discutido: a maioria das análises é escrita no lançamento ou perto dele, e a maioria dos veículos de análise não atualiza suas pontuações quando patches alteram significativamente o jogo.
Um jogo que é lançado com sérios problemas de desempenho pode obter um Metascore de 65 com base em um estado de lançamento falho. A desenvolvedora lança três grandes patches em seis semanas, resolve os problemas e oferece uma experiência fundamentalmente diferente. O Metascore ainda marca 65. As análises subjacentes, cada uma representando uma versão específica do jogo analisada sob condições específicas, permanecem estáticas.
O Metacritic bloqueia as pontuações uma vez publicadas, uma política originalmente implementada para proteger os críticos da pressão das editoras para revisar para cima após o lançamento. A proteção é real. Mas o efeito colateral é um registro que captura o estado de lançamento de um jogo indefinidamente, mesmo quando esse estado não é mais a experiência que os jogadores encontram.
OpenCritic: uma alternativa mais transparente
Os problemas de transparência na metodologia do Metacritic motivaram diretamente a criação do OpenCritic, que foi lançado publicamente em setembro de 2015. Fundado por Matthew Enthoven da Riot Games e pelo engenheiro Charles Green, o OpenCritic usa uma média aritmética simples em vez de uma média ponderada. Cada análise conta igualmente. A fórmula é visível. Os usuários podem ver quais publicações estão incluídas e quais críticos escreveram as análises.
Como o Game Developer observou na época do lançamento do OpenCritic, o site também inclui análises não pontuadas e análises em vídeo do YouTube, conteúdo que o Metacritic exclui completamente. Isso significa que jogos analisados principalmente por críticos de vídeo, o que é cada vez mais comum para certos gêneros, recebem uma representação mais justa no OpenCritic do que no Metacritic.
O OpenCritic também exibe a porcentagem de críticos que recomendam um jogo junto com a pontuação numérica. Isso importa porque "recomendado" é um sinal mais claro do que um número. Um jogo com 76 onde 80% dos críticos o recomendam comunica algo diferente de um jogo com 76 onde apenas 45% o fazem.
O OpenCritic não é perfeito. Sua média simples pode ser distorcida por análises extremas, assim como a média ponderada do Metacritic pode ser distorcida por seu sistema de níveis opaco. Adquirido pela empresa de mídia Valnet em julho de 2024, ele enfrenta as mesmas questões sobre independência editorial que o Metacritic. Mas ele oferece mais informações para você trabalhar, e as informações que ele mostra são as informações que ele realmente usou.
O que uma pontuação realmente captura
Mesmo uma pontuação agregada perfeitamente calculada tem um limite fundamental para o que pode te dizer.
Um Metascore é um agregado de opiniões profissionais produzidas sob condições específicas, convertidas por meio de várias regras de mapeamento de escala e ponderadas de acordo com uma fórmula não revelada. Ele captura a reação média de uma classe específica de críticos que analisaram um jogo durante uma janela específica, normalmente no lançamento. Ele não captura como o jogo envelhece. Ele não captura se a experiência corresponde ao seu gosto em particular. Ele não captura a recepção da comunidade, o potencial de modding, a jogabilidade a longo prazo ou como o jogo se compara a outros em seu gênero que você gosta especificamente.
A pontuação é útil como um sinal aproximado. Um Metascore de 45 geralmente indica um jogo com sérios problemas que a maioria dos críticos achou frustrante. Um 90 geralmente indica um jogo que os críticos amaram amplamente. Na grande maioria, 65 a 85, onde a maioria dos jogos se encaixa, o número é muito menos confiável como um preditor de se você gostará da experiência.
Essa é a faixa onde ler as análises reais importa. Duas análises que dão a um jogo 7/10 podem fazê-lo por razões completamente opostas. Um crítico amou o combate e achou a história fraca; o outro amou a história e achou o combate repetitivo. Você pode ser alguém que joga pela história. O agregado não te diz nada sobre qual experiência te espera.
Construindo sua própria opinião informada
A alternativa a confiar no agregado é construir um relacionamento com críticos cujo gosto você entende. É assim que as pessoas se engajavam com as análises de jogos antes da existência da agregação, e ainda é o método mais confiável para combinar análises com suas próprias necessidades.
Encontre dois ou três críticos cujo gosto se alinhe com o seu, especificamente nos gêneros que você mais joga. Preste mais atenção nas razões deles do que nas pontuações. Quando eles amam um jogo por razões que você também valoriza, essa recomendação tem mais poder preditivo do que um Metascore montado a partir de críticos que podem jogar coisas completamente diferentes.
Você pode explorar análises em todo o espectro do que os críticos dizem na sua página de jogos para fazer referências cruzadas de opiniões sobre os títulos que você está considerando. E quando você terminar um jogo, escrever o que você realmente pensou, no seu próprio espaço de análise, constrói um registro pessoal que o agregado nunca pode: sua reação genuína à experiência específica que você teve.
Esse é o tipo de registro para o qual a evolução da cultura de análises aponta: não mais agregação, mas mais autoria pessoal. O Metascore diz o que uma média ponderada de críticos profissionais pensou. Seu próprio histórico de análises diz quem você é como jogador, o que você valoriza, como seu gosto mudou ao longo do tempo. Um desses registros aumenta de valor quanto mais você o mantém. O outro zera a cada jogo.
O número não é o veredito
O Metacritic é uma ferramenta útil mal utilizada como veredito. O Metascore agrega críticas reais e produz um número que contém um sinal genuíno. Mas o sinal é filtrado por um sistema de ponderação que ninguém fora do Metacritic pode verificar totalmente, um sistema de conversão de escala que distorce o significado individual, um instantâneo da janela de lançamento que não é atualizado, e uma estrutura de incentivos financeiros que moldou quais jogos são feitos.
Nada disso significa que você deve ignorar o Metacritic. Significa que você deve usá-lo da mesma forma que usaria qualquer ponto de dados: como uma entrada entre várias, não como a palavra final.
A palavra final pertence a você. Leia as análises. Siga os críticos cujo gosto você conhece. Jogue o jogo que seus instintos te dizem para jogar, mesmo que o 74 diga o contrário. Construa seu próprio registro do que você pensou. Esse registro, não um agregado, não uma média ponderada, não uma pontuação que carrega cláusulas de bônus, é o que realmente reflete sua experiência como jogador.
