Por qué las puntuaciones de Metacritic no cuentan toda la historia
Pedro Faiole·
Sale un juego. Abres Metacritic. La Metascore es 74. Cierras la pestaña y sigues con lo tuyo.
Ese número acaba de tomar una decisión por ti. Quizás fue la correcta. Quizás el juego que acabas de descartar era exactamente lo que necesitabas. Nunca lo sabrás, porque un 74 parecía una mala calificación y confiaste más en el agregado que en tu propia curiosidad.
Metacritic ha sido la fuerza dominante en la agregación de reseñas de juegos desde su fundación en 1999, y su Metascore se ha convertido en lo más parecido que tiene la industria a un veredicto oficial sobre si un juego es bueno. Los editores lo citan en campañas de marketing. Los desarrolladores han tenido bonificaciones ligadas a él. Los minoristas lo usan para decidir el espacio en los estantes. Toda una infraestructura de decisiones financieras y culturales descansa sobre un solo número que menos gente de la que imaginas entiende realmente.
Esto no es un argumento de que Metacritic sea inútil. Saca a la luz críticas reales y agrega opiniones genuinas. Pero la forma en que la mayoría de la gente usa la Metascore, como un veredicto directo, malinterpreta lo que realmente mide. Entender la brecha entre lo que parece la puntuación y lo que realmente representa es la forma en que empiezas a tomar mejores decisiones sobre los juegos a los que juegas.
La caja negra detrás del número
Metacritic calcula la Metascore como un promedio ponderado de las puntuaciones individuales de los críticos, todas convertidas a una escala de 100 puntos. La ponderación es donde las cosas se complican, y se vuelven opacas.
Según la propia explicación de Metacritic, asignan diferentes pesos a diferentes publicaciones basándose en su calidad percibida, escala y posición en la industria. Una reseña de un medio importante cuenta más para la Metascore final que una reseña de uno más pequeño. Metacritic se ha negado sistemáticamente a revelar qué medios reciben qué pesos o cómo se asignan esos pesos.
Investigadores de la Universidad Full Sail intentaron aplicar ingeniería inversa al sistema e identificaron seis niveles de ponderación distintos en 188 publicaciones, según informó Game Developer. El nivel más alto, al que se asignó un multiplicador de 1.5x, incluía 26 publicaciones como IGN, Game Informer y The New York Times. El nivel más bajo usó un multiplicador de 0.25x en 15 sitios más pequeños. Metacritic impugnó los hallazgos, calificándolos de "salvajemente, totalmente inexactos", pero no ofreció ninguna transparencia sobre cuáles son los pesos reales.
La consecuencia práctica es esta: cuando miras una Metascore, no puedes saber qué reseñas fueron las más importantes para producirla. Un 74 podría estar impulsado principalmente por un puñado de medios importantes cuyas preferencias se inclinan hacia un género particular, o podría reflejar un consenso genuino en docenas de publicaciones. La puntuación parece matemática. Las entradas que la alimentan están ocultas.
Cuando las escalas no coinciden
La ponderación es solo una parte del problema. Los críticos individuales usan sistemas de puntuación muy diferentes, y Metacritic los convierte todos a una escala de 100 puntos usando sus propias reglas de mapeo, reglas que pueden distorsionar el significado en el proceso.
Consideremos a un crítico que usa una escala de cinco puntos donde 3/5 significa "bueno, recomendado". Metacritic lo convierte a 60. En una escala de 100 puntos, 60 suele leerse como por debajo del promedio o decepcionante. El crítico recomendó el juego. La conversión de Metacritic sugiere que no lo hizo. Como documentó Kotaku en su análisis profundo de los problemas de la Metascore, las reseñas 3/5 del crítico Tom Chick son consistentemente interpretadas negativamente por la conversión de Metacritic a pesar de que su intención era la opuesta.
Esto es importante a gran escala. Cuando 80 críticos envían reseñas usando ocho sistemas de puntuación diferentes, y Metacritic los convierte todos a través de un único proceso de mapeo, el agregado puede terminar representando algo que ningún crítico individual dijo realmente. El número que emerge se deriva matemáticamente de las entradas, pero está semánticamente divorciado de lo que esas entradas significaban.
El problema de la cláusula de bonificación
Las distorsiones inherentes a la Metascore importarían menos si la puntuación tuviera un peso puramente cultural. El problema es que también adquirió un peso financiero, y ese peso financiero influye en cómo se hacen los juegos.
El ejemplo más ampliamente citado involucra a Fallout: New Vegas. El desarrollador Obsidian tenía una cláusula de bonificación en su contrato con el editor Bethesda que pagaría una suma significativa si el juego alcanzaba una Metascore de 85. El juego se lanzó con excelentes críticas en general y obtuvo 84 en Xbox 360 y PC. Un punto separó a Obsidian de una bonificación que habría ascendido a aproximadamente 1 millón de dólares distribuidos entre el equipo. No recibieron nada.
Esa brecha, 84 frente a 85, fue la diferencia entre las puntuaciones individuales convertidas y las decisiones de ponderación de Metacritic. No fue una brecha que reflejara ninguna diferencia significativa en la calidad. Pero tuvo consecuencias financieras reales para las personas que hicieron el juego.
Las cláusulas de bonificación ligadas a los umbrales de Metacritic se han documentado en toda la industria. CD Projekt previamente condicionó las bonificaciones de los desarrolladores a alcanzar un promedio de 90 en Metacritic antes de finalmente eliminar el requisito. 2K Games alguna vez utilizó los promedios de Metacritic en las solicitudes de empleo, exigiendo a los candidatos que enumeraran la Metascore de los juegos que habían lanzado. La puntuación dejó de ser un reflejo de lo bueno que es un juego y se convirtió en una métrica que moldeaba qué juegos se hacen, cómo se compensa a los desarrolladores y a quién se contrata.
Cuando las bonificaciones dependen de las puntuaciones, los desarrolladores se ven presionados a optimizar lo que los revisores recompensan. Secuencias cinematográficas guionizadas, modos multijugador añadidos tardíamente, misiones adicionales que aumentan el valor aparente: estas son las huellas del desarrollo moldeado por el rendimiento anticipado de Metacritic, en lugar de por la visión del diseño.
Bombardeo de reseñas y manipulación de puntuaciones
La Metascore mide el consenso de la crítica. La Puntuación de Usuario debajo de ella mide algo más cercano a la participación organizada.
Las puntuaciones de usuario son vulnerables al bombardeo de reseñas (review bombing), campañas coordinadas que inundan un juego con valoraciones negativas por razones no relacionadas con su calidad. El incidente de Firewatch de 2017 sigue siendo el caso más claro: después de que el desarrollador Campo Santo emprendiera acciones legales contra un YouTuber, los fans enojados atacaron la calificación de Steam del juego y la llevaron de "muy positiva" a "mixta". El juego no empeoró. La puntuación cambió porque un grupo organizado decidió que cambiara.
El sistema de reseñas de usuarios de Metacritic ha enfrentado dinámicas similares. Los juegos con personajes diversos o narrativas no tradicionales han atraído reseñas negativas coordinadas, con el objetivo de expresar objeciones culturales en lugar de una evaluación de la jugabilidad. La puntuación de usuario en Metacritic puede reflejar tanto lo que un subconjunto particular de internet decidió hacer en un día determinado como lo que los jugadores piensan realmente de la experiencia.
La Metascore ponderada por los críticos es menos vulnerable a este problema específico, pero tiene su propia versión. Los editores que organizan eventos de reseña fastuosos, proporcionan acceso extendido bajo condiciones favorables o seleccionan estratégicamente los medios de reseña pueden influir en qué reseñas aparecen y cuándo. Metacritic no controla las circunstancias en las que se escriben las reseñas, solo las matemáticas que las agregan.
El problema del parche
Aquí hay un fallo que rara vez se discute: la mayoría de las reseñas se escriben en el momento del lanzamiento o cerca de él, y la mayoría de los medios de reseñas no actualizan sus puntuaciones cuando los parches cambian significativamente el juego.
Un juego que se lanza con serios problemas de rendimiento podría obtener una Metascore de 65 basada en un estado de lanzamiento defectuoso. El desarrollador lanza tres parches importantes en seis semanas, aborda los problemas y ofrece una experiencia fundamentalmente diferente. La Metascore sigue marcando 65. Las reseñas subyacentes, cada una representando una versión específica del juego revisada bajo condiciones específicas, permanecen estáticas.
Metacritic bloquea las puntuaciones una vez publicadas, una política implementada originalmente para proteger a los críticos de la presión de los editores para que revisaran al alza después del lanzamiento. La protección es real. Pero el efecto secundario es un registro que capta el estado de lanzamiento de un juego indefinidamente, incluso cuando ese estado ya no es la experiencia que encuentran los jugadores.
OpenCritic: una alternativa más transparente
Los problemas de transparencia en la metodología de Metacritic motivaron directamente la creación de OpenCritic, que se lanzó públicamente en septiembre de 2015. Fundado por Matthew Enthoven de Riot Games y el ingeniero Charles Green, OpenCritic utiliza una media aritmética simple en lugar de un promedio ponderado. Cada reseña cuenta por igual. La fórmula es visible. Los usuarios pueden ver qué publicaciones están incluidas y qué críticos escribieron las reseñas.
Como señaló Game Developer en el momento del lanzamiento de OpenCritic, el sitio también incluye reseñas sin puntuación y reseñas de videos de YouTube, contenido que Metacritic excluye por completo. Esto significa que los juegos reseñados principalmente por críticos de video, lo cual es cada vez más común para ciertos géneros, reciben una representación más justa en OpenCritic que en Metacritic.
OpenCritic también muestra el porcentaje de críticos que recomiendan un juego junto con la puntuación numérica. Esto es importante porque "recomendado" es una señal más clara que un número. Un juego con un 76 donde el 80% de los críticos lo recomiendan comunica algo diferente a un juego con un 76 donde solo lo hace el 45%.
OpenCritic no es perfecto. Su promedio simple puede verse sesgado por reseñas atípicas, al igual que el promedio ponderado de Metacritic puede verse sesgado por su sistema de niveles opaco. Adquirida por la compañía de medios Valnet en julio de 2024, se enfrenta a las mismas preguntas sobre independencia editorial que Metacritic. Pero te da más información para trabajar, y la información que te muestra es la información que realmente utilizó.
Qué captura realmente una puntuación
Incluso una puntuación agregada calculada a la perfección tiene un techo fundamental en lo que te puede decir.
Una Metascore es un agregado de opiniones profesionales producidas bajo condiciones específicas, convertidas a través de varias reglas de mapeo de escala y ponderadas según una fórmula no revelada. Captura la reacción promedio de una clase específica de críticos que revisaron un juego durante un período específico, generalmente en el lanzamiento. No captura cómo envejece el juego. No captura si la experiencia coincide con tu gusto en particular. No captura la recepción de la comunidad, el potencial de modding, la jugabilidad a largo plazo o cómo se compara el juego con otros de su género que a ti te gustan específicamente.
La puntuación es útil como una señal aproximada. Una Metascore de 45 generalmente indica un juego con problemas serios que a la mayoría de los críticos les resultó frustrante. Una de 90 generalmente indica un juego que los críticos amaron ampliamente. En el gran medio, del 65 al 85, donde la mayoría de los juegos aterrizan, el número es mucho menos confiable como predictor de si disfrutarás la experiencia.
Este es el rango donde leer las reseñas reales importa. Dos reseñas que le dan un 7/10 a un juego pueden hacerlo por razones completamente opuestas. Un crítico amó el combate y encontró la historia débil; el otro amó la historia y encontró el combate repetitivo. Tú podrías ser alguien que juega por la historia. El agregado no te dice nada sobre qué experiencia te espera.
Construyendo tu propia opinión informada
La alternativa a confiar en el agregado es construir una relación con críticos cuyo gusto entiendas. Así es como la gente interactuaba con las reseñas de juegos antes de que existiera la agregación, y sigue siendo el método más fiable para adaptar las reseñas a tus propias necesidades.
Encuentra dos o tres críticos cuyo gusto se alinee con el tuyo, específicamente en los géneros a los que más juegas. Presta atención a sus razones más que a sus puntuaciones. Cuando aman un juego por razones que tú también valoras, esa recomendación tiene más poder predictivo que una Metascore elaborada a partir de críticos que pueden jugar cosas completamente diferentes.
Puedes explorar reseñas de todo el espectro de lo que dicen los críticos en tu página de juegos para contrastar opiniones sobre títulos que estés considerando. Y cuando termines un juego, anotar lo que realmente pensaste, en tu propio espacio de reseñas, construye un registro personal que el agregado nunca podrá: tu reacción genuina a la experiencia específica que tuviste.
Este es el tipo de registro hacia el que apunta la evolución de la cultura de las reseñas: no más agregación, sino más autoría personal. La Metascore te dice lo que pensó un promedio ponderado de críticos profesionales. Tu propio historial de reseñas te dice quién eres como jugador, qué valoras, cómo ha cambiado tu gusto con el tiempo. Uno de esos registros aumenta su valor cuanto más tiempo lo mantienes. El otro se reinicia a cero con cada juego.
El número no es el veredicto
Metacritic es una herramienta útil que se malinterpreta como un veredicto. La Metascore agrega críticas reales y produce un número que contiene una señal genuina. Pero la señal se filtra a través de un sistema de ponderación que nadie fuera de Metacritic puede verificar completamente, un sistema de conversión de escala que distorsiona el significado individual, una instantánea de la ventana de lanzamiento que no se actualiza y una estructura de incentivos financieros que ha moldeado los juegos que se producen.
Nada de esto significa que debas ignorar Metacritic. Significa que debes usarlo como usarías cualquier punto de datos individual: como una entrada entre varias, no como la última palabra.
La última palabra te pertenece. Lee las reseñas. Observa a los críticos cuyo gusto conoces. Juega el juego que tus instintos te dicen que juegues, incluso si el 74 dice lo contrario. Crea tu propio registro de lo que pensaste. Ese registro, no un agregado, no una media ponderada, no una puntuación que conlleva cláusulas de bonificación, es el que realmente refleja tu experiencia como jugador.
