metacriticの妥当性の検討を行った論文のサーベイ
メタスコア
metacriticが得時にレビュワーごとに割り当てた重みによる加重平均によって決定される[1]metacriticはレビュワーに割り当てた重みを公表しないと決めている[2]
メタレビューの起源
メタ分析の理論と実践は、もともと1世紀以上前に科学者によって開発されました（最初のメタ分析は一般に数学者のカールピアソンに起因し、1904年に実施されました）。メタ分析の価値は2つあります。まず、多くの研究を統計的に集約できるため、一連の研究の状態を簡潔かつ一貫して分析できます。第二に、ある地域の多くの研究が小さな効果量を示している場合（可能な結果の差は非常に小さい）、メタ分析は、説得力のない多くの研究を一緒に見ることによって、より強力な推論を行うことを可能にします。
計算方法
- 正規化された加重平均により得点が付与される。つまり、50点が平均ぐらいになる
- 加重平均される理由はレビュワーの品質にばらつきがあるためである
ユーザ投票について
- 考慮されることはない
TBDとは
- 最小のサンプルサイズ数(4を想定)
批判
- 評点のソースを明らかにしないポリシーのために、信用できないなどの評価もある。
metacriticに対する評価
method
- metacriticのデータとVGChartzとの売上データの相関を確認する
result
- 非常に高い売上とmetacritic scoreとの関連があることがわかった
- 定量分析の結果は個々に該当するし、ほぼ正しいことがわかった
定性分析
内部妥当性-> 特定の効果の適切な原因を特定するような方法で測定が評価されているか構造概念妥当性-> metactiticの100ポイントのスケーリングに対して、担当者の意図の歪みが発生しうるか外部妥当性-> テストが行われた特定の条件の外で一般化する可能性が高いかどうか顔の妥当性-> 顔の妥当性を決めるのは大変難しい、みたいな理解統計的結論妥当性
定性的妥当性
- いくつかの欠陥が発見され、レビューの定量化のプロセスで有効性と正確性に対する脅威がある