Scribble at 2026-07-17 14:02:11 Last modified: 2026-07-17 20:44:36
Media Bias/Fact Check (MBFC) purports to quantify the bias, credibility, and factuality of reporting for roughly 10,000 media sources, and the resulting data is commonly used in misinformation research. In the present study, we show that MBFC's methodology does not meet basic standards of rigor for academic research. Despite its widespread prevalence, studies using MBFC rarely examine it carefully, often describing it in ways that contradict its ``About'' page, or treating it as authoritative despite MBFC's disclaimer that it is ``not a tested scientific method... [but] a simple guide to the idea of a source's bias.'' We identified no papers that adequately describe MBFC as the opinions of a single person or critically engage with its methodology in order to justify proceeding with its use. We argue that MBFC's data is not neutral or accurate, but a computationally legible account of hegemony, a specious dataset for uncritical research that mistakes the familiarity of the concepts it quantifies with accuracy. Our study concludes with a call for academic researchers to stop using MBFC. MBFC's data quantifies the results of political processes, including campaigns to discredit the press, and presents them as simple facts about the world, thus reproducing the crisis misinformation scholarship exists to address.
最初に説明しておくが、ここで取り上げられている "Media Bias/Fact Check" というのは一般論としてのメディア・リテラシーやファクト・チェックのことではなく、"Media Bias/Fact Check" という名称で活動している特定の団体（mediabiasfactcheck.com）のことである・・・ていうか、こんな団体のサイトですら全画面の lightbox で広告を出すんだな。活動資金も集められない無能が、活動を続けるためにクズみたいな広告に手を出すとは、恥を知れと言いたいね。こういう手合いに社会運動をする資格なんて、本当はないと思うよ。いわゆる「手弁当」みたいな清貧のスタンスが正しいとか善良だというセンチメンタリズムを語りたいわけではないが、少なくともオンライン広告に手を出してファイナンスの言い訳になるようなやつは、まず人間として信用できないんだよ。
こういうわけなので、上の論説は、かなりアメリカに特有の政治的な事情なり脈絡なり経緯があっての議論だと思うが、もちろん僕ら日本で生活している者にとっても、「メディア・バイアス」や「メディア・リテラシー」あるいは「ファクト・チェック」と称する活動や批評が、必ずしも公正中立で科学としても支持できる手法にもとづいて行われているとは限らない。僕は当サイトで、この国ではメディア・リテラシー教育が国家官僚やマス・メディア自身の無自覚な過小評価や牽制によって殆ど普及していないという事実を指摘して、それを憂いてもいるが、もちろんそれは左翼運動を奨励するためでもなければ、産經を読まずに毎日を読めなどと愚かなことを示唆するためでもない（当然だが、その逆も真である。この国の保守や右翼なんて無知無教養なゴロツキやチンピラの夜郎自大でしかないわけで、こんなものを基準にメディアや「事実」を語るべきでもなかろう）。
ともあれ、上に紹介する論文を解説しよう。この論文の主旨は、Media Bias/Fact Check（MBFC）は学術研究に利用するべきものではないということである。その理由は、MBFC の方法論が科学的な厳密性を欠き、恣意的で一貫性がなく、政治的な動機に深く影響されているからだ。にもかかわらず、MBFC は誤解されたまま広く学術研究に利用され、誤った「中立性」や「信頼性」が学術的に認められた事実として再生産されてしまっている。MBFC 自身ですら「科学的にテストされた方法ではない」と明言しているにもかかわらず、多くの研究者は MBFC を「独立したファクト・チェック組織」だと誤解して言及している。
アメリカにおけるメディア批判の歴史を振り返ると、1940年代〜1960年代の保守運動は、メディアを「リベラル偏向」と批判する戦略を展開していた。その後、AIM（Accuracy in Media）、CMPA などが「偏向」を数値化する疑似科学的手法を広めたのである。MBFC の方法論は、こういう経緯を踏襲しており、いわば政治的な論争や牽制の成果を、あたかも「客観的なデータ」であるかのように言い張っているのだ。だが、現在では多くの研究が MBFC を信頼できるソースとして、機械学習モデルの学習・訓練にすら利用しており、これによって MBFC の恣意的な判断が LLMs のアルゴリズムに組み込まれ、政治的バイアスが技術的中立性や「科学的」という仮面を被って再生産されている。だが、生成 AI についてよく言われるように、生成 AI は最大公約数的な、つまりは意味論的に最も妥当で的確な距離をもつ言葉を順番に連結しているだけにすぎず、それが全体としてどういう意味や帰結になるかをあらかじめ考えているわけではない。MBFC もまた、現状のヘゲモニーである支配的な意見に収斂するようなアルゴリズムでバイアスや報道内容の評価をやっているにすぎず、本当に厳密で中立的な評価をしているわけではない。
2018年には「AIを用いてネットニュースの信頼性や政治的な偏りを判断するという研究報告」などという記事が日本では公開されていて、この中で MBFC のデータがメディアのバイアスを評価するために使われているどころか、「AI が MBFC と同じようにニュースサイトの信頼性と政治的偏りをチェックできるようプログラミング」していると報じている（引用中の強調は河本による）。つまり、AI をトレーニングするための教師なり「正解」のデータセットとして疑われてもいないということだ。これはまずいであろう。