情報源の信頼性チェックリスト(採点ルーブリックつき)

Source credibility checklist with a scoring rubric

一次/二次情報・日付・著者・利益相反・独立した裏づけの5観点で情報源をルーブリック採点し、CSVにまとめた出典から根拠の弱い主張を自動で洗い出します。

ClaudeHermes AgentCodexCursorMIT(改変・再配布・商用利用可)Python

できること

「この情報は信用できるか」を感覚ではなく、決まった基準で判断します。

  • 詳しい採点ルーブリック:一次/二次/三次情報(35点)、日付の新しさ(20点)、著者の責任の所在と専門性(25点)、利益相反(20点)
  • 主張ごとに、同じサイトの記事や同じプレスリリースの書き直し(derived_from)を1つにまとめて「独立した出典の数」を数え、裏づけ点を加味した主張スコアを算出
  • 弱い主張に理由つきのフラグ:出典が1つだけ、一次情報なし、利害関係者の発表しかない、匿名のみ、古い/日付なし、反対の情報源がある など
  • 古くても変わらない事実(歴史的事実など)は time_sensitive=no で減点しない
  • Markdown レポートと採点済み CSV を出力。--fail-on-weak で弱い主張があれば終了コード 2
  • 弱い主張の補強方法と、スクリプトでは判断できない確認事項(引用の中身、偽文書、研究の質など)を手順化

使い方

python scripts/score_sources.py --template > sources.csv
python scripts/score_sources.py sources.csv --max-age-days 365 --out-md credibility.md --out-csv scored.csv

エージェントがルーブリックに沿って CSV を埋め、採点結果をもとに弱い主張を補強・限定・削除して報告します。

必要な環境

  • Python 3(標準ライブラリのみ、ネットワーク不要)

注意点

  • スコアはルーブリックの点数で、「正しい確率」ではありません。
  • 判断材料(一次情報か、利益相反があるか等)は入力どおりに採点します。確認していない項目は unknown として入力する手順です。
  • 引用が本当に主張を裏づけているか、文書が本物かは人やエージェントが確認する必要があります。
English description

Score sources on proximity, date, authorship, conflicts of interest and independent corroboration with a fixed rubric, and flag weak claims from a CSV of sources.

What it does

Judges whether sources deserve trust with a fixed rubric instead of gut feeling.

  • Detailed scoring rubric: primary/secondary/tertiary (35 points), recency (20), author accountability and expertise (25), conflicts of interest (20)
  • Per claim, merges articles on the same site and rewrites of the same press release (derived_from) into one group, counts independent sources, and adds corroboration to the claim score
  • Weak claims get flags with reasons: single source, no primary source, only self-interested origins, only anonymous sources, stale or undated, contradicted by another source, and more
  • Facts that do not change over time are marked time_sensitive=no and are not penalised for age
  • Writes a Markdown report and a scored CSV; --fail-on-weak exits with code 2 if any claim is weak
  • Step-by-step guidance for strengthening weak claims and for the checks a script cannot do (what the quote says, forged documents, study quality)

How to use

python scripts/score_sources.py --template > sources.csv
python scripts/score_sources.py sources.csv --max-age-days 365 --out-md credibility.md --out-csv scored.csv

The agent fills the CSV following the rubric, then strengthens, qualifies or drops weak claims and reports the result.

Requirements

  • Python 3 (standard library only, no network)

Caveats

  • Scores are rubric points, not probabilities of truth.
  • The script scores what you enter (source type, conflicts, etc.); the procedure tells the agent to enter unknown for anything it did not check.
  • Whether a quote really supports a claim, and whether a document is genuine, still has to be checked by a person or the agent.

インストール方法

  1. ダウンロードしたZIPを展開します(中に source-credibility-checklist/ フォルダと SKILL.md があります)。
  2. フォルダごと、使うエージェントのスキル置き場にコピーします。
    • Claude:~/.claude/skills/(プロジェクト単位なら .claude/skills/)
    • Hermes Agent:~/.hermes/skills/
    • Codex:~/.agents/skills//Cursor:~/.cursor/skills/
    • Claude アプリ(claude.ai):「カスタマイズ → スキル」からZIPをアップロード
  3. エージェントを再起動し、スキル一覧に表示されることを確認します。

Windows・Mac 別、エージェント別のインストール手順

出品者

AI Skill Market 公式

出品スキル 44 件

出品者のプロフィールとスキル一覧