情報源の信頼性チェックリスト(採点ルーブリックつき)
Source credibility checklist with a scoring rubric
一次/二次情報・日付・著者・利益相反・独立した裏づけの5観点で情報源をルーブリック採点し、CSVにまとめた出典から根拠の弱い主張を自動で洗い出します。
できること
「この情報は信用できるか」を感覚ではなく、決まった基準で判断します。
- 詳しい採点ルーブリック:一次/二次/三次情報(35点)、日付の新しさ(20点)、著者の責任の所在と専門性(25点)、利益相反(20点)
- 主張ごとに、同じサイトの記事や同じプレスリリースの書き直し(
derived_from)を1つにまとめて「独立した出典の数」を数え、裏づけ点を加味した主張スコアを算出 - 弱い主張に理由つきのフラグ:出典が1つだけ、一次情報なし、利害関係者の発表しかない、匿名のみ、古い/日付なし、反対の情報源がある など
- 古くても変わらない事実(歴史的事実など)は
time_sensitive=noで減点しない - Markdown レポートと採点済み CSV を出力。
--fail-on-weakで弱い主張があれば終了コード 2 - 弱い主張の補強方法と、スクリプトでは判断できない確認事項(引用の中身、偽文書、研究の質など)を手順化
使い方
python scripts/score_sources.py --template > sources.csv
python scripts/score_sources.py sources.csv --max-age-days 365 --out-md credibility.md --out-csv scored.csv
エージェントがルーブリックに沿って CSV を埋め、採点結果をもとに弱い主張を補強・限定・削除して報告します。
必要な環境
- Python 3(標準ライブラリのみ、ネットワーク不要)
注意点
- スコアはルーブリックの点数で、「正しい確率」ではありません。
- 判断材料(一次情報か、利益相反があるか等)は入力どおりに採点します。確認していない項目は unknown として入力する手順です。
- 引用が本当に主張を裏づけているか、文書が本物かは人やエージェントが確認する必要があります。
English description
Score sources on proximity, date, authorship, conflicts of interest and independent corroboration with a fixed rubric, and flag weak claims from a CSV of sources.
What it does
Judges whether sources deserve trust with a fixed rubric instead of gut feeling.
- Detailed scoring rubric: primary/secondary/tertiary (35 points), recency (20), author accountability and expertise (25), conflicts of interest (20)
- Per claim, merges articles on the same site and rewrites of the same press release (
derived_from) into one group, counts independent sources, and adds corroboration to the claim score - Weak claims get flags with reasons: single source, no primary source, only self-interested origins, only anonymous sources, stale or undated, contradicted by another source, and more
- Facts that do not change over time are marked
time_sensitive=noand are not penalised for age - Writes a Markdown report and a scored CSV;
--fail-on-weakexits with code 2 if any claim is weak - Step-by-step guidance for strengthening weak claims and for the checks a script cannot do (what the quote says, forged documents, study quality)
How to use
python scripts/score_sources.py --template > sources.csv
python scripts/score_sources.py sources.csv --max-age-days 365 --out-md credibility.md --out-csv scored.csv
The agent fills the CSV following the rubric, then strengthens, qualifies or drops weak claims and reports the result.
Requirements
- Python 3 (standard library only, no network)
Caveats
- Scores are rubric points, not probabilities of truth.
- The script scores what you enter (source type, conflicts, etc.); the procedure tells the agent to enter unknown for anything it did not check.
- Whether a quote really supports a claim, and whether a document is genuine, still has to be checked by a person or the agent.
インストール方法
- ダウンロードしたZIPを展開します(中に
source-credibility-checklist/フォルダとSKILL.mdがあります)。 - フォルダごと、使うエージェントのスキル置き場にコピーします。
- Claude:
~/.claude/skills/(プロジェクト単位なら.claude/skills/) - Hermes Agent:
~/.hermes/skills/ - Codex:
~/.agents/skills//Cursor:~/.cursor/skills/ - Claude アプリ(claude.ai):「カスタマイズ → スキル」からZIPをアップロード
- Claude:
- エージェントを再起動し、スキル一覧に表示されることを確認します。
出品者
AI Skill Market 公式
出品スキル 44 件