はじめに

ローカルLLM（Gemma3）にRAGを組み合わせた記事生成パイプラインを用いて、RAGあり・RAGなしの出力を比較するためのレポートです。 ※LLMで作成した記事の部分は必ずしも事実であるとは限りません。

仕組み（概要）

今回の記事生成パイプラインは以下のステップで動作します。

1. 入力: CLIからの命令をMCPサーバーが受け取る
2. 検索: 質問を元にWikipedia RAG検索を実行する
3. 生成: Gemma3でRAGあり回答を生成する
4. 生成: 同じ質問をRAGなしでGemma3に回答させる
5. 保存: 比較記事をMarkdownとして保存する

リポジトリ: https://github.com/YKZ-J/ja-wikipedia-rag

前回からの差分

kb compare-wikiの作成と質問ヒット率向上のための調整

kb compare-wiki "<質問>" [--title "<比較記事タイトル>"] [タグ...] — RAGあり/なしの比較記事生成

compare-wikiは以下の流れで比較記事（Markdown）を自動生成します。

1. ask-wiki 相当の Wikipedia RAG 回答を生成（最大10件の参照を利用）
2. RAGあり出力の回答本文・使用した検索クエリ・参照元 Wikipedia タイトル一覧を抽出
3. 抽出した参照元タイトルごとに kb create-wiki を実行して個別の Wikipedia ソース記事（slug）を作成
4. 同じ質問を RAG なしで LLM に投げて比較用の出力を取得
5. 比較記事の frontmatter に sources として作成した slug を埋め、RAGあり／RAGなしの出力を両方含む Markdown を Vault に保存

オプション:

• --title "<比較記事タイトル>" : 生成する比較記事のタイトルを明示的に指定（省略時は自動タイトル）
• タグ... : 比較記事に付与するタグ（省略可）

例:

kb compare-wiki "アイヌ民族について教えて。世界の少数民族との共通点も教えて。3000文字程度でできるだけ詳しく" --title "RAGで変わるローカルLLMの出力精度比較検証" rag llm

# シンプル実行（タイトル省略、タグなし）
kb compare-wiki "東京都の観光名と歴史を1500文字で説明して"

生成される比較記事の frontmatter 例（sourcesに create-wikiで生成した slug が入る）:

---
title: 'RAGで変わるローカルLLMの出力精度比較検証'
slug: 'a1b2-rag-local-llm-comparison'
tags:
  - ai
  - rag
  - llm
sources:
  - 3f4a-wikipedia-source
  - 7c2d-wikipedia-source
created: 2026-03-21
updated: 2026-03-21
summary: 'RAGあり/なしの出力を比較した自動生成レポート'
image: 'https://.../blog.webp'
type: tech
isDraft: 'false'
---

注意:

• compare-wiki は内部で複数の外部API呼び出し／LLM処理を行うため実行に時間がかかる場合があります。MCP サーバーが稼働中であることを確認してください。
• Vault 出力先は VAULT_PATH を参照します（環境変数が未設定だとエラーになります）。

ChatGPTによる精度比較評価

両方の回答について、事実確認と内容の比較を行います。ポイントは「正確さ」「網羅性」「文章の信頼性」の3つです。

---

①のファクトチェックと評価

正確さ

• 開催主体: 「コンピュータエンターテインメント協会（CESA）」 → 正しい
• 会場: 「幕張メッセ」 → 正しい
• 起源: 「1988年に発足した『コンシューマ・ソフト・グループ』（CSG）主催の展示会」 → 一部誤り
• CESA自体は1996年に設立され、東京ゲームショウも1996年開催が初。1988年のCSGイベントは直接の前身ではあるが、「東京ゲームショウ」としては1996年開始。
• 任天堂関連: 岩田聡氏の基調講演やNintendo Switch展示に触れている → 事実として正確
• 開催日: 「通常2日間、2007年以前は3日間」 → おおむね正確
• 中止情報: 「2020年はオンライン開催」 → 正確
• 規模: 「Gamescomに次ぐ世界で2番目」 → 正確ではない
• 来場者数や規模は年によって変動。GamescomやE3と並ぶ世界三大ゲームショウとは言われるが、「2番目」と断定は誤解を招く
• 展示内容: ゲーム、技術、グッズ、実況大会など → 正確

網羅性

• 歴史（起源・任天堂との関わり）、開催形態、規模、展示内容に触れており、全体的にバランスが良い
• 「イベントやアトラクション」部分は簡潔すぎる

信頼性

• 年表や人物名（岩田聡氏）を具体的に示している
• ただし一部年代・規模の記述に曖昧さあり

---

②のファクトチェックと評価

正確さ

• 開始年: 「1979年に始まり」 → 誤り
• 正確には1996年
• 会場: 「千葉県千葉市国際幕張ホール」 → 幕張メッセとしては正しい
• 開催時期: 「8月下旬〜9月上旬」 → 毎年変動するが、おおむね正しい
• 参加企業: 任天堂・ソニー・バンダイナムコなど → 正しい
• 展示内容・イベント: eスポーツ大会、ゲーム実況、体験コーナー、音楽コンサート → 正確

網羅性

• 開催時期・場所、展示内容、参加企業、イベント・アトラクション、意義の5つの視点で詳細に説明
• 歴史の記述が誤っており、過去の経緯や経緯に関する具体的情報が欠落
• 規模や世界的評価の比較はほとんど触れず

信頼性

• 記述が丁寧で、構造化されている
• しかし歴史部分の誤り（1979年開始）が致命的

---

比較まとめ

観点	①	②
正確さ	歴史の一部や規模に曖昧さあり。任天堂関連やオンライン開催などの記述は正確	開始年が誤り（1979年）、歴史に重大な誤りあり。それ以外の展示・イベントは正確
網羅性	歴史、任天堂関係、開催形態、規模、展示内容を広くカバー	開催時期・場所・展示・参加企業・イベント・意義は丁寧だが、歴史が薄い
文章の信頼性	年表・人物名など具体的で信頼感あり	構造化されていて読みやすいが、歴史の誤りで信頼性低下

総合評価

• ①の方が優れている
• 歴史や任天堂との関わりなど、事実情報の精度が高く、全体像がつかみやすい
• ②は文章構造は整っているが、歴史の誤り（1979年開始）が致命的で信頼性が低い

---

必要であれば、①の内容を基に②のように読みやすく整理した「正確かつ網羅的な東京ゲームショウ説明文」を作ることもできます。作りますか？

① RAGあり出力（Gemma3 + Wikipedia RAG）

---

質問

東京ゲームショウについて1500文字程度で説明して

回答

東京ゲームショウ（TOKYO GAME SHOW）は、コンピュータエンターテインメント協会（CESA）の主催により年に一度開催される、コンピュータゲームをはじめとするコンピューターエンタテイメントの総合展示会です。幕張メッセを会場とし、日本最大級の規模を誇り、多くのファンが押し寄せるイベントとして、世界三大ゲームショウの一つ（E3、Gamescomと並ぶ）として知られています。 東京ゲームショウの起源は1988年に発足した「コンシューマ・ソフト・グループ」（CSG）が主催していた展示会に遡ります。当初は家庭用ゲーム業界から独立して開催される形で、任天堂をはじめとするソフトメーカー中心のイベントとして始まりました。この背景から、長年にわたり東京ゲームショウは任天堂との距離を置いていましたが、2003年と2005年には社長（当時）の岩田聡氏が基調講演を行い、2018年にはNintendo Switch向けソフトの展示をサポートするために業界関係者向けの商談スペースを設けるなど、近年は任天堂も積極的に参加しています。 通常、開催から2日間（木・金曜日）の期間で行われます。2007年以前は3日間の開催でしたが、初日のみビジネスデイとしてゲーム業界関係者、報道関係者、流通関係者のみの公開となり、残りの2日間は一般公開日として行われていました。1996年開催から2020年まで一度も中止されることなく開催されていましたが、2020年は新型コロナウイルスの影響により、会場での開催が見送られ、オンラインのみでの開催となりました。 東京ゲームショウの規模は、Gamescom（ドイツ）に次ぐ世界で二番目に大きいゲームショウです。来場者のコスプレが認められていることなどから、一般来場者数も非常に多く、イベントの盛り上がりは顕著です。 展示内容としては、最新のゲーム機やゲームソフトの発表、ゲーム業界の最新技術の紹介、ゲーム関連グッズの販売など、多岐にわたります。また、ゲーム実況やゲーム大会などのイベントも開催され、ゲームファンにとっては聖地とも言える場所となっています。 東京ゲームショウは、ゲーム業界の動向を把握し、新たなビジネスチャンスを探すための重要なイベントとして、ゲームメーカー、ゲーム機メーカー、ゲーム関連企業など、多くの企業が参加しています。

---

検索クエリ（実際に使用）

• 東京ゲームショウについて1500文字程度で説明して

参照元 Wikipedia 一覧

• 【東京ゲームショウ】
• 【東京都指定文化財一覧】
• 【多摩市指定文化財一覧】
• 【東京都公文書館】
• 【東京国際文芸フェスティバル】
• 【東京都生活文化スポーツ局】
• 【スポーツ文化ツーリズム】
• 【東京プラネタリー☆カフェ】
• 【ロイヤルストリート・ベランダ】
• 【有明コロシアム】

---

② RAGなし出力（Gemma3 単体）

---

質問

東京ゲームショウについて1500文字程度で説明して

回答

東京ゲームショウについて 東京ゲームショウは、日本を代表するビデオゲームの展示会であり、毎年秋に千葉県千葉市国際幕張ホールで開催されています。1979年に始まり、40年以上の歴史を持つ、世界最大級のゲームイベントの一つとして知られています。 ### 開催時期と場所 東京ゲームショウは、通常8月下旬から9月上旬にかけて開催されます。この期間は、秋に発売される新ゲームの情報が盛りだくさんの時期であり、多くのゲーム会社や業界関係者が集まるため、熱気にあふれています。 千葉県千葉市国際幕張ホールは、広大なスペースを持つ大型展示会場で、東京ゲームショウの開催に適した環境を提供しています。この会場では、最新のゲーム機やソフトウェア、アトラクションなどが展示され、ゲームファンにとっては見ごたえのあるイベントとなっています。 ### 展示内容 東京ゲームショウには、様々なジャンルのゲームが展示されます。最新のハイエンドゲームはもちろんのこと、スマートフォン向けのゲームや家庭用ゲーム機、アーケードゲームなど、幅広いラインナップが揃っています。 また、ゲームの発表会やデモンストレーションが行われ、開発者たちが最新情報を紹介します。これにより、来場者は次々と発売される新ゲームの情報をいち早く入手することができます。 さらに、ゲーム関連のグッズやアクセサリー、トラخيصキャラクターグッズなども販売されており、ゲームファンはここでしか手に入らないアイテムを見つけることができます。 ### 参加企業 東京ゲームショウには、国内外の大手ゲーム会社から中小規模のインディーゲーム開発者まで、幅広い企業が参加します。 大手ゲーム会社の代表的な例としては、任天堂、ソニー・インタラクティブエンターテインメント、バンダイナムコエンターテインメントなどが挙げられます。これらの企業は、自社の最新作や次世代機に関する情報を発表し、業界のトレンドを牽引します。 また、近年では、メタバース関連の企業やVR/AR技術を活用したゲーム開発者も参加するようになり、新たな可能性が広がりつつあります。 ### イベントとアトラクション 東京ゲームショウには、展示ブース以外にも様々なイベントやアトラクションが用意されています。 _ ゲーム実況大会:プロゲーマーによるゲーム実況大会は、多くの来場者の注目を集めます。 _ eスポーツ大会:eスポーツの競技性も高く評価されており、様々なタイトルでトーナメントが行われます。 _ 体験コーナー:最新ゲームを実際にプレイできる体験コーナーでは、開発者やスタッフが来場者にゲームの説明や操作方法などを解説します。 _ ゲーム音楽コンサート:印象的なゲーム音楽を演奏するバンドやアーティストが登場し、会場に感動と興奮をもたらします。 これらのイベントやアトラクションは、東京ゲームショウの魅力を高め、多くの来場者を惹きつけます。 ### 東京ゲームショウの意義 東京ゲームショウは、ビデオゲーム業界にとって重要な役割を果たしています。 _ 業界全体の情報交換:開発者やメーカー間の情報交換を通じて、業界全体の技術革新を促進します。 _ 消費者への情報提供:新しいゲームの情報を提供し、消費者の購買意欲を高めます。 * メディア露出の増加:大手メディアが東京ゲームショウを取材するため、ゲーム業界の注目度を高めます。 これらの意義から、東京ゲームショウは、ビデオゲーム業界の発展に不可欠な存在となっています。 ### まとめ 東京ゲームショウは、ビデオゲームの魅力を伝えるだけでなく、業界全体の活性化にも貢献する、重要なイベントです。最新のゲーム技術やトレンドをいち早く体験できるとともに、ゲームファンにとっても見ごたえのあるイベントとなっています。今後も、東京ゲームショウが日本のゲーム産業を牽引し、世界的なゲームイベントとして発展していくことが期待されます。

---

結論

精度が高いのは①（RAGあり）の方です。 RAGによって最新・多様な情報ソースを参照できるため網羅性と具体性が向上します。