はじめに

ローカルLLM（Gemma3）にRAGを組み合わせた記事生成パイプラインを用いて、RAGあり・RAGなしの出力を比較するためのレポートです。
※出力した内容は必ずしも事実であるとは限りません。

仕組み（概要）

今回の記事生成パイプラインは以下のステップで動作します。

1. 入力: CLIからの命令をMCPサーバーが受け取る
2. 検索: 質問を元にGemma3が質問を整形し、Wikipedia RAG検索を実行する
3. 生成: Gemma3でRAGあり回答を生成する
4. 生成: 同じ質問をRAGなしでGemma3に回答させる
5. 保存: 比較記事をMarkdownとして保存する

今回の記事生成時間は約2分30秒でした。

生成した内容をChatGPTに評価させ、精度の違いを検証します。
ChatGPTへの指示は「下記の①と②の文章のファクトチェックをした上で回答精度の比較評価をしてださい」です。

モデル: gemma3:4b
wikipediaダンプ: jawiki-latest-pages-articles.xml.bz2 04-Mar-2026 01:54 4592085011
リポジトリ: https://github.com/YKZ-J/ja-wikipedia-rag

今回の差分

Gemma3 による Wikipedia RAG の最新処理フロー

概要

kb ask-wiki "..." rag実行時、Gemma3 は次の 2 フェーズで使われる。

1. クエリ整形フェーズ（JSON 生成）
2. RAG 回答生成フェーズ（本文回答）

英語回答の後処理ガード（英語判定→再生成）は廃止済み。現在はプロンプト自体を日本語固定して根本対処している。

---

フェーズ1: クエリ整形（_extract_search_queries_with_gemma）

目的

自然文の質問を、Wikipedia 検索向けのクエリ群（ベクトル検索用＋タイトル検索用）へ整形する。

モデル呼び出し

• モデル: gemma3:4b
• 主要パラメータ:
  • temperature=0.0
  • num_ctx=1024
  • num_predict=192（環境変数で上書き可）

JSON 失敗時の扱い

• done_reason=length で JSON 破損した場合のみ、num_predict を 2 倍以上にして 1 回リトライ
• それでも JSON が取れない場合、_extract_search_queries_rule_based へフォールバック

可視化

• stderr:
  • 正常: [_extract_search_queries] mode=gemma_json
  • フォールバック: [_extract_search_queries] mode=rule_based_fallback
• 出力 Markdown:
  • # 検索クエリ抽出モード セクションに gemma_json / rule_based_fallback を保存

---

フェーズ2: 検索（_retrieve_rag_docs）

実行内容

• nomic-embed-text でベクトル化
• Supabase/PostgreSQL で
  • search_documents($1::vector)（ベクトル検索）
  • title 条件検索（完全一致/ILIKE）
• _merge_ranked_docs で統合スコアリング

Gemma3 へ渡す件数とコンテキスト扱い

• 生成時に Gemma3 へ渡すのは 上位2件 を原則とします（以前は3件）。
• ただし記事本文が長くて入力上限を超える場合、"入り切る分だけ" を渡すために本文を文字数上限内に切り詰めます。
  • デフォルトは先頭記事を優先し、残り文字数があれば2記事目を部分的に投入します。
  • 環境変数で上限を調整可能: RAG_MAX_CONTEXT_CHARS（既定: 14000）、RAG_MIN_CONTEXT_CHARS（既定: 1200）。
  • コンテキストが大きすぎ API エラーが出た場合は自動で上限を縮小（70%に）して最大3回リトライします。縮小時は stderr に context_shrink_retry ログが出ます。

---

フェーズ3: 回答生成（_build_rag_messages → /api/chat）

Ollama Chat API（/api/chat）を使用

completion モード（/api/generate）では Wikipedia 本文を「前の回答」と誤認し、講評・採点モードに入る問題があった。 chat API に切り替え、system / user / assistant のロール分離でこれを構造的に解決している。

メッセージ構造（_build_rag_messages）

system:
  あなたは日本語の解説ライターです。
  ユーザーの質問に対して、提供された参照資料の事実だけを使い、
  簡潔で読みやすい日本語の解説文を作成してください。
  ルール:
  - 出力は解説本文のみ。採点・講評・称賛・批評・メタコメントは一切禁止。
  - 出力言語は日本語のみ（固有名詞を除き英語文禁止）。
  - 参照資料に記載がない点は『参照データに記載がありません』と明記。
  - 文字数指定がある場合は可能な範囲で従う。
  - 箇条書き中心ではなく、段落形式の説明文で記述。
  - 逆質問や前置きは不要。

user:
  {user_prompt}

  以下は参照資料です。この内容だけを根拠にして回答してください。

  {context}

重要なガード

rag_askでは次を実行している。

• query not in user_content の場合は RuntimeError を送出して処理中断

これにより、質問原文が user メッセージへ未注入のまま生成が進むことを防ぐ。

モデルパラメータ（RAG 回答）

• num_ctx=20000
• num_predict=2000
• temperature=0.08
• top_k=15
• top_p=0.85
• repeat_penalty=1.03

---

全体フロー（現行）

kb ask-wiki "東北大学について1500文字程度で解説して" rag
  -> ask_wiki_rag (MCP)
  -> rag_ask(query)
     -> _extract_search_queries(query)
        -> gemma_json 失敗時のみ rule_based_fallback
     -> _retrieve_rag_docs(query)
        -> 統合ランキング上位3件を選定
     -> _build_rag_messages(context, query)
     -> 質問原文注入チェック（未注入なら例外）
     -> /api/chat (gemma3:4b) で回答生成
     -> Vault Markdown 保存

---

運用上の確認ポイント

1. stderr に query_in_user_msg=True が出ること
2. 出力 Markdown の # 質問 が入力質問と一致すること
3. # 検索クエリ抽出モード が期待値（通常 gemma_json）であること

ChatGPTによる精度比較評価

両方の文章をファクトチェックし、正確性・精度を比較しました。下記に整理します。

---

① のファクトチェック

正確な点

• 所在地: 仙台市（宮城県）に本部がある → 正確。
• 国立大学: 〇
• 大学理念: 「研究第一」「門戸開放」「実学尊重」は東北大学の建学理念として正しい。
• 初代総長 澤柳政太郎の言葉: 実際の史料に基づく引用として妥当。
• 学部構成: 文学部、教育学部、法学部、経済学部、理学部、医学部、工学部 → 正確。
• 研究分野の評価: 理学部・物質科学・生命科学・情報科学の研究は高く評価されている → 〇
• 国際卓越研究大学: 東北大学はグローバルな研究大学として認定されている → 〇
• ランキング: QS世界大学ランキング 2024年：世界113位、アジア24位、日本5位。THEランキング：世界130位 → おおむね正しい（微差は年度や発表元に依存）。
• 総合型選抜・多様性・男女共同参画: 東北大学は門戸開放・多様性重視の方針を掲げている → 〇

不正確または疑わしい点

• 創立年: 「1907年」とあるが、正確には1907年に帝国大学に昇格したが、前身の仙台高等工業学校や医学専門学校などはそれ以前に存在。一般的には「1907年創立」と言うのは大筋で合っているが、表現としては歴史的背景を補足したほうが正確。
• 歴史の記述: 「北海道帝国大学設立と深く結びつく」「東北帝国大学農科大学が札幌に設立」 → これは誤り。東北大学の前身は仙台に設置された旧制仙台医科大学や仙台高等工業学校であり、北海道大学とは直接関係がない。
• 戦後の学部制移行: 「学部制から学部制へ」 → 文言ミス。「学科制から学部制へ」の誤記か。

総合評価

• 事実の正確性は比較的高く、理念・学部・研究・ランキングは正確。
• 歴史部分の一部に誤り（北海道大学との関係など）あり。
• 文献・史料に基づく引用を多く含むため学術的には信頼性が高いが、歴史解釈に注意が必要。

---

② のファクトチェック

正確な点

• 所在地: 仙台市（宮城県）に本部 → 正確
• 国立大学: 「国公立大学」と記述 → 正確だが、正確には国立大学
• 学術・研究分野: 医学・工学・理学などで世界トップレベルの研究 → 〇
• 学生生活: 活発で多様、サークル活動・自主性尊重など → 〇
• 国際交流・地域連携: 記述は正確

不正確または疑わしい点

• 設立年: 「1905年に設立」「1897年に東京医学専門学校として設立」 → 東京医学専門学校は東北大学の直接の前身ではない。東北大学は1907年に帝国大学として設立、1905年の仙台医科大学との混同あり。
• 仙台空襲被害: 1945年の空襲による大学被害の詳細は史料上不明瞭。被害自体はあるが、「甚大」という表現は誇張の可能性あり。
• 学生数: 約3万7千人 → 学部＋大学院合計は概ね正しいが、最新統計により変動。
• 学際的研究・特色: 記述は正確だが抽象的で具体的史料は引用されていない。

総合評価

• 概略や学術評価、学生生活の記述は正確。
• 歴史・設立年の記述に誤りや曖昧さがあり、精度は①より低い。
• 「仙台空襲」の強調など、事実の誇張が見られる。

---

精度比較

項目	①の精度	②の精度	コメント
所在地・国立/私立	高	高	両方正確
学部・研究分野	高	高	両方正確
大学理念・引用	高	中	②は具体的引用なし
設立年・歴史	中	低	①は1907年中心で正確、②は1897/1905混同
戦後・制度変遷	中	中	①の文言誤り「学部制から学部制」など
ランキング・国際評価	高	中	①は具体的数値あり、②はなし
学生生活・特色	中	高	②は詳細で分かりやすい

総合評価

• ①の方が事実精度は高い（特に歴史・理念・ランキングなど）。
• ②の方は文章が読みやすく学生生活・特色の描写に優れるが、設立年や歴史の事実誤りが多く、学術的正確性は①に劣る。

---

結論として、学術・歴史的事実を重視するなら ①が優れており、読みやすさ・学生生活・特色の解説を重視するなら ②が優れるが、事実精度は補正が必要です。

① RAGあり出力（Gemma3 + Wikipedia RAG）

---

質問

東北大学について1000文字ほどで解説して

回答

東北大学は、宮城県仙台市に本部を置く日本の国立大学であり、その歴史と現状は、日本の高等教育における重要な位置を占めている。1907年に創立された帝国大学の一つとして、その誕生は日本の近代化を象徴するものであり、その後の日本の学術界に多大な影響を与えてきた。 創立と理念東北大学は、明治政府が地方の学術レベルを高め、産業振興を促進するために設立した。創立当初は「研究第一」「門戸開放」「実学尊重」という3つの理念を掲げ、戦前の「研究第一」という標語は、東北大学の学風を形成する上で重要な役割を果たした。特に、澤柳政太郎初代総長が述べた「大学は無論学術の研究を主とするものなるが故に、学術の研究に重きを置くは大学としての特色にして各国の大学皆然らざるなし。」という言葉は、東北大学の存在意義を明確に示し、現在も大学理念の根幹をなしている。 組織と特色東北大学は、文学部、教育学部、法学部、経済学部、理学部、医学部、工学部の7つの学部と、大学院の各研究科、そして専門職大学院（法学、公共政策、会計）を擁する総合大学である。特に、理学部の研究力は高く評価されており、物質科学、生命科学、情報科学など、幅広い分野で世界をリードする研究成果を上げてきた。近年では、国際卓越研究大学に認定され、その研究能力はさらに高められている。 また、東北大学は、他大学に比べて総合型選抜の比率が高いことで知られており、多様なバックグラウンドを持つ学生を受け入れている。門戸開放の理念に基づき、学生・教員・職員を問わず真に実力のある者はそのバックグラウンドにかかわらず受け入れるという方針を掲げ、多様性を尊重する環境を築いている。さらに、男女共同参画社会の実現を目指し、様々な取り組みを推進している。 歴史と変遷東北大学の歴史は、北海道帝国大学（現在の北海道大学）の設立と深く結びついている。札幌農学校を母体とする東北帝国大学農科大学が札幌に設立された際、東北大学の基礎が築かれた。その後、仙台に理科大学が設立され、東北大学としての性格を確立した。戦後、大学令改正により学部制から学部制へと移行し、現在に至る。 評価と将来QS世界大学ランキングでは、2024年時点で第113位にランクインしており、アジアにおいては第24位、日本国内においては第5位である。また、THE世界大学ランキングにおいても、第130位にランクインしており、日本の大学としてはトップクラスの評価を得ている。 東北大学は、今後も国際的な研究拠点として、世界をリードする研究成果を創出し続けるとともに、社会に貢献する人材育成を推進していくことが期待されている。特に、国際卓越研究大学としての地位を確立し、グローバルな視点での研究活動をさらに強化していくことが課題となるだろう。 まとめ東北大学は、日本の高等教育における重要な存在であり、その歴史、理念、組織、そして研究成果は、日本の学術界全体に大きな影響を与えてきた。今後も、その研究力と人材育成を通じて、社会の発展に貢献していくことが期待される。 （1000文字）

---

検索クエリ（実際に使用）

• 東北大学 概要、沿革、研究、教育、組織

参照元 Wikipedia 一覧

• 【東北大学】

---

② RAGなし出力（Gemma3 単体）

---

質問

東北大学について1000文字ほどで解説して

回答

• 概要 _ 歴史 _ 学術・研究 _ 学生生活 _ 大学の特色 東北大学は、日本の高等教育を代表する名門の一つです。その長い歴史と卓越した学術水準は、国内外で高く評価されています。本稿では、東北大学について、その概要、歴史、学術・研究、学生生活、そして大学の特色に焦点を当てて解説します。 1. 概要 東北大学は、宮城県仙台市に本部を置く国公立大学です。1905年に設立され、「学のないところには国はない」という校訓のもと、日本の近代化に貢献してきました。現在では、医学、法学、経済学、工学、理学など幅広い分野で優れた研究成果を上げています。学生数は約3万7千人であり、国内大学の中でトップクラスの規模を誇ります。 2. 歴史 東北大学の歴史は、明治時代に遡ります。1897年に「東京医学専門学校」として設立されましたが、その後の政治状況の変化に伴い、1905年に現在の東北大学となりました。当初は、日本の北部地域における人材育成を目的として設立されましたが、次第に全国的な研究拠点としての地位を確立しました。 特に重要な出来事としては、1945年の仙台市空襲で甚大な被害を受けましたが、その後、迅速な復興と再建を行い、大学としての機能を維持しました。また、戦後の高度経済成長期には、科学技術の進歩に大きく貢献し、日本の産業発展を支えました。 近年では、グローバル化への対応や国際交流の推進にも力を入れています。海外の大学との連携プロジェクトなどを積極的に展開し、国際的な研究ネットワークの構築を目指しています。 3. 学術・研究 東北大学は、幅広い分野で世界トップレベルの研究を行っています。特に、医学、工学、理学分野においては、数々の画期的な発見や技術革新を生み出してきました。 _ 医学: 仙台に位置する日本国内最大の医療機関である東北大学病院は、高度な医療を提供し続けています。また、再生医療や創薬研究など、最先端の医療研究も積極的に行っています。 _ 工学: 材料科学、ロボット工学、情報通信工学など、幅広い分野で世界的に評価される研究成果を上げています。特に、ロボット技術においては、長年にわたりリーダー的な存在です。 _ 理学: 物理学、化学、生物学など、基礎科学の研究において、国内外の多くの研究者から高い評価を得ています。 これらの研究活動は、大学全体の教育にも大きな影響を与えています。学生たちは、最先端の研究に触れる機会を設けられ、研究者や技術者としての能力を育成されています。 4. 学生生活 東北大学の学生生活は、活発で多様性に富んでいます。学生会などの組織が盛んであり、学生たちが主体的に大学運営に参加しています。また、サークル活動や部活動も充実しており、学生たちは様々な興味関心に基づいて交流を深めています。 学業においては、厳格な教育体制のもと、高いレベルの学習が行われています。しかし、一方で、学生たちの自主性を尊重し、自由な研究活動や社会貢献活動にも力を入れています。 近年では、オンライン学習の導入など、新しい学習方法も積極的に取り入れられています。これにより、学生たちは、より柔軟で効果的な学習スタイルを確立することができます。 5. 大学の特色 東北大学は、以下の点で独自の特色を持っています。 _ 学際的な研究: 複数の分野を横断する学際的な研究を奨励しています。これにより、従来の枠にとらわれない革新的なアイデアや技術を生み出すことができます。 _ 地域との連携: 仙台市をはじめとする東北地方の企業や研究機関と密接な連携を図っています。これにより、地域社会の発展に貢献するとともに、大学の研究活動にも活路を見出しています。 _ 国際交流: 海外の大学や研究機関との国際交流を積極的に推進しています。これにより、グローバルな視点を持つ人材を育成し、国際的な研究ネットワークの構築を目指しています。 これらの特色は、東北大学が日本の高等教育において、今後も重要な役割を果たしていくことを示唆しています。 東北大学は、その長い歴史と卓越した学術水準、そして多様な学生生活を通して、日本の社会に大きく貢献してきました。今後も、革新的な研究活動を通じて、社会の発展に寄与し続けることが期待されます。

---

結論

精度が高いのは①（RAGあり）の方です。 RAGによって情報ソースを参照できるため正確性と具体性が向上します。