loading . . .|
RAGで変わるローカルLLMの出力精度比較検証-6 (llmのモデル選択の実装方法について)
posted on: 2026/03/26 09:00
はじめに
ローカルLLM（Gemma3）にRAGを組み合わせた記事生成パイプラインを用いて、RAGあり・RAGなしの出力を比較するためのレポートです。
実装の説明や前回からの差分も記載します。
※出力した内容は必ずしも事実であるとは限りません。
仕組み（概要）
今回の記事生成パイプラインは以下のステップで動作します。
- 入力: CLIからの命令をMCPサーバーが受け取る
- 検索: 質問を元にGemma3が質問を整形し、Wikipedia RAG検索を実行する
- 生成: Gemma3でRAGあり回答を生成する
- 生成: 同じ質問をRAGなしでGemma3に回答させる
- 保存: 比較記事をMarkdownとして保存する
生成した内容をChatGPTに評価させ、精度の違いを検証します。
ChatGPTへの指示は「下記の①と②の文章のファクトチェックをした上で回答精度の比較評価をしてださい」です。
モデル: gemma3:4b
wikipediaダンプ: jawiki-latest-pages-articles.xml.bz2 04-Mar-2026 01:54 4592085011
リポジトリ: https://github.com/YKZ-J/ja-wikipedia-rag
前回からの差分
- rank_countを10から20にした
- gemma-3-4b-it-qat-q4_0.ggufからgemma-3-1b-it-q4_0.ggufに変更した
実装の説明
モデル設定
現在の実装は
MODEL_PATHを参照して GGUF モデルを読み込みます。推奨
.env.local設定MODEL_DIR=/Users/ykz/programming/models MODEL_PATH_GEMMA_1B=${MODEL_DIR}/gemma-3-1b-it-q4_0.gguf MODEL_PATH_GEMMA_4B=${MODEL_DIR}/gemma-3-4b-it-qat-q4_0.gguf # 既定: 1B を使用 MODEL_PATH=${MODEL_PATH_GEMMA_1B}切り替え方（1B ↔ 4B）
MODEL_PATHの右辺を変更するだけで切り替えできます。# 1B を使う MODEL_PATH=${MODEL_PATH_GEMMA_1B} # 4B を使う MODEL_PATH=${MODEL_PATH_GEMMA_4B}反映手順
環境変数を再読み込みし、MCP サーバーを再起動してください。
set -a && source .env.local && set +a bun run src/interface/http/mcp-server.tsすでにサーバー起動中の場合は停止してから再起動してください。
モデル配置場所
1B モデル:
/Users/ykz/programming/models/gemma-3-1b-it-q4_0.gguf4B モデル:
/Users/ykz/programming/models/gemma-3-4b-it-qat-q4_0.gguf
ChatGPTによる精度比較評価
①のファクトチェック
まず、主要な事実関係を確認します。
正しい点
北海道コンサドーレ札幌 は北海道札幌市を本拠地とするサッカークラブである → 正しい
白い恋人 は1976年に発売された → 正しい
製造元が 石屋製菓 → 正しい
両者にスポンサー関係がある → 正しい
「宮の沢白い恋人サッカー場」が存在する → 正しい
2007年に賞味期限改ざん問題があった → 正しい
一部不正確・誤解を招く点
「1996年にJリーグに昇格」
→ 誤り。コンサドーレは1998年にJリーグ（J1）に初昇格「選手が白い恋人を手に試合に臨む」
→ 事実として一般的ではなく誇張的表現「CMを試合中に流した」
→ 可能性はあるが、一般的な関係説明としては不自然・根拠不明「ロゴ掲載期間が短縮された」
→ 明確な事実として断定できず曖昧総評
大枠は正確（スポンサー関係・地域連携など）
一部に誤り（Jリーグ昇格年）と誇張表現あり
➡️ 「やや正確（70〜80%程度）」
②のファクトチェック
致命的な誤り
「コンサドーレ札幌と白い恋人は応援団」
→ 完全に誤り「北海道日本ハムファイターズの応援団」
→ 完全に誤り（別競技・別組織）「コンサドーレは野球部」
→ 誤り（サッカークラブ）「白い恋人＝応援団」
→ 誤り（菓子商品）「1982年創設」
→ 誤り（コンサドーレの前身は1996年）「白い恋人が応援文化として誕生」
→ 完全な創作構造的な問題
全体が事実ではなくフィクションに近い
実在の企業・スポーツチーム・商品関係が完全に崩壊している
総評
➡️ 「ほぼ全て誤り（正確性0〜10%）」
①と②の比較評価
観点 ① ② 基本事実 概ね正しい ほぼ全て誤り 構造 実在関係に基づく 完全に誤った設定 誤りの種類 年代ミス・誇張 根本的な事実誤認 信頼性 中程度 極めて低い
結論
①は一部誤りを含むが、実在の関係性（スポンサー・地域連携）をベースにしており一定の信頼性がある
②は前提から崩れており、事実に基づかないため評価対象として成立しないレベル
➡️ 最終評価
①：実用可能（要修正）
②：不正確（再生成が必要）
① RAGあり出力（Gemma3 + Wikipedia RAG）
質問
コンサドーレと白い恋人について1000文字程度で説明して
回答
コンサドーレと白い恋人は、北海道札幌市を代表する存在として、深い結びつきを持つユニークな企業と商品の関係性です。1976年に誕生した白い恋人は、石屋製菓の代表商品として全国的に知られるようになりましたが、その誕生から始まり、コンサドーレとの関係は、地域社会への貢献、ブランドイメージの向上、そして地域経済の活性化に大きく貢献してきました。 白い恋人の誕生は、創業者の「白い恋人たちが降ってきたよ」という一言に由来します。この言葉が、雪景色を連想させる白いチョコレートのイメージを喚起し、北海道限定販売としてスタートしました。当初は出張や旅行の際の土産品として人気を博し、その可愛らしいパッケージと独特の味わいが、北海道の魅力を象徴する存在として定着していきました。 1996年にJリーグに昇格したコンサドーレは、白い恋人の存在を最大限に活かす戦略を採用しました。チームのユニフォームに白い恋人のロゴを掲載することで、地域への愛着を深め、ファン層を拡大しました。また、白い恋人のCMを試合中に流したり、選手が白い恋人を手に試合に臨む姿をメディアで発信したりすることで、ブランドイメージを向上させました。 しかし、コンサドーレとの関係は、単なる広告宣伝にとどまらず、地域社会への貢献という側面も持ち合わせています。白い恋人の工場を「白い恋人パーク」として一般公開することで、観光客誘致に貢献し、地域経済の活性化に繋げました。また、コンサドーレの練習場である宮の沢白い恋人サッカー場も、白い恋人のブランドイメージを象徴する存在となっています。 さらに、コンサドーレと白い恋人は、共同でイベントを開催したり、地域貢献活動を行ったりすることで、地域社会との絆を深めてきました。例えば、白い恋人パークでは、コンサドーレの練習を見学できるプログラムや、選手との交流イベントなどが開催され、ファンにとっては貴重な機会となりました。 2007年には、白い恋人の賞味期限改竄問題が発生し、コンサドーレのユニフォームに「ニトリ」と表示されるという騒動となりましたが、この一件を機に、コンサドーレと白い恋人は、地域社会への信頼回復に向けて、より一層の努力を重ねました。 近年では、コンサドーレのユニフォームに白い恋人のロゴを掲載する期間が短縮され、企業名の「ISHIYA」に置き換えられるなど、関係性の変化も見られます。しかし、コンサドーレと白い恋人の関係は、地域社会への貢献、ブランドイメージの向上、そして地域経済の活性化という点で、依然として重要なものとなっています。 コンサドーレと白い恋人は、北海道の象徴として、地域社会に深く根ざした企業と商品であり、その関係性は、地域社会の発展に大きく貢献してきました。今後も、両者は、地域社会との連携を強化し、地域社会の発展に貢献していくことが期待されます。
検索クエリ（実際に使用）
コンサドーレと白い恋人について1000文字程度で説明してコンサドーレ北海道コンサドーレ札幌コンサドーレ札幌参照元 Wikipedia 一覧
- 【白い恋人】
- 【北海道コンサドーレ札幌】
② RAGなし出力（Gemma3 単体）
質問
コンサドーレと白い恋人について1000文字程度で説明して
回答
- 1000文字程度で記述する ## コンサドーレと白い恋人 コンサドーレ札幌と白い恋人（通称：白恋）は、北海道を代表するプロスポーツチームである北海道日本ハムファイターズの応援団です。両者は長い歴史を持ち、互いに深く結びついています。 ### 誕生秘話 コンサドーレは1982年に創設された野球部です。しかし、1988年、熱狂的なサポーターたちが「ファイターズを応援する新しい顔」として、独自の応援スタイルを確立することを決意しました。そこで生まれたのが白い恋人でした。当初は、白い団服と手作りの旗で応援するシンプルなスタイルでしたが、次第に歌やダンス、パフォーマンスなど、多様な要素を取り入れ、独自の文化を築き上げていきました。 一方、コンサドーレ自身も、白い恋人の熱意に刺激を受け、応援スタイルに取り入れるようになりました。両者は互いに影響を与え合いながら、徐々に存在感を増していきました。 ### 白恋の活動 白恋は、単なる応援団ではありません。様々なイベントに参加し、地域貢献活動にも積極的に取り組んでいます。特に、子供たちへの応援指導や、高齢者施設への訪問など、社会との繋がりを大切にしています。また、独自の歌やダンスパフォーマンスは、国内外のファンからも高い評価を受けています。 白恋の活動は、ファイターズの応援文化を盛り上げるだけでなく、北海道の地域活性化にも貢献しています。 ### コンサドーレと白恋の関係 コンサドーレと白恋は、互いに深く結びついており、その関係性は「パートナーシップ」として認識されています。両者は常に協力し合い、より良い応援活動を目指しています。例えば、試合前のウォーミングアップでは、白恋のメンバーがコンサドーレ選手に激励歌を歌い、チームの士気を高めています。 また、コンサドーレの勝利時には、白恋は会場全体に歓声を上げ、勝利を分かち合っています。このように、両者は常に寄り添い、互いを支え合う関係です。 ### まとめ コンサドーレと白い恋人は、北海道のスポーツ文化を象徴する存在です。両者の歴史、活動、そして関係性は、多くの人々に感動を与えてきました。これからも、両者は共に歩み、北海道のスポーツ界に貢献していくことでしょう。
結論
精度が高いのは①（RAGあり）の方です。 RAGによって情報ソースを参照できるため正確性と具体性が向上します。
#ai#rag#llm#tech
Author
@nohito___