はじめに

ローカルLLM（Gemma3）にRAGを組み合わせた記事生成パイプラインを用いて、RAGあり・RAGなしの出力を比較するためのレポートです。
実装の説明や前回からの差分も記載します。
※出力した内容は必ずしも事実であるとは限りません。

仕組み（概要）

今回の記事生成パイプラインは以下のステップで動作します。

1. 入力: CLIからの命令をMCPサーバーが受け取る
2. 検索: 質問を元にGemma3が質問を整形し、Wikipedia RAG検索を実行する
3. 生成: Gemma3でRAGあり回答を生成する
4. 生成: 同じ質問をRAGなしでGemma3に回答させる
5. 保存: 比較記事をMarkdownとして保存する

生成した内容をChatGPTに評価させ、精度の違いを検証します。
ChatGPTへの指示は「下記の①と②の文章のファクトチェックをした上で回答精度の比較評価をしてださい」です。

モデル: gemma-3-1b-it-q4_0.gguf
wikipediaダンプ: jawiki-latest-pages-articles.xml.bz2 04-Mar-2026 01:54 4592085011
リポジトリ: https://github.com/YKZ-J/ja-wikipedia-rag

前回からの差分

• 出力に使用したコンテキスト量を追加しました

実装の説明

Bun と Biome — 概要

本プロジェクトでは軽量で高速な実行環境として Bunを使い、静的解析・整形・リンティングに biomeを利用します。Bun は TypeScript をネイティブに扱えるため、開発時のビルド・実行コストを下げられます。biome はコードフォーマットと lint を一体化したツールで、biome.jsonにプロジェクトの規約を置いてあります。

Bun の使い方（プロジェクト向け）

• 依存関係のインストール: bun installを使います。bun.lockbを生成し、高速にパッケージを解決します。

• スクリプト実行: TypeScript をそのまま実行できます。例:

# 開発（ウォッチ）

bun run dev

  

# 単発スクリプト実行（tsx を使う慣習）

bun run src/interface/cli/main.tsx

  

# テスト実行

bun test

• パッケージ追加/削除: bun add <pkg>/ bun remove <pkg>を利用します。

• 環境変数: .envを読み込みます。Bun.env.VARまたは process.env.VARで参照可能です。

Bun に関するプロジェクト規約

• TypeScript スクリプトは tsx実行を前提に作る（トップレベル await 等の活用）。

• 実行コマンドやデバッグは package.jsonの scripts に登録し、README の実行例と一致させる。

Biome の使い方（整形・lint）

• 実行:

biome check # lint と型チェックに連携

biome format # コード整形

• 設定: ルートの biome.jsonを編集してプロジェクト規約（プリティエ/エアビー等の設定）を管理します。

• CI 連携: プルリク時に biome checkを実行し、自動整形は biome formatをローカルで実行する運用を推奨します。

よく使うコマンドまとめ

# 依存インストール

bun install

  

# 開発（watch / dev server）

bun run dev

  

# テスト

bun test

  

# ビルド（必要な場合）

bun build

  

# lint / format

biome check

biome format

補足と注意点

• Bun は Node.js と完全互換ではない箇所があるため、外部ネイティブモジュールや一部の Node 固有 API を使う箇所は動作確認を行ってください。

• biome.jsonと tsconfig.jsonの整合性を保ち、型チェック・整形ルールがCIとローカルで一致するようにしておくと安定します。

このドキュメントはプロジェクトの開発フロー確認用の簡潔な概要です。必要なら実行例（package.jsonの scripts 抜粋や CI 設定）を追記できます。

ChatGPTによる精度比較評価

ファクトチェック結果

① の検証

• 所在地: 正しい。狸小路商店街は 札幌市中央区 にあり、南2条～南3条の中通「市道南2・3条中通線」に沿って南北約900メートルに伸びる全蓋式アーケードが特徴です。
• 店舗数: 約200軒という情報は概ね正しい。公式サイトなどでは約190〜200軒前後と記載されています。
• 歴史: 1869年（明治2年）に開拓使設置、1871年に札幌本庁舎移転は史実です。「狸小路」の名称由来について諸説あるのも正確で、松本代吉やタヌキ商人の話などは伝承として存在します。
• 技術導入: 商店街LAN、光ファイバー、無線LAN、監視カメラ、LEDサインなどの情報は一部事実確認済み（2002年以降のIT活用の取り組みとして報道あり）。
• 姉妹商店街: 松山中央商店街との姉妹提携も報道されている。
• 近年の施設: 「moyuk sapporo」の開業は2023年に報道されているため正しい。
• 誤り: 特に目立つ誤情報はなく、全体的に正確性が高い。

② の検証

• 所在地: 誤り。文章では「東京都豊島区巣端」と記載されていますが、狸小路商店街は 札幌市中央区 にあります。東京都には存在しません。
• 成立時期: 1960年代に誕生とありますが、狸小路は明治時代（1870年代）から存在する歴史ある商店街であり、1960年代というのは明らかに誤情報です。
• 店舗数・長さ: 約150店舗・全長約800mと記載されていますが、正確には店舗数は約200、全長は約900mです。
• 内容の正確性: 食品店・雑貨店・飲食店などのジャンル紹介は一般的な商店街の説明として妥当ですが、歴史・地理的情報が誤っているため信頼性は低い。

---

回答精度の比較評価

項目	① の精度	② の精度
地理的正確性	高い（札幌市中央区）	低い（東京都豊島区巣端は誤り）
歴史的正確性	高い（明治期からの形成、由来諸説）	低い（1960年代に誕生は誤り）
店舗数・構造	概ね正確（約200軒、全長約900m）	誤差あり（約150軒、約800m）
商店街の特徴・文化	正確かつ具体的（革新性、IT導入、地域連携）	一部妥当（個性や活気の説明は妥当）
総合評価	非常に高い	低い（誤情報多数）

結論:①の文章はファクトに基づき正確性が高く、札幌の狸小路商店街を網羅的かつ詳細に説明している。一方②は、所在地・成立年代など主要事実が誤っており、正確性・信頼性ともに低い。観光情報や一般的な商店街の特徴は概ね妥当ですが、歴史・地理情報の誤りにより利用には注意が必要です。

① RAGあり出力（Gemma3 + Wikipedia RAG）

---

質問

狸小路商店街を1000文字程度で説明して

回答

狸小路商店街は、札幌市中央区に位置する、北海道で歴史ある商店街の一つであり、その独特な魅力と革新的な取り組みで知られています。南2条と南3条の中通に位置する「市道南2・3条中通線」に沿って南北約900メートルに stretch する、全蓋式アーケードが特徴的な街区です。店舗数は約200軒と、多様なジャンルの店舗が軒を連ね、その総延長は、まるで迷路のような複雑な構造を形成しています。 この商店街の歴史は、1869年（明治2年）に明治政府が開拓使を設置し、1871年（明治4年）に札幌に本庁舎が移転したことに端を発します。当初は、現在の南1条から南3条までの間に町屋や飲食店が立ち並び、1873年（明治6年）頃にはすでに現在の西2丁目から西3丁目の一角を「狸小路」と呼んでいました。この名称の由来には諸説あり、1891年（明治24年）の『札幌繁昌記』によれば、かつては「狸小路」と呼ばれていたという説、1873年（明治6年）頃に侠客の松本代吉が「東座」を建てたことがきっかけで「狸小路」と呼ばれるようになったという説、そして、明治から大正初期にかけて人を化かして仕入れ価格の2倍で商品を売る商店がいたため、当時の商売人をタヌキに例えたという説などがあります。 狸小路商店街は、単なる商店街にとどまらず、札幌市の歴史と密接に結びついています。札幌市に初めて電話交換局が設置されたのは、この商店街の商人であり、ラジオやテレビの放送が始まるとすぐに宣伝広告（コマーシャルメッセージ）を行い、商店街としていち早くインターネットを活用し、光ファイバーや無線LANによる商店街LANを構築するなど、常に新しい技術を取り入れることで、その革新性を発揮してきました。24時間歩行者専用というユニークな設定も、その特徴の一つです。 近年では、2001年（平成13年）に松山中央商店街と「姉妹商店街」を締結するなど、地域との連携を強化しています。2002年（平成14年）には、アーケードに光ファイバーと無線LANによる商店街LANを構築し、監視カメラや発光ダイオード (LED) によるサインボードなどを設置するなど、情報技術の活用にも積極的に取り組んでいます。2008年（平成20年）には、「狸小路道産食彩協議会」を設立し、北海道産食材の直売店「道産食彩HUG」や飲食店街「ハグイート」をオープンするなど、地域資源の活用にも力を入れています。 2015年（平成27年）には、老舗の「中川ライター店」が閉店するなど、時代の変化に対応しながらも、その歴史と伝統を守り続けています。2023年には、大規模商業施設「moyuk sapporo」がオープンし、さらにその魅力を高めています。 狸小路商店街は、単なる買い物場ではなく、札幌の歴史と文化を体験できる場所であり、地域住民にとって大切なコミュニティの拠点としての役割も担っています。その活気ある雰囲気と、常に新しいことに挑戦する姿勢は、訪れる人々を魅了し続けています。

---

検索クエリ（実際に使用）

• 狸小路商店街を1000文字程度で説明して
• 狸小路商店街
• 実使用コンテキスト長: 9,000文字
• Wikipedia本文合計: 9,000文字
• 参照記事数: 1
• num_ctx: 12000
• num_predict: 1400
• 記事別本文文字数:
• 【狸小路商店街】: 9,000文字

参照元 Wikipedia 一覧

• 【狸小路商店街】

---

② RAGなし出力（Gemma3 単体）

---

質問

狸小路商店街を1000文字程度で説明して

回答

狸小路商店街：個性と活気を秘めた東京の隠れた名所 狸小路商店街は、東京都豊島区巣端にある、独特な雰囲気を持つ商店街です。その特徴は、他の商店街とは一線を画す「個人商店」の集積と、それらが織りなす「活気」と「個性」です。1960年代に、当時の商店街組合員たちが、既存の商店街の閉鎖的な雰囲気を打破し、よりオープンで多様な商店を誘致するために誕生しました。 ### 商店街の構造と特徴 商店街は、全長約800メートルに及ぶ、一本道（狸小路）という路面をメインに展開しています。この一本道に、約150もの店舗が軒を連ねています。この店舗の多くは、個人商店であり、チェーン店や大型店舗はほとんどありません。その結果、それぞれの店舗が独自の個性を持っており、まるで迷路のような、見どころの多い商店街となっています。 ### 商店街の店舗の種類 狸小路商店街には、実に多様なジャンルの店舗が存在します。 * 食品店:乾物、調味料、お茶、日本酒、輸入食品など、様々な食品を扱うお店が豊富です。特に、珍しい食材や日本独特の食品は、観光客にも人気があります。 * 雑貨店:昔懐かしいおもちゃ、文房具、日用品、手芸用品など、幅広いジャンルの雑貨を扱うお店が点在しています。 * 飲食店:ラーメン、うどん、そば、おにぎり、お惣菜など、手軽な食事を提供するお店が充実しています。また、個性的な創作料理を提供するお店も存在します。 * その他:書店、写真店、楽器店、美容院など、様々な業種の店舗も存在します。 ### 商店街の魅力 狸小路商店街の最大の魅力は、その「活気」と「個性」です。商店街の通りには、地元の人々や観光客が、日常会話を交わしながら、ゆっくりと時間を過ごしています。また、店舗の店主とのコミュニケーションも活発で、商品の選び方やお店の歴史など、様々な情報が得られます。 さらに、商店街には、季節ごとのイベントやセールが頻繁に開催され、賑わいを創出しています。特に、年末年始のセールや、春の七夕まつりなどのイベントは、多くの人々で賑わいます。 ### 商店街の歴史と未来 狸小路商店街は、誕生から半世紀以上が経過し、現在も多くの人々を魅了し続けています。商店街の運営は、商店街組合員によって行われており、組合員たちは、商店街の活性化のために、様々な取り組みを行っています。 近年では、観光客の増加に伴い、外国人向けの多言語対応や、Wi-Fi環境の整備など、外国人観光客のニーズに応えるための取り組みも進められています。今後も、狸小路商店街は、その個性と活気を維持し、東京を訪れる人々にとって、忘れられない思い出となる場所であり続けるでしょう。

---

結論

精度が高いのは①（RAGあり）の方です。 RAGによって情報ソースを参照できるため正確性と具体性が向上します。