loading . . .|
RAGで変わるローカルLLMの出力精度比較検証
posted on: 2026/03/20 09:00
はじめに
ローカルLLM（Gemma3）にRAGを組み合わせた記事生成パイプラインを構築し、RAGあり・RAGなしの出力をChatGPTで比較評価した検証レポートです。 ※LLMで作成した記事の部分は必ずしも事実であるとは限りません。
仕組み（概要）
リポジトリ: https://github.com/YKZ-J/ja-wikipedia-rag
今回の記事生成パイプラインは以下のステップで動作します。
- 入力: CLIやスクリプトからの命令でMCPサーバーが受け取る（例: 記事タイトルや要件）
- クエリ抽出: 受け取ったテキストから検索／要約用の検索クエリを抽出・正規化する
- 検索（RAG準備）: 抽出クエリを使い埋め込みベースの検索を行う（ローカル埋め込みAPI → ベクトルDB / Supabaseの
search_documentsRPC）。上位N件（このプロジェクトでは10件）を取得 - プロンプト組立: 取得した文書をコンテキストとして組み込み、生成用プロンプト（制約・テンプレート含む）を作成
- 生成: 組み立てたプロンプトをローカルLLM（Gemma3）に投げ、記事テキストを生成する。生成パラメータは速度・品質で調整可能
- 保存と管理: 生成結果をMarkdownファイルに保存する
その後、別途WikipediaのデータをRAGとして与えた場合と与えなかった場合のGemma3の出力をChatGPTに比較評価させました。
質問文は「アイヌ民族について教えて。世界の少数民族との共通点も教えて。3000文字程度でできるだけ詳しく解説して」です。
以下にその結果を示します。
ChatGPTによる精度比較評価
RAG出力（①）とRAGなし出力（②）の2つを、ChatGPTに比較させた評価結果です。
両方の回答を比較すると、精度や正確性の観点で違いが明確に見えます。順に評価します。
①の特徴と評価
良い点
- 歴史や文化、社会構造、宗教、儀式などをかなり詳細に記述している。
- アイヌの独自性や「モシリ（大地）」と自然の関係、先住民族としての地位、文化の喪失と再生、民族自決権の説明など、学術的・社会的な観点を網羅。
- 世界の少数民族との共通点として、文化の喪失と再生、環境との調和、多様な文化との共存といった比較が具体的。
- 現代の課題（権利、文化継承、差別、土地問題）についても言及。
- 国立アイヌ民族博物館やウポポイの具体例を挙げており、現実との接続がある。
懸念点
- 一部の専門用語が正確でない場合がある（例：アイヌ語を「タキータ語」に分類、とあるが正確には「孤立言語」または言語系統未確定とされるのが学術的には正しい）。
- 文献や出典としてWikipediaの「世界の民謡一覧」「Unicode一覧」などがリストされているが、内容と関連が薄いものもある。
総合評価
- 歴史・文化・現代課題・世界比較の観点で非常に包括的で、読者がアイヌ民族を理解する上で精度が高い。
- 一部語彙の正確性に注意が必要だが、情報量・網羅性は高い。
②の特徴と評価
良い点
- 歴史、文化、生活様式、世界の少数民族との共通点の順に整理され、構造がわかりやすい。
- 自然との共存や伝統知識体系の比較、現状の課題についても触れている。
- 語彙や表現が比較的正確で、学術的過剰な誤解は少ない。
懸念点
- 歴史部分で「縄文時代（紀元前3世紀頃～紀元前3世紀）」など年代の記述が明らかに誤っている（縄文時代は約1万年前～紀元前3世紀頃）。
- オホーツク文化との関係や松尾芭蕉の記録の部分は、史実としてやや誇張されている可能性がある。
- 社会構造の説明で「氏族（クプクプ）」とされているが、学術的には「アプ」が正しい。
- 現代の取り組みについては簡潔すぎて具体性が不足。
総合評価
- 構造は整理されているが、年代や専門用語の正確性に誤りがあるため、学術的な精度は低い。
- 世界の少数民族との共通点についても概念的であり、①ほど具体的ではない。
✅ 総合比較
観点 ①（RAGあり） ②（RAGなし） 歴史的精度 高い（起源・縄文文化・交易など具体的） 低い（年代の誤り、オホーツク文化の解釈や松尾芭蕉の記述に疑問） 文化・社会構造 高い（アプ・儀式・技術・芸術など詳細） 中程度（クプクプなど不正確、一部生活様式のみ） 現代課題 高い（権利、差別、文化保護、土地問題、博物館・ウポポイ） 中程度（文化保護のみ、具体性が少ない） 世界の少数民族との比較 高い（文化喪失・自然との調和・多様性・民族自決） 中程度（自然・社会構造・知識体系に触れるが簡潔） 文献・出典 Wikipediaベースだが広く参照 特定出典なし 結論:精度・網羅性・現実との整合性の観点で①の方が明らかに高い。②は構造的には読みやすいが、年代や専門用語に誤りがあるため、学術的には信頼性が劣る。
① RAGあり出力（Gemma3 + Wikipedia RAG）
WikipediaをRAGコンテキストとして与えたGemma3の生成結果です。
質問
アイヌ民族について教えて。世界の少数民族との共通点も教えて。3000文字程度でできるだけ詳しく解説して
回答
アイヌ民族：北海道の先住民族とその世界における位置づけ
アイヌ民族（アイヌみんぞく）は、北海道や北東ロシアの沿岸地域に、何千年もの間、独自の文化を育んできた民族集団です。日本語の「民族」とは異なる、独自の歴史、言語、社会構造、宗教、芸術、技術といった要素を持っています。アイヌは、北海道を「モシリ」（大地）と呼び、その土地と深く結びつき、自然の中で持続可能な暮らしを送ってきました。
1. アイヌ民族の歴史と特徴
アイヌの起源については、まだ多くの謎に包まれていますが、縄文文化を系譜とする説が有力です。縄文時代（約7,000年前〜1800年前）に北海道に定住し、その後、渡来人との交流や交易を通じて独自の文化を形成していきました。
- 言語: アイヌ語は、他の言語とは全く異なる特徴を持つ「タキータ語」に分類されます。文字を持たず、口頭で伝えられる歌や物語が中心でした。
- 社会構造: アイヌ社会は、家系（アプ）を基本とした氏族社会でした。アプは、血縁関係に基づいた親族集団であり、土地や資源を共有し、共同で意思決定を行いました。
- 宗教: アイヌの宗教は、自然を崇拝する「カミ」信仰でした。山や川、海などの自然の中に神が宿ると考え、神々への捧げ物（主に動物の角や骨）を供え、祈りを捧げていました。
- 文化: アイヌ文化は、多様な要素を含んでいます。
- 芸術: アイヌの芸術は、自然をモチーフにした精巧な彫刻や織物、装飾品などです。特に、木彫は、アイヌの信仰や生活と密接な関係がありました。
- 技術: アイヌは、優れた漁撈技術や狩猟技術を持っていました。特に、ホエ（丸木舟）は、アイヌの航海技術の粋を集めたものでした。
- 儀式: アイヌの儀式は、カミ信仰に基づいて行われました。特に、イオマンテ（祭神舞）は、アイヌの重要な儀式であり、自然への感謝と祈りを表現するものでした。
2. 世界の少数民族との共通点
アイヌ民族は、世界中の少数民族と共通する多くの特徴を持っています。
- 先住民族としての地位: アイヌは、北海道を先住地として、長い間、独自の文化を維持してきました。これは、世界中の先住民族の共通点です。
- 文化の喪失と再生: アイヌ文化は、明治時代以降、日本の近代化政策によって大きな影響を受け、衰退しました。しかし、近年、アイヌの文化を保護・再生するための取り組みが進められています。これは、多くの少数民族が経験する「文化の喪失と再生」の過程です。
- 民族自決権の主張: アイヌは、民族自決権を主張しています。民族自決権とは、民族が自らの政治的地位を決定する権利のことです。アイヌは、その文化や言語を維持し、アイヌの権利を保障するために、様々な活動を行っています。
- 多様な文化との共存: アイヌは、他の民族との交流を通じて、多様な文化を吸収し、融合してきました。これは、世界中の少数民族が経験する多様な文化との共存の過程です。
- 環境との調和: アイヌは、自然を畏敬の念を持って扱い、自然環境と調和した暮らしを送ってきました。これは、近年、世界中で注目されている「持続可能な開発」の理念と共通しています。
3. アイヌ民族の現状と課題
現代のアイヌは、日本国籍を持つ一般市民の一員として生活しています。しかし、アイヌの権利や文化を保障するための課題も残されています。
- 民族的権利の保障: アイヌの権利を保障するために、先住民族としての地位を明確化し、民族的な権利を法的に保障する必要があります。
- 文化の再生: アイヌ文化を保護・再生するために、アイヌ語の保存・教育、アイヌの伝統文化の継承、アイヌ文化の観光振興など、様々な取り組みが必要です。
- 差別問題の解消: アイヌに対する差別問題は依然として存在します。差別をなくすためには、アイヌに対する理解を深め、共生社会の実現を目指す必要があります。
- 土地問題: アイヌの伝統的な土地（モシリ）の権利を保障する必要があります。
- アイヌの選択的権利の保障: アイヌの文化やアイデンティティを維持するために、アイヌの言語や文化を保護するための特別な措置が必要です。
4. アイヌ民族博物館と"ウポポイ"
2020年に開館した国立アイヌ民族博物館は、アイヌの歴史や文化を学ぶための重要な拠点となっています。さらに、白老町のポロト湖畔に整備された「ウポポイ（民族共生象徴空間）」は、アイヌの文化と自然、そして共生社会を象徴する空間として、国内外から注目されています。
アイヌ民族は、その独自の文化と歴史を通じて、私たちに多くのことを教えてくれます。アイヌの文化を理解し、尊重することで、多様な文化共生社会を実現していくことが、私たちにとって重要な課題です。
検索クエリ（実際に使用）
アイヌ民族について教えて。世界の少数民族との共通点も教えて。3000文字程度でできるだけ詳しくアイヌ民族アイヌ少数民族少数参照元 Wikipedia 一覧
- 【世界の民謡一覧】
- 【Unicode一覧 1F000-1FFFF】
- 【少数民族】
- 【アイヌ民族旗】
- 【アイヌ】
- 【アイヌ民族運動】
- 【中国の少数民族】
- 【アイヌ民族博物館】
- 【ドイツ少数民族】
- 【少数決】
② RAGなし出力（Gemma3 単体）
WikipediaなどのRAGコンテキストを与えず、Gemma3のみで生成した結果です。
アイヌ民族について：歴史、文化、そして世界の少数民族との共通点
アイヌ（Ainu）は、日本の北海道・東北地方に暮らす、日本固有の民族です。彼らは、独自の言語、宗教、社会構造、そして生活様式を持ち、その独特な文化は、日本社会における少数民族のあり方を考える上で重要な位置を占めています。本稿では、アイヌ民族の歴史、文化、生活様式、そして世界の少数民族との共通点について、3000文字程度で詳しく解説します。
1. アイヌ民族の歴史と成り立ち
アイヌ民族の起源は、明確には分かっていません。しかし、考古学的な調査や民族誌学の研究から、少なくとも縄文時代（紀元前3世紀頃〜紀元前3世紀）には既に存在していたことが確認されています。
- 縄文時代からの系譜: アイヌ人は、縄文時代の漁撈文化を基盤に、独自の技術や知識を習得していきました。彼らは、鮭やマスなどの魚を獲るための漁法や、木を伐採して家を建てるための技術を開発しました。
- オホーツク文化との関係: アイヌ人は、オホーツク文化（紀元前2000年頃〜紀元後16世紀頃）の影響を強く受けています。オホーツク文化は、マスト（鯨の捕獲船）を用いて鯨を狩り、その骨を加工して利用した文化です。アイヌ人も、この影響を受け、鯨を狩る技術や、鯨骨を加工する技術を習得しました。
- 松尾芭蕉の記録: 江戸時代、旅人である松尾芭蕉は、アイヌの人々を訪れ、「アイヌの知恵」や「アイヌの文化」を記録しました。彼の記録は、アイヌ民族の文化を理解するための貴重な資料となっています。
- 明治政府の政策: 明治政府は、アイヌ民族を「日本の国民」と認めましたが、同時に、彼らの土地を奪い、伝統的な生活様式を破壊しました。この過程で、アイヌ民族は、多くの苦難を経験しました。
2. アイヌ民族の文化と生活様式
アイヌ民族の文化は、彼らが住む厳しい自然環境の中で培われた独特のものです。
- 言語: アイヌ語は、日本語とは全く異なる独立した言語です。アイヌ語は、音調や手勢が非常に重要であり、会話の内容によって意味が大きく変わります。アイヌ語は、現在、話者数が大幅に減少し、消滅の危機に瀕しています。
- 宗教: アイヌ宗教は、自然に対する畏敬の念と、神々（イオイナ）を信仰する宗教です。彼らは、山、川、海、動物など、自然の中に神々が宿ると信じていました。アイヌ宗教は、自然との調和を重視し、自然を尊重する価値観を持っています。
- 生活様式: アイヌ人は、遊牧生活と漁撈生活を営んでいました。彼らは、鮭やマスなどの魚を獲るために、網や銛などの道具を使用しました。また、熊やシカなどの動物を狩るために、弓や矢を使用しました。
- 家屋: アイヌ人は、雪や雨に強い、円柱形の家（カモシー）に住んでいました。カモシーは、周囲を木で囲み、その上に泥や土で屋根を葺きます。
- 衣服: アイヌ人は、毛皮や動物の毛を織った衣服を着用していました。彼らは、冬の寒さをしのぐために、厚手の衣服を着用しました。
- 食文化: アイヌ人は、鮭、マス、熊、シカ、鹿などの肉、根菜類などを主な食料としていました。彼らは、これらの食材を、焼いたり、煮たり、蒸したりして調理しました。
3. アイヌ民族と世界の少数民族の共通点
アイヌ民族は、その独特の文化と生活様式を通じて、世界の他の少数民族との共通点も多く持っています。
- 先住民族としての特徴: アイヌ民族は、日本の北海道・東北地方に長年住み、独自の文化を形成してきた先住民族です。彼らは、独自の言語、宗教、社会構造を持ち、他の民族とは異なる独自の歴史を刻んできました。
- 自然との共存: アイヌ民族は、自然環境との調和を重視し、自然を尊重する価値観を持っています。これは、アマゾン先住民や北米の先住民族など、他の自然環境に適応した先住民族との共通点です。
- 伝統的な社会構造: アイヌ民族の社会構造は、氏族（クプクプ）を基本とした階層社会です。各クプクプは、独自の領土と権力を持ち、集落の運営や紛争解決において重要な役割を果たしています。これは、マサイ族（ケニア）の氏族制度や、インカ帝国の血縁制度など、他の少数民族の社会構造と共通点があります。
- 伝統的な知識体系: アイヌ民族は、薬草、動物、植物などに関する独自の知識体系を持っています。これは、他の少数民族の伝統医学や、環境に関する知識と共通点があります。
- 文化の保護: 近年、アイヌ民族は、自身の文化を守るために積極的に活動しています。彼らは、アイヌ語の保存、伝統工芸品の制作、伝統儀式の継承などを通じて、自身の文化を守ろうとしています。これは、他の少数民族が、自身の文化を守るために取り組んでいる活動と共通点があります。
4. アイヌ民族の現状と課題
アイヌ民族は、現在、北海道・東北地方に少数ながらも存続しています。しかし、彼らは、アイヌ文化の権利が十分に認められていない状況に置かれています。
近年、アイヌ民族は、アイヌ文化の保護やアイヌ語の復興を目指し、様々な活動を行っています。彼らは、アイヌ文化の伝承を目的とした教育プログラムや、アイヌ語教室を運営しています。また、アイヌ文化の権利を求める運動にも積極的に参加しています。
アイヌ民族の未来は、彼らが自身の文化を守り、持続可能な社会を築き上げていくかどうかにかかっています。
5. まとめ
アイヌ民族は、日本固有の民族であり、その独特な文化は、世界の他の少数民族との共通点も多く持っています。彼らの文化は、自然との共存、伝統的な社会構造、伝統的な知識体系など、多くの教訓を与えてくれます。アイヌ民族の文化を守り、彼らの権利を保障することは、日本社会における多様性の尊重、そして人類の多様性を守ることにつながります。
結論
精度が高いのは①（RAGあり）の方です。
RAGによって最新・多様な情報ソースを参照できるため、歴史・文化・現代課題・世界比較の網羅性と具体性が①（RAGあり）の方が優れていました。
#ai#rag#llm#tech
Author
@nohito___