Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks¶
Verified license
- License: arXiv non-exclusive
- 検証日: 2026-05-24
- 検証方法:
pwsh -NoProfile -File scripts/check-arxiv-license.ps1 - このページの掲載モード: summary-only
書誌情報¶
- Authors: Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, Douwe Kiela
- Venue: NeurIPS 2020
- arXiv: https://arxiv.org/abs/2005.11401
何の論文か¶
RAG の原論文。生成モデルのパラメータ内知識だけに頼るのではなく、外部コーパスを dense vector index として持ち、検索された文書を条件に生成する枠組みを示した。
この論文で重要なのは、RAG を単なる「検索してプロンプトに貼る」実装パターンではなく、parametric memory と non-parametric memory を組み合わせるモデル設計として定式化した点。
仕組みの要点¶
- parametric memory: seq2seq 生成モデルが重みに持つ知識
- non-parametric memory: Wikipedia などを分割して作った dense vector index
- retriever: query / input から関連文書を検索する
- generator: 検索された文書を条件に回答を生成する
RAG には、取得文書の扱い方によって複数の変種がある。大づかみに言うと、同じ文書集合を使って一貫して生成するか、生成トークンごとに文書の寄与を混ぜるか、という違いがある。
このプロジェクトで読む理由¶
このサイトの主張では、セマンティック検索とエージェンティック検索はレイヤーが違う。RAG 原論文は、その混同をほどく起点になる。
- RAG の検索部分は index / retriever の問題
- 生成部分は LLM / seq2seq モデルの問題
- 実用 UX では、検索 latency と生成 latency を分けて考える必要がある
RAG という言葉が広がった結果、「検索」「DB」「プロンプト」「エージェント」が一語に畳まれがちだが、原論文に戻ると memory architecture としての構造が見えやすい。
実用システムへの読み替え¶
現在の RAG 実装では、論文中の dense vector index に相当する部分が、FAISS / Milvus / Weaviate / Qdrant / pgvector / Elasticsearch などの検索基盤に置き換わる。
このとき DB 選定に効くのは以下。
- どの embedding model を使うか
- cosine / inner product / L2 のどれで見るか
- Flat / IVF / HNSW / PQ のどの index を使うか
- metadata filter と ANN をどう組み合わせるか
- retrieval の top-k を generator / reranker にどう渡すか
つまり RAG は LLM アプリの話であると同時に、検索システムの話でもある。
引っかかりメモ¶
- 「RAG」と言うだけでは、retriever の学習、index の種類、generator への結合方法、更新戦略が全部曖昧になる。
- 実用で問題になるのは、原論文のモデル精度だけでなく、index 更新、再ランキング、文書分割、評価データ作成。
- parametric memory を更新するより non-parametric memory を更新するほうが運用しやすい、という発想は今でも中心的。
Attribution¶
- Original paper: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
- Authors: Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, Douwe Kiela
- Source (read here): https://arxiv.org/abs/2005.11401 · https://ar5iv.labs.arxiv.org/html/2005.11401 · https://arxiv.org/pdf/2005.11401
- License: arXiv non-exclusive (第三者再配布の許諾なし)
- このページに含まれるもの: 自分の要約・解説、AIとの対話メモ、4要件を満たす短い引用のみ。
- このページに含まれないもの: 原文全文、原文の段落単位コピー、全文翻訳、図表転載。
- Disclaimer: This is an unofficial study note. No endorsement by the original authors is implied.