LLM 大語言模型再強大,也無法回答訓練資料以外的內容,像是公司內部文件、最新新聞、個人筆記等。RAG(Retrieval-Augmented Generation,檢索增強生成)讓 LLM 在回答之前先從外部資料庫撈出相關段落當作參考,補上模型缺少的知識。這篇文章介紹什麼是 RAG、能做什麼、運作原理(含 Embedding 與高維度向量空間)、什麼情境適合或不適合使用 RAG,以及目前常見的 RAG 框架、向量資料庫與整合平台。
RAG 入門教學|LLM 知識、Embedding 原理與常見問答
MarkItDown 教學|微軟開源文件轉 Markdown 工具,LLM 與 RAG 必備
MarkItDown 是微軟開源的 Python 工具,能將 PDF、Word、Excel、PowerPoint、圖片、音訊、HTML 等超過 29 種格式轉換成 Markdown。對於需要建立 RAG 知識庫、餵資料給 LLM 分析、或是批次處理大量文件的開發者來說,MarkItDown 提供了簡單的 CLI 與 Python API,幾行程式碼就能完成轉換,還支援 OCR 與語音轉文字等進階功能。