【LangChain+RAG实战宝典 06】数据连接：Document Loaders详解与实战（RAG入门必学）

文章目录前言【LangChain+RAG实战宝典 06】数据连接：Document Loaders详解与实战（RAG入门必学）摘要一、RAG流程回顾：为什么文档加载是第一步？二、Document对象：LangChain的统一数据格式2.1 核心结构2.2 代码示例：手动构造Document三、常用加载器一览（附安装、场景、踩坑）四、实战：加载PDF年报并解析Document4.1 安装依赖4.2 实战代码4.3 典型输出4.4 高频问题与解决方案五、批量加载：DirectoryLoader 文件夹批量处理5.1 批量加载所有PDF5.2 进阶：混合加载 PDF + Docx六、扩展数据源：网页、GitHub、数据库6.1 网页加载：WebBaseLoader6.2 GitHub代码库加载6.3 数据库加载：SQLDatabaseLoader七、高级工程技巧：懒加载 并行加载7.1 懒加载 Lazy Loading（内存友好）7.2 并行多线程加载（速度优化）八、扫描件PDF处理：OCR方案详解8.1 方案一：UnstructuredPDFLoader（开箱即用）8.2 方案二：专业OCR服务（生产推荐）8.3 方案对比九、小结下篇预告✍️ 专栏互动思考题前言前面我们已经完成了提示词、模型调用、输出解析等基础能力的学习，从本篇开始，正式进入RAG检索增强生成的核心工程环节。RAG的第一步永远是：把外部数据读进来。【LangChain+RAG实战宝典 06】数据连接：Document Loaders详解与实战（RAG入门必学）专栏导语：前面我们已经完成了提示词、模型调用、输出解析等基础能力的学习，从本篇开始，正式进入RAG检索增强生成的核心工程环节。RAG的第一步永远是：把外部数据读进来。无论是本地PDF、企业文档、网页、数据库还是代码仓库，都需要先统一转换成LangChain标准的Document格式，才能继续做文本分割、向量入库和检索。本文带你吃透各类文档加载器，从基础使用到工程化优化，一次性搞定RAG数据接入全流程。摘要本文为《LangChain+RAG实战宝典》系列第六篇，聚焦RAG流程的起点——文档加载器（Document Loaders）。文章从Document统一数据结构讲起，详细拆解TextLoader、PyPDFLoader、CSVLoader、DirectoryLoader、WebBaseLoader等高频加载器的用法与踩坑点；实战演示PDF年报加载、批量文件加载、网页/数据库/GitHub数据接入；并讲解懒加载、并行加载等内存优化方案；最后针对扫描件PDF、图片型文档给出OCR解决方案，为后续RAG文本分割与向量存储打下坚实基础。关键词：LangChain；RAG；Document Loader；PyPDFLoader；文档加载；OCR；RAG数据处理一、RAG流程回顾：为什么文档加载是第一步？在正式开始讲解加载器之前，我们先快速回顾完整RAG工作流：文档加载（本篇内容）：加载PDF/Word/网页/数据库等异构数据 → 转为Document文本分割（下篇内容）：把长文档切分为适合模型输入的小文本块向量化：文本块 → 向量嵌入 → 存入向量数据库检索：用户问题 → 检索相似文本块生成：检索内容+提示词 → LLM生成答案可以说：文档加载是整个RAG pipeline的入口，数据加载不干净、格式不统一，后续分割、检索、生成都会出问题。LangChain的设计思路非常清晰：不管数据源是什么，最终都抽象成统一的Document对象，让后续流程无需关心数据来源。二、Document对象：LangChain的统一数据格式所有加载器最终输出的都是Document对象，它是LangChain内部流通的“标准货币”。2.1 核心结构Document只有两个关键字段，但作用完全不同：属性类型核心作用工程价值page_contentstr存储文档真实文本内容后续分割、向量化、检索的核心数据metadatadict存储文档元信息溯源、权限过滤、检索排序、来源引用元数据（metadata）是RAG落地的关键：可以记录文件路径、页码、创建时间、作者、部门；检索后可以展示“答案来自：2023年报第5页”；权限控制：只允许员工查看本部门文档；过滤脏数据：按时间筛选最新文档。2.2 代码示例：手动构造Documentfromlangchain_core.documentsimportDocument# 手动构造一个标准Documentdoc=Document(page_content="2023年公司总营收12.6亿元，同比增长18.3%，研发投入占比8.2%。",metadata={"source":"annual_report_2023.pdf","page":12,"author":"财务部","create_time":"2024-01-15","department":"Finance"})# 访问内容与元数据print("文本内容：",doc.page_content[:50])print("文档来源：",doc.metadata["source"])print("所属页码：",doc.metadata["page"])所有加载器loader.load()返回的结果，本质上就是一个List[Document]。三、常用加载器一览（附安装、场景、踩坑）LangChain生态支持上百种数据源，这里只保留企业RAG最常用的加载器，并标注依赖、适用场景与新手高频踩坑。加载器适用场景安装命令核心依赖新手踩坑点TextLoader纯文本.txt/.md内置-编码问题（GBK/UTF-8）PyPDFLoader可复制文本型PDFpip install pypdfpypdf扫描件无法提取、表格乱码CSVLoader表格数据CSVpip install pandaspandas编码、换行符、超大CSV内存溢出DirectoryLoader批量加载文件夹文件内置-文件权限、通配符匹配错误WebBaseLoader爬取公开网页文本pip install beautifulsoup4bs4反爬、JS动态页面无法加载GitHubLoader加载GitHub仓库代码pip install PyGithubPyGithub私有仓库需要Token、API限流Docx2txtLoaderWord文档（.docx）pip install docx2txtdocx2txt.doc旧版不支持、格式丢失