大模型从入门到应用——LangChain：索引（Indexes）-文档加载器（Document Loaders）

from langchain.document_loaders import (
    CombinedLoader,
    DirectoryLoader,
    MergedLoader,
    MonitoredLoader,
)
 
# 创建一个DirectoryLoader来加载指定目录下的所有文件
directory_loader = DirectoryLoader("./example_directory")
 
# 创建一个MonitoredLoader来监控文件变化并更新索引
monitored_loader = MonitoredLoader(directory_loader, poll_interval=60)
 
# 创建一个CombinedLoader来合并多个加载器
combined_loader = CombinedLoader([directory_loader, monitored_loader])
 
# 创建一个MergedLoader来合并同一类型的加载器
merged_loader = MergedLoader([directory_loader, monitored_loader])
 
# 使用加载器加载文档
documents = directory_loader.load_all()
 
# 打印加载的文档数量
print(f"Loaded {len(documents)} documents")

这段代码展示了如何使用LangChain中的DirectoryLoader来加载一个文件夹中的所有文件，并且如何使用MonitoredLoader来定期检查文件的变化并更新索引。接着，代码演示了如何使用CombinedLoader和MergedLoader来合并不同的加载器。最后，代码加载了文档并打印出加载的文档数量。这是一个很好的入门级示例，展示了如何使用LangChain的基本功能。