python 爬虫 生成markdown文档

要在Python中使用爬虫技术生成Markdown文档，你可以使用requests库来获取网页内容，使用BeautifulSoup解析网页，然后将解析的内容按Markdown格式保存。以下是一个简单的例子，展示如何将一个网页的标题和段落转换为Markdown格式，并保存到文件中：

import requests
from bs4 import BeautifulSoup
 
# 获取网页内容
url = 'http://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
 
# 提取标题和段落
title = soup.find('title').text
paragraphs = [p.text for p in soup.find_all('p')]
 
# 生成Markdown文档
md_content = f'# {title}\n\n'
for paragraph in paragraphs:
    md_content += f'{paragraph}\n\n'
 
# 保存Markdown文件
with open('output.md', 'w', encoding='utf-8') as file:
    file.write(md_content)

确保你已经安装了requests和beautifulsoup4库，可以使用以下命令安装：

pip install requests beautifulsoup4

这段代码会获取指定网页的标题和段落，并将它们按Markdown格式保存到当前目录下的output.md文件中。需要注意的是，这个例子只是一个简单的展示，实际应用中可能需要根据具体网页的结构进行更复杂的处理。