用python写一个简单的爬虫
下面是一个简单的Python爬虫示例,使用requests
库获取网页内容,并使用BeautifulSoup
库解析网页。
首先,需要安装必要的库(如果尚未安装的话):
pip install requests beautifulsoup4
然后,可以编写以下代码:
import requests
from bs4 import BeautifulSoup
# 目标网页
url = 'https://example.com'
# 发送HTTP请求
response = requests.get(url)
# 确保网页请求成功
if response.status_code == 200:
# 解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 提取需要的信息,例如所有段落文本
paragraphs = soup.find_all('p')
for p in paragraphs:
print(p.get_text())
else:
print(f"Error: {response.status_code}")
这个简单的爬虫会获取指定网页的内容,并打印出所有段落标签<p>
中的文本。你可以根据需要修改选择器来提取其他类型的数据,比如提取链接<a>
标签中的href
属性,提取图片<img>
标签中的src
属性等。
评论已关闭