六个步骤学会使用Python爬虫爬取数据(爬虫爬取微博实战)
以下是一个简化的Python爬虫代码示例，用于爬取微博用户的主页信息。
import requests
from bs4 import BeautifulSoup
# 微博用户主页URL
user_url = 'https://weibo.com/yourusername'
# 发送HTTP请求
response = requests.get(user_url)
# 检查请求是否成功
if response.status_code == 200:
# 使用BeautifulSoup解析HTML内容
soup = BeautifulSoup(response.text, 'html.parser')
# 提取微博数据
weibos = soup.find_all('div', class_='info')
# 打印微博内容
for weibo in weibos:
content = weibo.find('span', class_='ctt').text
print(content)
else:
print('请求失败')
请注意，实际使用时需要替换user_url变量的值为你想要爬取的微博用户的主页URL。此外，微博网站可能会对爬虫行为进行限制，你可能需要处理登录验证、反爬机制等问题，这些在实战中会更复杂。
评论已关闭