用python写一个简单的爬虫
    		       		warning:
    		            这篇文章距离上次修改已过452天,其中的内容可能已经有所变动。
    		        
        		                
                下面是一个简单的Python爬虫示例,使用requests库获取网页内容,并使用BeautifulSoup库解析网页。
首先,需要安装必要的库(如果尚未安装的话):
pip install requests beautifulsoup4然后,可以编写以下代码:
import requests
from bs4 import BeautifulSoup
 
# 目标网页
url = 'https://example.com'
 
# 发送HTTP请求
response = requests.get(url)
 
# 确保网页请求成功
if response.status_code == 200:
    # 解析网页内容
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 提取需要的信息,例如所有段落文本
    paragraphs = soup.find_all('p')
    for p in paragraphs:
        print(p.get_text())
else:
    print(f"Error: {response.status_code}")这个简单的爬虫会获取指定网页的内容,并打印出所有段落标签<p>中的文本。你可以根据需要修改选择器来提取其他类型的数据,比如提取链接<a>标签中的href属性,提取图片<img>标签中的src属性等。
评论已关闭