Python自带爬虫库urllib
Python自带的爬虫库urllib提供了一系列用于网络请求的功能。以下是一个使用urllib进行简单网页爬取的示例代码：
import urllib.request
# 目标网页URL
url = 'http://www.example.com/'
# 发送请求
response = urllib.request.urlopen(url)
# 读取网页内容
html = response.read()
# 将网页内容转换为字符串
html_str = html.decode('utf-8')
# 打印网页内容
print(html_str)这段代码使用urllib.request.urlopen()函数向指定的URL发送请求，并读取返回的响应内容。然后，使用decode()方法将字节流转换为字符串，以便我们可以阅读网页内容。最后，打印出网页内容。
评论已关闭