Python 爬虫初探:如何使用 Requests 库实现简单的网页数据抓取
import requests
def fetch_web_data(url):
"""
使用 Requests 库获取网页数据的简单函数
:param url: 目标网页的 URL
:return: 网页内容的字符串形式
"""
try:
response = requests.get(url)
if response.status_code == 200:
return response.text
else:
return "网页获取失败,状态码: {}".format(response.status_code)
except requests.exceptions.RequestException:
return "请求出错,网络问题或URL无效"
# 示例使用
url = "https://www.example.com"
data = fetch_web_data(url)
print(data)
这段代码定义了一个名为fetch_web_data
的函数,它接受一个URL作为参数,使用requests.get
方法来发送HTTP GET请求,并返回请求的响应内容。如果请求成功,它将返回网页的文本内容;如果请求失败,它将返回错误信息。此外,它还包含了异常处理,以便在遇到网络问题或无效的URL时提供更友好的错误信息。
评论已关闭