【Python爬虫】基础知识一遍过 | 第一个爬虫程序

这篇文章距离上次修改已过438天，其中的内容可能已经有所变动。




import requests
 
# 发送HTTP GET请求
def fetch_website_data(url):
    response = requests.get(url)
    if response.status_code == 200:
        return response.text
    else:
        return "Error: Server returned HTTP status code {}".format(response.status_code)
 
# 主函数
def main():
    url = "https://www.example.com"  # 替换为你想爬取的网站
    print(fetch_website_data(url))
 
# 如果这个脚本被直接运行，则执行main函数
if __name__ == "__main__":
    main()

这段代码使用了requests库来发送HTTP GET请求，获取网页内容。函数fetch_website_data负责发送请求并处理响应，主函数main则简单地调用这个函数并打印结果。如果你想要爬取的网站是"https://www.example.com"，只需要将这个URL替换为你想要爬取的网站即可。

【Python爬虫】基础知识一遍过 | 第一个爬虫程序

评论已关闭

推荐阅读