快乐学Python，数据分析之使用爬虫获取网页内容

import requests
from bs4 import BeautifulSoup
 
# 定义一个简单的爬虫函数，用于获取网页内容
def simple_crawler(url):
    try:
        response = requests.get(url)  # 发送HTTP GET请求
        if response.status_code == 200:  # 请求成功
            return response.text  # 返回网页内容
        else:
            return "Error: 网页无法访问，状态码: " + str(response.status_code)
    except requests.exceptions.RequestException:
        return "Error: 网络错误"
 
# 使用BeautifulSoup解析网页内容
def parse_soup(html):
    soup = BeautifulSoup(html, 'html.parser')  # 使用html.parser解析器
    return soup.title.text  # 返回网页标题
 
# 示例URL
example_url = 'https://www.python.org/'
 
# 获取网页内容
html_content = simple_crawler(example_url)
 
# 解析并打印网页标题
print(parse_soup(html_content))

这段代码首先定义了一个简单的爬虫函数simple_crawler，它使用requests库发送HTTP GET请求，并返回网页内容。然后定义了一个解析函数parse_soup，它使用BeautifulSoup库解析网页内容，并返回网页标题。最后，代码示例了如何使用这两个函数来获取和解析给定URL的内容。