Python高级编程：网络编程与网络爬虫

import requests
from bs4 import BeautifulSoup
 
def download_webpage(url):
    """下载指定URL的网页内容"""
    try:
        response = requests.get(url)
        if response.status_code == 200:
            return response.text
        else:
            return None
    except requests.exceptions.RequestException:
        return None
 
def parse_webpage(html):
    """解析网页内容，提取所需信息"""
    soup = BeautifulSoup(html, 'html.parser')
    # 假设我们要提取所有的段落文本
    paragraphs = soup.find_all('p')
    return [p.get_text() for p in paragraphs]
 
def main():
    url = 'https://example.com'  # 替换为你想爬取的网址
    html = download_webpage(url)
    if html:
        paragraphs = parse_webpage(html)
        for p in paragraphs:
            print(p)
    else:
        print("Failed to download or parse webpage")
 
if __name__ == '__main__':
    main()

这段代码展示了如何使用requests库下载网页内容，以及如何使用BeautifulSoup库解析HTML并提取所需信息。这是一个简单的网络爬虫示例，可以作为进一步开发的基础。在实际应用中，你需要根据目标网站的结构调整解析代码，并处理更复杂的网络请求和响应。