【数据采集】实验02-爬虫原理与简单爬虫编写

import requests
from bs4 import BeautifulSoup
 
# 定义一个简单的爬虫函数
def simple_crawler(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        return response.text
    else:
        return "Error: 网页无法访问"
 
# 使用BeautifulSoup解析网页
def parse_soup(html):
    soup = BeautifulSoup(html, 'html.parser')
    # 假设我们要获取所有的段落<p>
    paragraphs = soup.find_all('p')
    for p in paragraphs:
        print(p.text)
 
# 主函数，用于测试
def main():
    url = 'http://example.com'  # 替换为你要爬取的网页
    html = simple_crawler(url)
    parse_soup(html)
 
if __name__ == '__main__':
    main()

这段代码展示了如何使用Python的requests库来发送HTTP请求，以及如何使用BeautifulSoup库来解析HTML并提取所需的数据。这是一个非常基础的爬虫示例，仅适用于简单的网页。在实际应用中，你可能需要处理更复杂的情况，如JavaScript渲染的内容、登录保护的网站、以及频率限制等问题，这就需要使用更高级的技术和策略来应对。