爬虫 爬取扇贝单词书词表

爬取《扇贝英语词汇表》的Python爬虫代码示例如下：

import requests
from bs4 import BeautifulSoup
 
# 目标URL
url = 'http://www.shanbay.com/wordlist/117424/2020-01-01/'
 
# 发送HTTP请求
response = requests.get(url)
 
# 检查请求是否成功
if response.status_code == 200:
    # 使用BeautifulSoup解析HTML内容
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 查找词条列表
    word_items = soup.find_all('div', class_='word_item')
    
    # 遍历词条列表提取词汇信息
    for word_item in word_items:
        # 获取词条信息
        word = word_item.find('div', class_='word').text.strip()
        # 获取解释信息
        explanation = word_item.find('div', class_='explanation').text.strip()
        
        # 打印词汇和解释
        print(f'Word: {word}\nExplanation: {explanation}\n')
else:
    print('Failed to retrieve content')

这段代码使用了requests库来发送HTTP请求，以及BeautifulSoup库来解析HTML内容。代码会打印出每个词条的词汇和解释。需要注意的是，爬取网站内容时应当遵守相关的法律法规，并尊重网站的robots.txt规定，同时尽量减少对网站服务器的请求频率，以免造成不必要的负担。