Python3爬取猫眼电影爬虫（破解字符集反爬），字节跳动Python岗经典面试真题

import requests
from lxml import etree
 
def get_movies(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
        'Referer': 'http://www.catyy.com/',
    }
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        return response.content.decode('gbk')  # 注意：这里需要使用正确的字符集进行解码，如果是反爬，可能需要进一步分析页面源码确定正确的字符集
    else:
        return None
 
def parse_movies(html):
    tree = etree.HTML(html)
    movies = tree.xpath('//div[@class="movie-item"]')
    for movie in movies:
        name = movie.xpath('.//h1/a/text()')[0]
        star = movie.xpath('.//p[@class="star"]/text()')[0]
        releasetime = movie.xpath('.//p[@class="releasetime"]/text()')[0].replace("上映时间:", "")
        print(f'电影名称: {name}, 主演: {star}, 上映时间: {releasetime}')
 
def main():
    url = 'http://www.catyy.com/catplay/2019/20190325110702.html'
    html = get_movies(url)
    parse_movies(html)
 
if __name__ == '__main__':
    main()

这段代码首先定义了一个get_movies函数来发送HTTP请求，获取网页内容。然后定义了一个parse_movies函数来解析网页内容，提取电影信息。最后在main函数中调用这两个函数来执行爬虫任务。注意，这里假设字符集是gbk，实际使用时需要根据实际网页的字符集进行调整。如果网页使用了反爬措施，可能需要进一步分析网页源码来确定正确的字符集。