Python-携程网爬虫的JS逆向分析

由于原始代码已经提供了一个很好的示例，以下是一个简化的核心函数，演示如何使用Python和requests库来发送请求，并使用BeautifulSoup库来解析HTML，以便提取信息。

import requests
from bs4 import BeautifulSoup
 
def get_job_info(url):
    # 发送请求
    response = requests.get(url)
    response.raise_for_status()  # 检查请求是否成功
    soup = BeautifulSoup(response.text, 'html.parser')  # 解析HTML内容
 
    # 提取职位信息
    job_info = {
        'title': soup.select_one('.job-name').text.strip(),
        'salary': soup.select_one('.job-salary').text.strip(),
        'company': soup.select_one('.company-name').text.strip(),
        'city': soup.select_one('.job-addr').text.strip(),
        'description': soup.select_one('.job-detail').text.strip()
    }
    return job_info
 
# 使用函数
url = 'https://www.liepin.com/job/123456.html'  # 假设的职位URL
info = get_job_info(url)
print(info)

这个简化的代码演示了如何使用requests库获取网页内容，并使用BeautifulSoup进行HTML内容的解析。代码中的soup.select_one()方法使用CSS选择器来定位页面元素，并通过.text.strip()获取元素的文本内容。这个例子教会开发者如何利用Python进行简单的网页爬取。