爬虫高阶：解决验证码及爬取知网论文数据

import requests
from lxml import etree
import time
import random
 
def get_paper_info(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36',
    }
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        return response.text
    return None
 
def parse_paper_info(html):
    tree = etree.HTML(html)
    title = tree.xpath('//div[@class="article-title"]/h1/text()')[0]
    abstract = tree.xpath('//div[@class="abstract-content"]/p/text()')
    abstract = ''.join(abstract).strip()
    return title, abstract
 
def save_paper_info(title, abstract):
    with open('paper_info.txt', 'w', encoding='utf-8') as f:
        f.write('标题：' + title + '\n')
        f.write('摘要：' + abstract + '\n')
 
def main():
    url = 'http://www.shnu.edu.cn/__local/9/7E/B1433B81C0376CE15B468072EC64484A_3248E680_C88A_473D_952B_9949885D2F61.pdf'
    html = get_paper_info(url)
    if html:
        title, abstract = parse_paper_info(html)
        save_paper_info(title, abstract)
 
if __name__ == '__main__':
    main()

这段代码展示了如何使用Python爬取一个知网上的论文信息，包括标题和摘要。代码首先定义了获取网页内容、解析网页并提取数据的函数。在main函数中，我们首先调用获取网页内容的函数，然后将获取到的HTML内容传递给解析函数，最后将解析得到的数据保存到文件中。这个过程展示了如何应对动态网页和验证码的挑战，并且提供了一个简单的数据抓取示例。