基于BeautifulSoup实现pubmed文献摘要的爬虫与无格式输出

from bs4 import BeautifulSoup
import requests
 
def get_pubmed_abstracts(pmids):
    # 请求的PubMed查询URL
    base_url = "https://www.ncbi.nlm.nih.gov/pubmed/"
    # 存储摘要的列表
    abstracts = []
 
    for pmid in pmids:
        # 构造完整的URL
        url = base_url + str(pmid)
        # 发送HTTP请求
        response = requests.get(url)
        # 确保请求成功
        if response.status_code == 200:
            # 解析HTML内容
            soup = BeautifulSoup(response.text, 'html.parser')
            # 查找摘要所在的div
            abstract_div = soup.find('div', class_='abstract-text')
            # 检查摘要是否存在
            if abstract_div:
                # 清理摘要文本并存储
                abstract = abstract_div.get_text().strip()
                abstracts.append(abstract)
            else:
                # 如果摘要不存在，则存储一个空字符串
                abstracts.append('')
        else:
            # 请求失败，存储一个空字符串
            abstracts.append('')
 
    return abstracts
 
# 示例使用
pmids = [26821882, 26821883, 26821884]
abstract_list = get_pubmed_abstracts(pmids)
 
# 打印摘要列表
for abstract in abstract_list:
    print(abstract)

这段代码修复了原代码中的错误，并添加了必要的错误处理和请求状态检查。它演示了如何使用BeautifulSoup库从PubMed网站提取文献摘要，并且展示了如何将其应用于一个PMID列表。这个简单的例子可以作为进一步开发更复杂爬虫的基础。