以下是一个简单的Python爬虫示例,用于抓取某网站上的企业信用信息。请注意,实际应用中应遵守网站的爬虫政策及法律法规,并尽可能减少对网站的访问频率,避免造成不必要的负担。
import requests
from bs4 import BeautifulSoup
import csv
def crawl_company_credit_info(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
# 假设信用信息在HTML的<div id="creditInfo">中
credit_info_div = soup.find('div', {'id': 'creditInfo'})
if credit_info_div:
# 提取信用信息
credit_info = credit_info_div.get_text()
print(credit_info)
# 这里可以将信用信息写入文件或数据库
# write_credit_info_to_file(credit_info)
else:
print('Credit info not found.')
# 假设函数,用于将信用信息写入文件
def write_credit_info_to_file(credit_info):
with open('credit_info.txt', 'a', encoding='utf-8') as file:
file.write(credit_info)
# 假设有一个公司信用信息的URL列表
urls = ['http://example.com/company1', 'http://example.com/company2', ...]
for url in urls:
crawl_company_credit_info(url)
这个示例中,crawl_company_credit_info
函数接受一个URL,发送HTTP GET请求,获取页面内容,并使用BeautifulSoup解析页面。然后它会寻找信用信息所在的元素,提取信用信息并打印出来。实际应用中,您可能需要根据实际网站的HTML结构进行相应的调整。
请注意,由于爬取行为可能违反网站的服务条款,因此在实际应用中应当确保遵守网站的爬虫政策,并且在使用爬虫时始终保持良好的网络素养。