Day89 爬虫介绍

爬虫（Crawler）是一种自动提取网页数据的程序，可以用来收集网络上的信息。以下是一个简单的Python爬虫示例，使用requests库获取网页内容，使用BeautifulSoup库解析网页，并提取所需数据。

首先，需要安装必要的库（如果尚未安装的话）：

pip install requests beautifulsoup4

以下是一个简单的爬虫示例，用于抓取一个网页上的所有链接：

import requests
from bs4 import BeautifulSoup
 
def crawl_links(url):
    response = requests.get(url)
    if response.status_code == 200:
        soup = BeautifulSoup(response.text, 'html.parser')
        for link in soup.find_all('a'):
            print(link.get('href'))
    else:
        print(f"Failed to retrieve the webpage: {response.status_code}")
 
url = 'https://www.example.com'  # 替换为你想爬取的网页
crawl_links(url)

这个简单的爬虫函数crawl_links接收一个URL，发送HTTP GET请求，获取网页内容，并打印出所有发现的链接。

请注意，实际的网络爬虫可能需要处理更复杂的情况，例如网页的动态加载、登录验证、爬取频率限制、以及遵守网站的robots.txt文件等。这个例子只是一个入门级的爬虫，用于演示基本的爬虫原理。