分类爬虫下的文章

Python爬虫实战案例——音乐爬虫，收费歌曲依旧可用

2024-08-14

import requests
from bs4 import BeautifulSoup
import re

# 音乐下载函数
def download_music(url, filename):
    response = requests.get(url, stream=True)
    with open(filename, 'wb') as f:
        for chunk in response.iter_content(chunk_size=1024):
            if chunk:
                f.write(chunk)
    print(f"{filename} 下载完成。")

# 主函数
def main(url):
    headers = {
        'User-Agent': 'Mozilla/5.0',
        'Referer': 'http://music.163.com/'
    }
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')

    # 获取歌曲信息
    music_name = soup.select('.nm a')[0].text
    music_link = soup.select('.u.fl a')[0]['href']

    # 获取歌曲URL
    music_url_response = requests.get(music_link, headers=headers)
    music_soup = BeautifulSoup(music_url_response.text, 'html.parser')
    music_url = re.findall(r'\"url\"\:\"(http[^\"]+)\"', music_soup.text)[0]

    # 下载歌曲
    download_music(music_url, music_name + '.mp3')

# 测试用的URL
url = 'https://music.163.com/#/song?id=446677690'
main(url)

这段代码使用了requests库来发送HTTP请求，以及BeautifulSoup库来解析HTML页面。代码首先定义了一个下载音乐的函数，然后在主函数中，使用BeautifulSoup对象从页面中提取歌曲信息和歌曲URL，并调用下载函数来下载歌曲。最后，代码提供了一个测试用的URL，运行主函数即可下载歌曲。

Java｜用爬虫解决问题

2024-08-14

由于问题描述不具体，以下是一个使用Java进行网络爬虫的基本示例，用于抓取一个网页的标题。

首先，你需要添加依赖项，例如使用JSoup，一个简单易用的HTML解析库：

<!-- 添加到你的pom.xml中 -->
<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.13.1</version>
</dependency>

然后，你可以编写一个简单的爬虫来抓取网页标题：

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class WebCrawlerExample {
    public static void main(String[] args) {
        String url = "http://example.com"; // 替换为你想抓取的网址
        try {
            Document document = Jsoup.connect(url).get();
            String title = document.title();
            System.out.println("网页标题: " + title);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

这段代码使用了Jsoup库来连接到指定的URL，并获取了该页面的HTML文档对象。然后，它从文档对象中提取了标题并将其打印出来。

请注意，实际的网络爬虫可能需要处理更复杂的情况，例如多页面爬取、处理Ajax加载内容、处理登录验证、并发下载等。这个例子只是一个入门级的爬虫，用于演示如何使用Java和Jsoup库来简单抓取网页信息。

『scrapy爬虫』01. 安装环境创建示例项目（保姆级图文）

2024-08-14

在开始创建Scrapy爬虫之前，请确保您的系统已安装Python。以下是安装Scrapy爬虫的步骤：

安装Scrapy：
打开终端或命令提示符，并运行以下命令来安装Scrapy：
```
pip install scrapy
```
创建Scrapy项目：
定位到您希望创建项目的目录，然后运行以下命令来创建一个新的Scrapy项目。将myproject替换为您的项目名称。
```
scrapy startproject myproject
```
进入项目目录：
```
cd myproject
```
创建爬虫：
运行以下命令来创建一个新的爬虫。将myspider替换为您的爬虫名称，并且将example.com替换为您想要爬取的网站。
```
scrapy genspider myspider example.com
```
运行爬虫：
在项目目录中，运行以下命令来测试爬虫：
```
scrapy crawl myspider
```

以上步骤将会创建一个Scrapy项目，并生成一个简单的爬虫模板。您可以开始编辑爬虫代码来满足您的数据抓取需求。

【爬虫实战】使用Python获取花粉俱乐部中Mate60系列的用户发帖数据

2024-08-14

import requests
from lxml import etree
import pandas as pd

# 请求头部信息，模拟浏览器访问
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
    'Referer': 'http://www.huaban.com/favorite/meinv/',
}

# 获取网页源代码的函数
def get_page_source(url):
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        return response.text
    return None

# 解析网页源代码，提取数据的函数
def parse_data(html):
    tree = etree.HTML(html)
    post_titles = tree.xpath('//div[@class="photo-item-info"]/a/text()')
    post_urls = tree.xpath('//div[@class="photo-item-info"]/a/@href')
    post_authors = tree.xpath('//div[@class="author"]/a/text()')
    post_times = tree.xpath('//div[@class="date"]/text()')
    post_comments = tree.xpath('//div[@class="photo-item-bottom"]/div[@class="digg"]/span/text()')

    data = {
        '标题': post_titles,
        '链接': post_urls,
        '作者': post_authors,
        '时间': post_times,
        '点赞数': post_comments
    }
    return data

# 保存数据到CSV文件的函数
def save_to_csv(data, filename):
    df = pd.DataFrame(data)
    df.to_csv(filename + '.csv', index=False, encoding='utf-8')

# 主函数
def main():
    # 请求的起始页
    start_page = 1
    # 总页数
    total_page = 10
    # 花粉俱乐部Mate60系列帖子的起始URL
    base_url = 'http://www.huaban.com/favorite/meinv/board/20012266/?page='

    # 存储数据的字典
    all_data = {
        '标题': [],
        '链接': [],
        '作者': [],
        '时间': [],
        '点赞数': []
    }

    # 循环遍历每一页
    for page in range(start_page, total_page + 1):
        print(f'正在抓取第{page}页的数据...')
        url = base_url + str(page)
        html = get_page_source(url)
        if html:
            data = parse_data(html)
            for key in all_data.keys():
                all_data[key].extend(data[key])
        else:
            print(f'第{page}页数据抓取失败。')

    # 保存数据到CSV文件
    save_to_csv(all_data, 'Mate60_Favorites')

if __name__ == '__main__':
    main()

这段代码首先定义了请求花粉俱乐部时需要用到的请求头部信息，以及获取网页源代码和解析数据的函数。主函数中定义了起始页、总页数和起始URL，然后通过循环抓取每一页的数据，并将其保存到一个字典中。最后，将这个字典中的数据保存到CSV文件中。这个过程遵循了爬虫的基本步骤，并使用了请求库requests、lxml库来解析HTML、pandas库来保存数据。

【Python学习】网络爬虫-获取京东商品评论并制作柱状图

2024-08-14

import requests
from bs4 import BeautifulSoup
import matplotlib.pyplot as plt

# 获取京东商品评论
def get_jd_comments(url):
    headers = {
        'User-Agent': 'Mozilla/5.0',
        'Referer': 'https://item.jd.com/100012043978.html'  # 请替换为你要爬取的商品页面URL
    }
    r = requests.get(url, headers=headers)
    soup = BeautifulSoup(r.text, 'lxml')
    comments = soup.find_all('p', class_='comment-content')
    return [comment.text.strip() for comment in comments]

# 分析评论并绘制柱状图
def analyze_and_draw_bar(comments):
    words = []
    for comment in comments:
        words.extend(comment.split())
    word_count = {}
    for word in words:
        word_count[word] = word_count.get(word, 0) + 1
    words = list(word_count.keys())
    counts = [word_count[word] for word in words]
    plt.bar(words, counts)
    plt.show()

# 主函数
def main():
    # 请替换为评论页面的URL
    url = 'https://item.jd.com/100012043978.html'
    comments = get_jd_comments(url)
    analyze_and_draw_bar(comments)

if __name__ == '__main__':
    main()

这段代码首先定义了一个获取京东商品评论的函数get_jd_comments，它使用了Requests库来发送HTTP请求，并用BeautifulSoup库来解析页面。然后定义了一个分析评论并绘制柱状图的函数analyze_and_draw_bar，它统计每个词出现的次数，并使用Matplotlib库绘制柱状图。最后，在main函数中调用了这两个函数来获取评论并分析。

python scrapy爬虫

2024-08-13

Scrapy是一个用于创建爬虫的开源和自由的Python框架。下面是一个使用Scrapy框架的简单爬虫示例，用于抓取一个网站上的所有链接。

首先，安装Scrapy：

pip install scrapy

然后，创建一个新的Scrapy项目：

scrapy startproject myspider

接下来，定义你的爬虫：

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://example.com']

    def parse(self, response):
        for url in response.css('a::attr(href)').getall():
            yield {'url': url}

在这个爬虫中，start_urls 是爬虫开始爬取的URL列表，parse 方法用于处理响应并生成爬取的数据和新的URL。

运行爬虫：

scrapy crawl myspider -o links.csv

这将运行爬虫并将结果保存到 links.csv 文件中。

Python江苏南京二手房源爬虫数据可视化系统设计与实现

2024-08-13

import requests
from bs4 import BeautifulSoup
import pandas as pd
import matplotlib.pyplot as plt

# 获取房源数据
def get_data(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')
    data = soup.find_all('div', class_='info-panel')
    return data

# 解析数据并存储
def parse_and_store_data(data):
    houses = []
    for house in data:
        title = house.find('div', class_='title').text
        price = house.find('div', class_='price').text
        address = house.find('div', class_='address').text
        house_info = {
            'title': title,
            'price': price,
            'address': address
        }
        houses.append(house_info)
    df = pd.DataFrame(houses)
    df.to_csv('houses.csv', index=False)

# 读取数据并进行可视化分析
def visualize_data(csv_file):
    df = pd.read_csv(csv_file)
    # 可以在此处添加更多的数据可视化分析，例如：
    # 1. 价格分布直方图
    plt.hist(df['price'].str.replace('元/月', '').astype('int64'), bins=50)
    plt.xlabel('Price')
    plt.ylabel('Count')
    plt.title('Histogram of House Prices')
    plt.show()

# 主函数
def main():
    url = 'https://sou.zhaopin.com/jobs/searchresult.htm?keyword=Python&city_id=400000&district_id=&business_id=&employment_type=&job_nature_id=&degree_id=&position_id=&page=1&ka=page-1'
    data = get_data(url)
    parse_and_store_data(data)
    visualize_data('houses.csv')

if __name__ == '__main__':
    main()

这段代码示例展示了如何使用Python爬取南京的二手房源数据，并使用Pandas和Matplotlib进行数据可视化。代码简洁，注重逻辑性和实用性，可以作为学习爬虫和数据分析的入门示例。

Python 网络爬虫技巧分享：优化 Selenium 滚动加载网易新闻策略

2024-08-13

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from time import sleep

# 初始化WebDriver
driver = webdriver.Chrome()

# 打开网易新闻首页
driver.get('http://www.163.com')

# 等待页面加载完成
wait = WebDriverWait(driver, 10)

# 滚动到页面底部
def scroll_to_bottom(driver):
    # 获取页面的最大高度
    total_height = driver.execute_script("return document.body.scrollHeight;")

    # 循环滚动加载页面内容
    while True:
        # 滚动到当前最大高度
        driver.execute_script("window.scrollTo(0, {});".format(total_height))

        # 等待加载出更多内容
        sleep(2)  # 等待时间可以根据实际情况调整

        # 比较滚动前后的页面高度
        new_height = driver.execute_script("return document.body.scrollHeight;")
        if new_height == total_height:
            # 如果页面高度没有变化，说明加载完成或者没有更多内容
            break
        else:
            total_height = new_height

# 使用滚动加载策略
scroll_to_bottom(driver)

# 关闭浏览器
driver.quit()

这段代码使用了Selenium WebDriver来控制Chrome浏览器访问网易新闻首页，并通过一个自定义函数scroll_to_bottom实现了滚动加载页面内容的策略。在页面加载过程中，会不断检查页面高度的变化来判断是否还有新内容正在加载。这种策略可以用来处理需要滚动加载的网页，特别是那些动态加载内容的新闻或资讯类网站。

基于java的网络爬虫的设计与实现

2024-08-13

以下是一个简单的Java网络爬虫示例，使用了jsoup库来解析HTML页面。

首先，确保你的项目中包含了jsoup依赖。如果你使用的是Maven，可以在pom.xml中添加如下依赖：

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.13.1</version>
</dependency>

以下是Java网络爬虫的示例代码：

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.IOException;
import java.util.HashSet;
import java.util.Set;

public class SimpleCrawler {

    public static void main(String[] args) {
        String url = "http://example.com"; // 替换为你想爬取的网站
        crawl(url, 2); // 爬取深度，根据需要调整
    }

    public static void crawl(String seedUrl, int depth) {
        Set<String> visited = new HashSet<>();
        Queue<String> pendingUrls = new LinkedList<>();
        pendingUrls.offer(seedUrl);

        while (!pendingUrls.isEmpty() && depth > 0) {
            String url = pendingUrls.poll();
            if (!visited.contains(url)) {
                visited.add(url);
                try {
                    Document doc = Jsoup.connect(url).get();
                    System.out.println("Fetching: " + url);

                    Elements links = doc.select("a[href]");
                    for (Element link : links) {
                        String href = link.attr("href");
                        if (href.startsWith("http")) {
                            pendingUrls.offer(href);
                        }
                    }
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
    }
}

这个爬虫会从种子URL开始，按深度限制来爬取网页。它使用了一个队列来管理待爬取的URL，并记录已经访问过的URL以防止重复爬取。使用jsoup解析网页并提取链接。

注意：实际的网络爬虫可能需要处理更多复杂的情况，例如处理Cookies、Session管理、反爬虫策略、异步下载、分布式爬取等。这个示例提供了一个简单的入门级爬虫。