【python】爬取杭州市二手房销售数据做数据分析

由于原始代码已经提供了一个很好的示例，这里只需简要说明如何修改代码以爬取更多页的数据。

首先，需要确定网站上二手房列表的分页方式。如果是传统的分页方式，通常URL会随着页码的变化而改变。在这种情况下，可以通过修改URL中的页码参数来获取不同页的数据。

以下是修改后的部分代码，用于爬取更多页的二手房数据：

# 假设网站的URL结构是这样的：https://www.lianjia.com/ershoufang/beijing/pg2/
# 其中'pg'后面的数字代表页码
 
# 初始化一个列表来存储所有的房源链接
all_house_urls = []
 
# 设置最大页码，例如爬取前5页
max_page = 5
 
for page in range(1, max_page + 1):
    # 构建每一页的URL
    url = f'https://www.lianjia.com/ershoufang/beijing/pg{page}/'
    response = requests.get(url)
    if response.status_code == 200:
        # 解析页面并提取房源链接
        soup = BeautifulSoup(response.text, 'lxml')
        house_urls = soup.find_all('a', class_='title')
        for house_url in house_urls:
            # 提取房源详细页面的URL
            house_url = 'https://www.lianjia.com' + house_url['href']
            all_house_urls.append(house_url)
            # 打印当前正在爬取的页码
            print(f'正在爬取第{page}页，共{len(all_house_urls)}条房源信息')
    else:
        print(f'请求状态码{response.status_code}，爬取失败')
 
# 接下来可以使用all_house_urls列表中的URL，逐个请求详细的房源页面，解析数据，进行数据分析等操作

在这个例子中，我们使用了一个循环来遍历1到5页的URL，并将每一页中的房源链接添加到all_house_urls列表中。然后，你可以使用这个列表来获取每个房源的详细信息，并进行数据分析。

请注意，在实际爬取过程中，应遵守网站的robots.txt协议，合理设置请求频率，并处理可能出现的反爬技术。