Python 爬虫：获取 JS 动态内容—，一个回答引发热烈讨论
warning:
这篇文章距离上次修改已过190天，其中的内容可能已经有所变动。
import requests
from pyppeteer import launch
async def get_js_content(url):
browser = await launch()
page = await browser.newPage()
await page.goto(url)
content = await page.content()
await browser.close()
return content
# 使用方法
url = 'http://example.com'
content = asyncio.run(get_js_content(url))
print(content)这段代码使用了pyppeteer库来模拟浏览器环境，获取JavaScript动态内容。首先，我们定义了一个异步函数get_js_content，它启动了一个新的浏览器页面，导航到指定的URL，然后获取页面内容。最后，关闭浏览器，并返回页面内容。使用asyncio.run()函数运行异步函数。这是一个简单而有效的方法来获取JavaScript动态生成的内容。
评论已关闭