JavaScript动态渲染页面爬取——Selenium的使用

const webdriver = require('selenium-webdriver');
const { By, until } = webdriver;
 
let driver = new webdriver.Builder()
    .forBrowser('firefox')
    .build();
 
driver.get('http://www.example.com');
 
// 等待页面完全加载
driver.wait(until.titleIs('Example Title'), 1000);
 
// 定位到登录按钮并点击
driver.findElement(By.id('loginButton')).click();
 
// 等待登录框出现
driver.wait(until.elementLocated(By.id('loginForm')), 5000);
 
// 输入用户名和密码
driver.findElement(By.id('username')).sendKeys('your-username');
driver.findElement(By.id('password')).sendKeys('your-password');
 
// 提交登录信息
driver.findElement(By.id('loginSubmit')).click();
 
// 等待页面加载完成
driver.wait(until.titleIs('New Title'), 1000);
 
// 爬取页面内容
driver.getPageSource().then(function(pageSource) {
    console.log(pageSource);
});
 
// 关闭浏览器
driver.quit();

这段代码使用了Selenium WebDriver和Node.js来实现一个简单的网页爬取示例。它首先启动了一个Firefox浏览器实例，然后导航到指定的URL。接着，它等待页面标题变为特定值来确认页面加载完成，并定位登录按钮进行点击操作。在登录框出现后，输入用户名和密码，并提交登录信息。最后，等待新页面加载完成，并获取页面源代码，然后关闭浏览器。这个过程展示了如何使用Selenium WebDriver进行基本的自动化测试和页面爬取。