【渗透-信息收集】JSFinder脚本爬取网站js数据的使用

以下是一个简化的JSFinder脚本示例，用于爬取网页中的JavaScript数据。请注意，实际应用中可能需要处理更多的异常和错误，并确保遵守网站的爬取政策。

import requests
import re
import json
 
class JSFinder:
    def __init__(self, url):
        self.url = url
        self.session = requests.Session()
 
    def _extract_json_data(self, text):
        # 正则表达式匹配JavaScript中的JSON数据
        json_data_pattern = re.compile(r'window\.initialState\s*=\s*(\{.+?\});', re.DOTALL)
        matches = json_data_pattern.findall(text)
        if matches:
            json_data = matches[0]
            # 将匹配到的JSON字符串转换为Python字典
            return json.loads(json_data)
 
    def crawl(self):
        response = self.session.get(self.url)
        text = response.text
        json_data = self._extract_json_data(text)
        return json_data
 
# 使用示例
url = 'http://example.com'
js_finder = JSFinder(url)
data = js_finder.crawl()
if data:
    print(data)
else:
    print("No JavaScript data found.")

这个示例中的JSFinder类包含了爬取指定网页并提取JavaScript数据的基本逻辑。_extract_json_data方法使用正则表达式来查找并解析网页中的JSON数据。crawl方法发送GET请求，提取网页内容，并调用_extract_json_data来提取JavaScript中的数据。

请根据实际需求调整正则表达式和解析逻辑。