LangChain.js 实战系列：如何统计大模型使用的 token 使用量和花费

在LangChain.js中，统计大型模型使用的token数量和花费通常涉及到使用LangChain的相关功能来跟踪和汇总请求。以下是一个简化的例子，展示了如何在一个假设的环境中进行这种统计：

const { Chain } = require('@langchain/chain');
const { LLM } = require('@langchain/llms');
 
// 假设已经有一个LLM实例
const llm = new LLM({
    // ... 配置参数
});
 
// 创建一个链，用于模拟对LLM的请求
const chain = new Chain({
    // ... 配置参数
});
 
// 用于统计token使用量和花费的中间件
const statsMiddleware = {
    async onBefore(context) {
        // 在请求前记录开始时间
        context.startTime = Date.now();
        context.tokenCount = 0;
    },
    async onAfter(context, result) {
        // 在请求后统计使用的token数量和时间
        const responseTime = Date.now() - context.startTime;
        context.tokenCount += result.tokensUsed; // 假设result有tokensUsed属性
        // 输出或累计结果
        console.log(`Response time: ${responseTime}ms, Tokens used: ${context.tokenCount}`);
    }
};
 
// 将统计中间件应用到链上
chain.use(statsMiddleware);
 
// 使用链来发送请求，统计信息将会被自动跟踪
const response = await chain.send({
    input: "你好，世界！",
    // ... 其他请求参数
});
 
// 假设response是LLM的响应结果，可能包含tokensUsed属性
// 这里的tokensUsed将被用于累计统计数据

在这个例子中，我们创建了一个简单的中间件statsMiddleware，它会在请求前后记录时间和更新token数量。这样，每次通过链发送请求时，都会自动进行统计。在实际应用中，你需要确保result对象包含了正确的token使用信息，并且适当地更新统计数据。这个例子提供了一个基本框架，你可以根据实际情况进行调整和扩展。