通过简单的 Node.js 脚本测试 Taotoken 多模型调用延迟

通过简单的 Node.js 脚本测试 Taotoken 多模型调用延迟1. 准备工作在开始测试之前请确保已具备以下条件已在 Taotoken 控制台创建有效的 API Key已安装 Node.js 18 或更高版本了解基本的 JavaScript 异步编程概念建议在本地开发环境运行测试脚本避免网络波动对测试结果的影响。测试前可先通过简单请求验证 API Key 的有效性。2. 测试脚本实现以下是一个完整的 Node.js 脚本示例用于测试不同模型的响应时间const { OpenAI } require(openai); const fs require(fs/promises); // 配置参数 const config { apiKey: YOUR_API_KEY, // 替换为实际API Key baseURL: https://taotoken.net/api, models: [claude-sonnet-4-6, gpt-3.5-turbo, llama-2-13b], // 要测试的模型列表 testPrompt: 请用一句话回答中国的首都是哪里, // 测试用提示 rounds: 3 // 每个模型的测试轮次 }; async function testLatency() { const client new OpenAI({ apiKey: config.apiKey, baseURL: config.baseURL, }); const results {}; for (const model of config.models) { results[model] []; for (let i 0; i config.rounds; i) { try { const start Date.now(); await client.chat.completions.create({ model: model, messages: [{ role: user, content: config.testPrompt }], max_tokens: 20, }); const latency Date.now() - start; results[model].push(latency); console.log([${model}] 第${i1}次请求延迟: ${latency}ms); } catch (error) { console.error([${model}] 请求失败:, error.message); } } } return results; } function analyzeResults(results) { const analysis {}; for (const model in results) { const latencies results[model]; analysis[model] { samples: latencies.length, min: Math.min(...latencies), max: Math.max(...latencies), avg: latencies.reduce((a, b) a b, 0) / latencies.length }; } return analysis; } async function main() { console.log(开始延迟测试...); const results await testLatency(); const analysis analyzeResults(results); console.log(\n测试结果分析:); console.table(analysis); // 保存结果到文件 await fs.writeFile( latency-test-results.json, JSON.stringify({ config, results, analysis }, null, 2) ); console.log(结果已保存到 latency-test-results.json); } main().catch(console.error);3. 脚本使用说明将脚本保存为latency-test.js替换YOUR_API_KEY为实际的 Taotoken API Key根据需要修改models数组中的模型ID列表安装依赖npm install openai运行脚本node latency-test.js脚本会执行以下操作对每个模型进行指定次数的请求记录每次请求的响应时间计算每个模型的最小、最大和平均延迟将原始数据和统计结果保存到 JSON 文件4. 结果解读与注意事项测试完成后控制台会输出类似以下格式的结果表格测试结果分析: ┌─────────────────┬─────────┬─────┬─────┬───────────┐ │ (index) │ samples │ min │ max │ avg │ ├─────────────────┼─────────┼─────┼─────┼───────────┤ │ claude-sonnet-4-6 │ 3 │ 420 │ 580 │ 493.33 │ │ gpt-3.5-turbo │ 3 │ 380 │ 520 │ 446.67 │ │ llama-2-13b │ 3 │ 510 │ 690 │ 593.33 │ └─────────────────┴─────────┴─────┴─────┴───────────┘注意事项测试结果受本地网络环境、测试时段和服务器负载等因素影响建议在不同时间段多次测试以获得更全面的数据测试用提示应保持简单一致避免因内容复杂度影响结果如遇请求失败脚本会捕获错误并继续执行5. 扩展测试建议如需更全面的性能评估可考虑以下扩展方向增加测试轮次如将 rounds 设为10测试不同长度的输入和输出添加并发请求测试结合其他监控工具记录网络指标所有测试结果应以实际控制台显示和文档说明为准。如需了解更多技术细节可参考 Taotoken 官方文档中的性能说明部分。