LM Speed - 大语言模型速度测试评测平台

[nexmoe]

LM Speed - 大语言模型速度测试评测平台

官方网站：https://lmspeed.net

产品概述

LM Speed 是一款面向 AI 应用开发者的专业性能评测工具，专注于提供全方位的大语言模型 API 性能分析解决方案。通过多维度实时数据分析和可视化呈现，帮助开发团队精准评估模型性能，优化调用策略，并在多个服务商中选择最优方案。

核心功能

1. 标准化性能评测

在大语言模型 API 服务选型过程中，开发团队常常面临服务质量评估难题。不同服务商的 API 在性能表现上存在显著差异，缺乏统一的评估标准。LM Speed 通过建立标准化的性能测试框架，为开发团队提供客观、可量化的评估依据，有效降低技术选型风险。

2. 实时性能监控

LM Speed 采用先进的性能分析技术，突破传统工具的局限性：

• 五轮连续压力测试机制
• 动态流式监控系统
• 基于 tiktoken 的精确令牌计算
• 响应时间多维度分析

通过这些技术手段，全面展现 API 的性能特征和稳定性指标。

3. 数据分析与沉淀

LM Speed 提供完整的性能数据管理解决方案：

• 自动化测试报告生成（ TODO ）
• 多维度性能指标整合
• 团队协作数据共享（ TODO ）
• 历史数据趋势分析（ TODO ）

帮助团队构建系统化的性能评估体系。

4. 自定义端点支持

LM Speed 提供灵活的 API 端点配置选项：

• 支持自定义基础 URL 设置
• 灵活的 API 密钥管理
• 支持官方和代理端点接入
• 本地化 API 密钥存储选项

让开发团队能够根据实际需求自由配置和优化 API 调用。

5. 实时流式结果

为了提供更直观的测试体验，LM Speed 实现了实时流式结果展示：

• 实时监控测试进度
• 动态展示每个提示词的评估结果
• 流式输出性能指标
• 即时反馈系统状态

核心价值

数据驱动的决策支持

LM Speed 通过全方位的性能数据分析，为团队提供以下核心价值：

实时性能洞察

• TPoS （ Token Per Second ）实时监控
• 多维度数据实时可视化
• 性能趋势动态追踪

全维度评估体系

• 首字延迟分析
• 响应时间评估
• 稳定性指标监控
• 综合性能画像

可视化决策支持

• 专业测试报告自动生成

[nexmoe]

马上开源到： https://github.com/nexmoe/lm-speed

[helenfrank]

@nexmoe 挺有用的, 之前还想搞个来着, 能加个 ollama 的测试不(支持不传 api key)

[luoyide2010]

不少厂商都上线了缓存功能，如果提示词结果被缓存，结果不就失真？

[nexmoe]

@luoyide2010 如果有对了解 api 接口速度的需求。那就证明产品需求是存在的。后面改测量策略就行了