Tesla V100-DGXS-32GB 这张卡能用来跑 ollama 或者 vllm 不？ - V2EX

首页注册登录

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 135 天前的主题，其中的信息可能已经有所发展或是发生改变。

朋友有 4 张退下来的

2 条回复 • 2024-09-25 16:26:03 +08:00

1

Kite6

135 天前 via Android

大模型很多加速框架其实都不支持 v100 了，比如 flash attention

2

woscaizi

59 天前

算力值是 7 ，不支持 bfloat16

关于 · 帮助文档 · 博客 · API · FAQ · 实用小工具 · 1268 人在线 最高记录 6679 ·

Select Language

创意工作者们的社区

World is powered by solitude

VERSION: 3.9.8.5 · 19ms · UTC 18:01 · PVG 02:01 · LAX 10:01 · JFK 13:01
Developed with CodeLauncher
♥ Do have faith in what you're doing.