Python 部署 GPU 应用方式

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 1380 天前的主题，其中的信息可能已经有所发展或是发生改变。

想实现一个调用 GPU 应用的 API 服务，python 框架及部署方式用哪种性能最高用过 flask+gunicorn 并发数好像并没有很高

5 条回复 • 2021-01-25 13:32:29 +08:00

cz5424

2021-01-25 00:30:00 +08:00 via iPhone

Gpu 并发数瓶颈不在显存占用率？测试一下你应用能开多少个进程跑，单个数据请求多少就知道可以支持多少并发了

vanwtf

2021-01-25 09:44:02 +08:00

换 fast api 试试?

Carry0317

2021-01-25 09:52:28 +08:00

@vanwtf 也试过但没什么提升，所以来请教一下正确姿势

rust

2021-01-25 13:04:57 +08:00

好奇你有多少个 GPU,竟然可以触及 FastAPI 的性能瓶颈

vanwtf

2021-01-25 13:32:29 +08:00

FastAPI 没提升的话，你用 Falcon 试下？还不行应该不是框架的问题了吧