V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  carmark  ›  全部回复第 1 页 / 共 22 页
回复总数  434
1  2  3  4  5  6  7  8  9  10 ... 22  
13 天前
回复了 allegory 创建的主题 程序员 DPDK 如何学习才能就职相应的岗位
@allegory BOSS 搜一下呢?这个主要是搞 RoCE 拥塞控制,各种监控,各种识别,然后与 nccl 协同。

当然还有比如新华三这种做 RoCE 协议开发的。
13 天前
回复了 allegory 创建的主题 程序员 DPDK 如何学习才能就职相应的岗位
建议找个实习搞 RDMA ,这个可能方向性上面更好,AI 强依赖这个。

无论从需求到场景都会更多。
@ruanimal

Base 湾区 $130k-170k/yr, 0.5%-1.5% equity
Base 国内面议
28 天前
回复了 dreamdragon 创建的主题 程序员 ceph 生产环境搭建和配置推荐
用 ceph 之前先看看自己的场景,一般 rbd>rgw>fs ,块设备的话问题应该比较小,文件系统风险最大。

同时要考虑好部署服务对象,以及具体要求,如果是小文件很多的场景,那么 fs 压力会非常大,而且经常容易 OOM 。

所以存储不能解决所有场景的问题,最简单的办法就是简化问题,放到垂直领域,用最简单的功能,减少复杂功能的使用。

如果要细节,那就太多了,我也不是专业的,只是刚毕业的时候搞了两年存储。
64 天前
回复了 ShioWSX 创建的主题 职场话题 网络开发方向发展,求大佬指引
- ebpf
- 高性能网络,RDMA ,RoCE
97 天前
回复了 wuzeiyicixing 创建的主题 NAS 请教下 10G 内网 IO 有瓶颈吗?
10G 网卡一般指的是 10Gbps ,对应而言就是 1.25GB/s 。
NVMe 的一般顺序读写速度,大概率应该会大于网络速度,具体可以实测下 FIO 。

RDMA 这个基本上可以不用考虑的,万兆没必要。

这里面的变量在于你的内存以及存储的文件数量,如果你随机读取,而存储文件数量巨大,那么寻址将会带来额外的磁盘开销,内存大小决定了你能缓存多少文件 metadata 。
138 天前
回复了 duck2 创建的主题 分享发现 本地化运动圈
羽毛球在北京最大的难题是订不到场地,如果临时定场地,周末基本上没有。
145 天前
回复了 Sfilata 创建的主题 职场话题 想知道各位大佬的职业路线
Solaris 内核->Kubernetes->Kubeflow->LLM 系统
具体的方案可以参考这里: https://zhuanlan.zhihu.com/p/398369404

参考方案就是阿里的 cGPU ,腾讯的 qGPU 。

主要实现的思路就是 ioctl 层面的拦截,干预调度和显存管理。
@liang723 规模大了的话,一般大厂规模会更大。不过现在小厂也是随便有百卡(盲猜)。
说下我的感受,做 AI 平台+系统 接近 8 年:
1. K8s 现在针对 AI 平台,技术点主要包括:调度器( Gang Scheduler ),Training-Operator 这种;这里面可做的点比如:调度器性能优化,调度器调度优化解决碎片问题,解决高低优先级问题,节点内亲和性,节点间 RDMA 网络亲和性; Operator 里面结合调度,如何做容错等;

2. K8s 结合存储系统,类似 Fluid 或者其他存储方案,如何针对性提升,或者针对存储解决 AI 训练或推理场景的问题,比如训练的低延迟,推理的高吞吐;是否可以搞个缓存系统,缓存如何优化,Dataloader 如何搞;

3. K8s 结合网络,这里主要是 SRIOV 相关的技术,基于 sriov-Operator ,以及网络上 multus 就差不多;

4. K8s 结合 GPU ,GPU Device plugin ,GPU Operator 以及其他,基于 nv 的卡都具备了,GPU 可以搞搞虚拟化,容器 GPU 虚拟化,虚拟机咋接,怎么调度这些;

5. AI 平台流程化,比如熟悉 AI 算法的开发流程,调试流程,上线流程,CV 和 LLM 的特点是啥,数据集管理这些;

6. 需要了解 AI 任务分布式特点,如何建立,如何容错,如何与 K8s 结合,这部分就是 Training Operator 的内容,需要知道。

7. 进一步就是了解 AI 算法本身,比如大模型计算过程,参数量啥的,还有推理优化、预训练优化等等;
类似脉脉的思路,辅助生成答案?
315 天前
回复了 xfrgux 创建的主题 游戏 2024 年了,云游戏体验还是不行
国内的话可以试试 haixingcloud.com ,专为游戏配置的高主频 CPU ,RTX 3090,4090 显卡。
2023-10-15 10:39:19 +08:00
回复了 lufeng666 创建的主题 奇思妙想 [需求征集] 最想要个什么样的应用?
@lufeng666 是的,所以才是少见,但是感觉是刚需,即便把这个做成一个服务,都会有人付费的。
2023-10-12 16:44:39 +08:00
回复了 lufeng666 创建的主题 奇思妙想 [需求征集] 最想要个什么样的应用?
@lufeng666 现有的开源的 app 就没有云图的。
2023-10-12 15:11:13 +08:00
回复了 lufeng666 创建的主题 奇思妙想 [需求征集] 最想要个什么样的应用?
准确,无广告的天气 app ,对标彩云的效果就行。
2023-02-20 10:06:45 +08:00
回复了 balabalaXMX 创建的主题 职场话题 后端面试—关于系统设计与项目难点
> 老生常谈的项目亮点和遇到的难点是什么,这个需要说到什么粒度?比如我优化了一个本地缓存,本来是全局一个前缀树,解析字符串,根据 xxxx 的业务场景,改成了二级 map ,减小了锁的粒度。这么说是不是过于简单了?

是的简单了,我的思路是:
1. 实际过程中,在线上业务或者 perf 测试时候发现了问题,如何发现的?这里涉及到了可观测性工具,以及 perf 工具,以及 debug 思路
2. 找到了问题,那么就要考虑原有的结构, 如何调优,如何测试,有没有更好地思路,是否去做了探查,业界有哪些方法来解决这个问题(方法论问题)
3. 解决完成后,看收益,要具体到数字指标
4. 如何持续性优化思路
2023-02-20 10:02:53 +08:00
回复了 balabalaXMX 创建的主题 职场话题 后端面试—关于系统设计与项目难点
分享下我的经验,我作为面试官期望得到的结果:
2023-02-01 08:42:17 +08:00
回复了 carmark 创建的主题 酷工作 诚招资深 DevOps Engineer/运维工程师
@bigpigB 有办公室的,资深可以 base 成都
1  2  3  4  5  6  7  8  9  10 ... 22  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1103 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 31ms · UTC 18:43 · PVG 02:43 · LAX 10:43 · JFK 13:43
Developed with CodeLauncher
♥ Do have faith in what you're doing.