V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Hmmmmmmm
V2EX  ›  OpenAI

DS 爆火,程序员的未来在哪里

  •  
  •   Hmmmmmmm · 11 天前 · 1172 次点击

    讲下个人背景吧,数据底层开发,近三年失业两次。 gpt 刚出来的时候,用完当时觉得这种问题百出的 AI 一时间还难以替代程序员的工作,也就没有放在心上。 但是最近 DeepSeek 的爆火,使用+刷了一些相关视频(超时),DS 的智能化和中文原生已经远超我对 AI 的认知,也第一次有了害怕的感觉,害怕跟不上 AI 时代被狠狠甩在后面。 最开始的 AI 只是一朵小水花扑到脸上,然后两三年过去了,发现 AI 已经快变成潺潺小溪了。

    所以,提出问题: 普通底层开发,现在想入局,还有哪些方向可以努力。

    6 条回复    2025-02-12 09:59:12 +08:00
    invdan
        1
    invdan  
       11 天前
    Openai o1 回复
    普通底层开发者想要跟上当前 AI 快速演进的步伐,可以重点关注以下几个技术与业务方向:

    MLOps 与数据管线

    AI 项目从数据预处理、特征工程到模型训练与部署,都需要稳定高效的数据管线。
    掌握容器化编排(如 Docker 、Kubernetes )与自动化部署( CI/CD 工具),让底层开发经验与 AI 项目的生产化需求对接得更紧密。
    熟悉常见的机器学习任务和大规模分布式处理框架(如 Spark 、Flink ),提升在实时或批量数据场景中的处理效率。
    大模型定制化与精调

    越来越多公司开始基于开源大模型(如 GPT 等)的精调( Fine-tuning )及微调( LoRA 、PEFT 等),可深入了解微调技术栈,在企业需求场景下做定制化。
    理解大模型在中文语言领域的适配技术,例如中文分词与语料预处理方式,以及如何利用多模态数据进行进一步扩展。
    分布式系统与算力优化

    大模型训练与推理对系统架构的要求极高,需要对高性能计算( HPC )、GPU 集群管理和网络通信协议有深入理解。
    关注 GPU 和异构计算框架( CUDA 、ROCm ),学习如何在资源受限或大规模集群环境中做算力优化,提升模型吞吐量和响应速度。
    Prompt 工程与应用层集成

    Prompt 工程( Prompt Engineering )已成为落地大模型能力的有效手段,熟悉 Prompt 设计、上下文管理与知识图谱结合等技术细节,可以帮助企业快速构建复杂对话或问答系统。
    在应用层做二次开发和功能封装时,需要兼具前后端协同思维,实现类似 DeepSeek 这类对话式、智能化的产品形态。
    行业垂直化与业务结合

    AI 已经在金融、医疗、零售、制造等行业深入实践,熟悉相应行业的业务流程和领域数据特点,会给个人带来额外的竞争优势。
    与行业专家合作,共同构建更精准的领域模型,使底层开发能力真正与业务价值结合,而不仅停留在通用层面。
    社区与开源项目

    经常关注 Hugging Face 、OpenAI 社区、以及国内外开源大模型项目,及时掌握新工具和新框架。
    通过在开源社区中贡献代码,能快速积累实际项目经验,获取更多人脉和机会。
    AI 技术呈现出对各个环节的强势渗透:从数据层、模型层到应用层,都需要具备扎实的系统功底与一定的机器学习认知。针对普通底层开发者,结合既有的“底层工程”能力,补足分布式系统、模型部署及业务场景化的知识,会是一条可行的切入路径。
    紧跟技术趋势、善用开源资源,保持工程实践能力和对业务的敏感度,才能在这波 AI 浪潮中稳步提升并找到新的机会。
    invdan
        2
    invdan  
       11 天前
    Deepseek R1 671b 回复
    作为数据底层开发从业者,你其实比大多数开发者更具备转型 AI 领域的天然优势。以下是为你量身定制的战略方向和建议:

    一、把握你的核心优势战场
    1. 抢占 AI 基础设施高地
    (你的数据底层经验价值千万)

    新型数据栈:研究向量数据库(如 Milvus )、特征存储系统( Feast )、大模型训练数据治理
    计算优化:分布式训练框架优化(如 DeepSpeed )、GPU 显存调度算法、量化计算加速
    模型工程化:钻研大模型并行训练框架( Megatron-LM )、模型分片部署方案
    真实案例:某推荐系统团队急缺 PyTorch 分布式训练调优专家,时薪报价 2500 元/小时
    2. 打造 AI 时代的「数据基建专家」人设

    深耕数据质量监控:研究 AI 数据漂移检测算法(如 Evidently AI )
    掌握特征工程自动化工具( FeatureTools ,AutoFeat )
    探索联邦学习数据架构( FATE 框架的部署优化)
    二、AI 赋能的降维打击路径
    1. 开发效能革命
    (用 AI 重构底层开发)

    基于 LLM 的 SQL 优化器:使用 RAG 技术实现自然语言到分布式查询优化
    智能 ETL 系统:用 CodeLlama 自动生成数据清洗规则
    实战案例:某银行用 AI 重构 COBOL 系统,开发效率提升 400%
    2. 构建开发者 AI Agent

    开发面向 DBA 的智能助手(自动索引推荐+慢查询优化)
    创建数据血缘分析 Agent (基于 LangChain 的自动文档生成)
    研究 AI 驱动的数据库参数自动调优(取代 DBA 60%基础工作)
    三、不可忽视的底层红利区
    1. 新型硬件适配专家

    学习 CUDA 编程与算子优化(大模型推理必备)
    研究存算一体芯片的数据架构(如平头哥含光)
    掌握 DPU 加速卡编程( NVIDIA BlueField 实战)
    2. 隐私计算架构师

    深入研究同态加密数据库实现(如 Microsoft SEAL )
    掌握多方安全计算协议( MPC )工程化实现
    搭建可信执行环境( TEE )数据管道
    四、转型实战路线图( 6 个月速成)
    阶段 1 ( 1-2 月)

    每天用通义灵码/Cursor 开发(强制 AI 结对编程)
    精读《 Database Internals 》+《 Designing Data-Intensive Applications 》
    在阿里云天池参加「数据库智能优化大赛」
    阶段 2 ( 3-4 月)

    复现 Google 的 PALM 模型数据预处理方案
    在自有服务器部署 Qwen-72B 并优化推理吞吐
    开发基于 ChatGLM 的 SQL 审核插件
    阶段 3 ( 5-6 月)

    考取 Databricks Spark 高级工程师认证
    在 GitHub 开源 AI4DB 项目(如智能索引推荐工具)
    通过 Kaggle 获得至少 1 枚数据库相关竞赛奖牌
    五、关键认知升级
    AI 不是替代者而是倍增器:你的十年底层经验+AI 工具=超越纯算法工程师的落地能力
    警惕「全栈陷阱」:专注数据库+AI 交叉领域,成为 TOP20%的垂直专家
    打造技术产品思维:每个技术方案都要包装成可复用的工具/服务(如开发智能 ETL SaaS )
    建议立即行动:

    注册 kaggle.com ,参加「 Google 智能查询优化」竞赛
    关注蚂蚁集团 OceanBase 团队技术博客
    在 B 站系统学习 CUDA 编程实战课程(搜索"英伟达黑科技")
    你的核心能力是构建数字世界的「地基」,AI 时代这个地基正在经历智能升级革命——这正是属于你的大航海时代。
    taotaodaddy
        3
    taotaodaddy  
       11 天前
    楼上,本站不允许粘贴 AI 回复内容
    xiaokangz
        4
    xiaokangz  
       11 天前 via iPhone
    焦虑不解决问题,只是单纯地制造问题!

    就目前而言,AI 还只是工具,既然是工具,又这么好用,就要去用它,利用它,适应它!只要你用的比人家好,那就是厉害!
    Hmmmmmmm
        5
    Hmmmmmmm  
    OP
       11 天前
    @xiaokangz 目前确实是工具阶段,但考虑既然有技术背景,想浅浅尝试一下 AI 应用,跟上节奏,不至于被甩开很多
    yatoooon
        6
    yatoooon  
       10 天前
    @invdan 你危险了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2527 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 10:56 · PVG 18:56 · LAX 02:56 · JFK 05:56
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.