1. 定时启动和手动调用, 以及分别查看运行记录和日志
1.1 airflow, azkaban, systemd
1.2 比较次的情况, APS Scheduler, sched, supervisor+plan
1.3 不推荐 crontab

2. 共享模块问题
2.1 微服务(HTTP/RPC) 最能做好一致性和统一升级以及审计等能力
2.2 云原生 Serverless 之类也不错, 打通 gateway 或者其他 invoke 方式也行
2.3 私有 pypi 或者私有 git 用 pip 安装
2.4 通过挂共享盘路径方式存放共享模块, 可以用统一的 venv, 也可以 sys.path 的方式, 包括 pip install -t /share_path/xxx 的方式带上依赖

3. 解决上面脚本地狱的正经办法还是重构, 看成本是否能够接受吧
3.1 领域驱动设计, 从头划分边界与共性
3.2 服务化改造, 只通过 HTTP 或其他远程调用的方案, 起码把手动启动的改成远程调用
3.3 调度模块按 1 里面的改造成所见即所得的模块, 而各种配置信息用专业的配置中心服务不要硬编码

学啥语言都绕不开学 JS 和 py 的吧...

要是真的只向钱看, 看你底子吧:

1. 计算机底子很好, 科班出身, 或者名校毕业, golang 起点和天花板一般都不低, 能拿到一个比较满意的薪水

2. 自学成才类型的, 走前端是产出收益比最大的选项之一了, 浏览器和小程序还有 App 生态已经成熟, 虽然有些卷, 但门槛低一些收入也足够高, 前两年算风口上的行业, 招聘需求很旺盛带着薪资也提上来了

一般情况下的开发者会先熟练掌握一门语言把它吃透, 一方面解决吃饭问题, 另一方面语言大都一门通门门通的趋势, 至于说某某语言是 XXX 不适合 XXX, 还是看个人能力水平, 毕竟以前也出现过 JS 写操作系统的大佬...

对于主力语言的选择, 还是看自己职业背景与发展方向吧

估计这几天 Siri 都 emo 了... AIGC 其实能让我妈别乱听营销号, 帮她老人家解答一点生活常识其实就功在当代了, 我妈眼里的小爱就是个小弱智, 早年间还能 "百度一下 XXX" 或者 "搜一下 XXX", 后来不能用了

@byaiu
流行云原生吧, 主要想抄个版本答案, 能达到和以前那套一样流量不丢失的就行. 我也求问啊... 现在想到的就是多实例切流量, 不然默认的实例重启会弄丢当前连接

不是专业后端, 所以想照抄个当下答案, 如果不是后端是脚本, 就随便重启了

@LeeReamond 大哥, 我是来等新版本云原生的答案的...

孤儿进程吗? 杀了以后 wait 试一下

@edis0n0 可以, run_in_executor 吧

https://docs.python.org/zh-cn/3/library/asyncio-subprocess.html

asyncio 子进程

对协程不熟悉的话真不建议用协程, 不然会经历很多痛苦的地方: CPU 密集阻塞事件循环, 同步代码阻塞异步任务, 多线程开太多切换成本太大.....等等

@LeeReamond

什么啊... inspect 查看函数入参类型的, pydantic 做校验, 类型错误就不执行了

监控变化用 watchdog 看文件变化, 删掉的逻辑是你只要导入过的模块一般 sys.modules 里面 del 掉, 再导入一次就是新代码了, 不用特定命名, 只要 import path 固定一个目录, 会自动去搜模块名字的. 我那个格式是 URL 路径的格式, 不是命名格式

如果不放心害怕有篡改文件或者有人偷偷注入什么东西, 我之前还想了做对整个 .py 文件加盐哈希然后哈希值放到文件第一行, 到时候导入前先判断文件对不对

操控天气肯定半夜下雨啊... 白天下雨各种工程都耽误工期

年轻真好, 总是想太多

我刚做了一个类似的...

假装是个动态脚本的 RPC, 通过 URL route 选择模块路径, 比如类似格式和很多常见模块的 entrypoint 一样, package.module:function 的方式, 传参兼容 params 和 Post form 以及 post JSON 多种方式, 目前参数只支持 kwargs 直接塞函数 **kwargs 里, 之后会根据 inspect 提取函数参数列表来做 validate 相关以及自动生成表单

然后动态载入刷新代码什么的, 我是每隔一段时间或者用 watchfile 的方式查看文件变化就从 sys.modules 里删掉, 下次导入就是新的代码了, 以前想过太多 reload 的用法, 发现最简单的就是直接删掉旧的...

这套东西还没时间开源, 难度不大自己琢磨琢磨也就明白了

@LeeReamond nginx 我也是没办法, 但凡组里有个运维就研究研究 Istio 什么的了. 我就想知道个当前的版本答案, gunicorn 这套五年前就不流行了

Fastapi 以前自己服务器上就 uvicorn 直接起, 反正更新代码重启下就够了, 不开 --reload

公司服务器上也是 gunicorn + uvicorn, 主要用到 gunicorn 那个 HUP 信号无中断的热重启, 守护 systemd 就够了, supervisord 这么多年了也不知道当初那些小 bug 好了没有

现在在考虑 docker 那边怎么无中断热重启, 想丢 K8S 里面, 之前想的是 nginx 帮我转发多个端口的, 重启的时候一个个重启自动切流量, 不知道有什么更好办法没有. docker 里面走 gunicorn 就算接到 HUP, 但是代码是跟镜像走的...

最近正好在写这方面的脚手架, 不过刚画了类图, 估计你赶不上用

直接用 pyautogui 吧, 自己会优化里面 pyscreeze 缓存, 并且开启 Opencv 加速的话, 比 autohotkey 还快好几倍

以前也挺迷茫的, 后来发现自然而然就达到了... 过程中很难总结什么必经之路, 简单说几个有印象的点

1. 计算机基础真的是润物无声地帮到我, 好多需求从未接触过, 但却能很快就上手解决
2. 代码量似乎似乎真的是个笨方法却又极端有效, 万行 /十万 /百万行的自己回头望, 真的一层层鄙视过去的自己
3. 软件工程的很多东西提前学了很难用到编码里面, 但是如果代码量上来了, 很多瓶颈和 bug 其实都可以在那些范式 /开发原则里面找到标准答案, 算是一种弯路超车的感觉
4. 项目有时候到一定规模, 会遇到开发或设计瓶颈, 那些架构师的书里的解决方案真的省了不少脑细胞

找工作还是 Java, 号称走下坡路好几年了, 还有各种 oracle 整天作, 但市场还是大, 而且那一套生态大多数场景真就拿来就用, 招聘也好找, 曾一度是培训班亲儿子

如果以后走云原生或者纯后端, golang 暂时亲儿子, 而且国内甚至比国外还火, 经常拿来替换 Java 和 Python 的后端接口实现, 生态虽然一开始不好但也正在变得越来越成熟了, 泛型和错误处理也渐渐有了各自方案, 上手难度基本都不是语法而是一些思维跟生态方面的事情

php 市场份额比想象中大, 瘦死骆驼级别的, 同样的还有 ruby 那套生态

如果想自己从头到尾搞一套网站, 又不想东学一点西学一点, nodeJS 其实也不错的, 搭配 Serverless 一样能蹭上云原生的风, 属于那种一直在挨骂但一直经久不衰的浏览器第一公民

Python 属于万金油的语言, 虽然别的语言也都图灵完备, 按 Python 确实火, 不过 Python 后端一直不温不火的, 主要还是机器学习和运维方面的, 其次是爬虫, 最后才轮到后端. 等协程完成蜕变, 以及多核争论出结果, 可能会有小幅度热度, 属于那种搞也能搞, 单核抗个几万连接也能用, 但天花板很朦胧的领域, 不过 Python 的生态真是挺全的

从后端岗位数量方面, 三年前貌似是 Java > php >> go/nodejs > python

话说你都接触过了, 心里有点数了吧, 除了 Python, 其他几个都有一定市场的, Python 协程现在还差临门一脚, 不过非协程的也挺成熟了, 我是协程拥趸结果发现八年了同事之中就我自己玩协程...

进程不是有 wait 么, 不能用 wait 吗... 我管理几十个 chrome 进程用的就是 wait, 看它的 return code 就知道是不是正常退出, 而且反应速度也挺不错的. 不放心再加个验活就好了, 验活可以用 poll 也可以用 os.kill 0 的方式

uds + 多进程够我用了, 没什么多核瓶颈, 后面子解释器也愿意迁, 至于去掉 GIL... 观望吧