ps4

@yangtukun1412 我说错了， tran 函数确实占用了很大内存，但是是必要的。我说的是第一个 tran 是分开的而后面的是合并一起的，输出的数据是一样多的，但是后一个却占用比前一个高很多很多……

@fcicq
@yangtukun1412 唉，糊涂了，这个问题不是数据库那部分………说错了

@fcicq 数据库就一个，三个键一起做 key ，其实我奇怪的是同样的数据，一次性取出和分四次取出为何内存占用差这么多………

@yangtukun1412 tran 函数没有占什么内存………

@fcicq
@yangtukun1412
昨天一个原因一个原因找，发现不是字典的锅，是我用的数据库 orm peewee 的问题，我一次让他插入所有的表，估计是生成什么巨大的表达式了，我改成一次插入 3000 个表就好了………

@linux40 啊……升级了，貌似字体变了……
@ylsc633 16.04 还不稳定，库也不全
下一步是等六月 wwdc 了， linux 桌面真是受够了………

@linux40 今天么？前几天更新了……

@zhangshu shadowsocks 并没有用 vpn 吧
你说的是 shadowVPN 吧

@HackerOO7 真好，要是能切终端，那就知道问题了
@dphdjy 回去把 gpu 关了试试

@gxl442172663 就是标准的………… chrome 还有自带的？

@cuteshell 关键是硬盘狂转，要是画面还好解决

@HackerOO7 怎么确定的？有时候全屏用一些软件 compiz 也会直接 100cpu 占用，但是还可以切换终端来 kill 掉，卡死是什么都不动了😂

@linux40 基本是………有时候我跑数据也会……跑了一个小时的数据就白跑了……当时就想砸电脑

@nilai 这个我真不知道，小白了，但是这样我怎么知道是那些程序出问题了呢，那些命令只能查看系统的信息和重启用，并没有查看进程信息的地方啊

@GGGG430 已经没有反应了，切不到终端，用手机连 ssh 也是卡死在输完密码的界面
@paulagent 我 8g 内存也没有每次都用完啊………我怀疑可能是我没有来 swap 的问题……
@zhangshu 那玩意儿是 python 的什么系统有啥区别
@nilai 我去搜搜

@lxf1992521 我也怀疑是 chrome 的问题，奈何出问题之后连 top 都没法开

@ayaseangle 那个在哪儿？求教

@wsn2009 对，机械硬盘老机器了， win10 下没事儿

最近也在做类似的东西,但是我的 job 的数量会很少....

我是直接进程间队列传输 job(我叫 task)的参数和要执行的 action,给 taskManager,启动一个进程,或者终结一个进程等等任务.然后确定启动或者终止后会在相应的 taskList 中添加或者除去这个 task.

处理的结果和 task 运行中的状态由 task 自己写入数据库

获取结果的时候直接从另一个进程中获取


当然我这个简单,没有考虑到 task 很多需要排队的问题,关于这个我是这样设想的.用信号量(其实一个 queue 啊什么的都一样),信号量初始值是 process_MAX,taskManager 将其-1 一次就生成一个 task,等于 0 就 block,task 完成就将这个信号量加 1.
另外有一个进程专门将没有开始的 job 扔进一个 queue 里面,到了 max_size 就 block.taskManager 每次从这个 queue 里面取一个 task 执行就好了


当然我这个是小量的时候管用,大量了锁使瓶颈吧...可以将这个开 N 倍,每个部分负责 task_ID%N=1,2,3,4 等等部分就可以了吧....或者还可以精简构架,但是大概意思就是这个意思

内存里维护一份 job 然后加锁不行么?

docker?

@loading 不不不~~我要是想看我就去实施了,不会问了...再多问一句,加密的话用什么加密比较好?密钥怎么处理呢?因为硬件在别人手里,要求在任何处理都不做的情况下,接电开机就能用(已经装好的软件,就是 web 服务)
@shiny 没有,第一不知道用什么加密比较好,第二加密应该会影响性能吧....还有操作的复杂度的问题...

@FONG2
@oott123
@loading
@ryd994
@virusdefender
@jugelizi

谢谢

@loading 不不不~~我要是想看我就去实施了,不会问了...再多问一句,加密的话用什么加密比较好?密钥怎么处理呢?因为硬件在别人手里,要求在任何处理都不做的情况下,接电开机就能用(已经装好的软件,就是 web 服务)