zachariahss 最近回复了
推理框架类似 tgi 或者 vllm 本身内部自带了 kv cache 引擎,也不好关闭,这东西会根据每次的向量计算一些缓存,逐步累计,累积到一定程度就会发生大量重复了.但是这个 cache 本身和 hyper parameters 有关,貌似很复杂的逻辑,但是缓存一般会约定时间,默认多少小时,具体可以找推理框架的文档.
举例就是 deepseek 的官网就有命中缓存和不命中的价格差异
google 的 geminiaip 我也遇到过,明明按照官网计费标准要几百美金,但是最后只入账了 100 左右,问了客服说是和缓存命中有关
提三个点,
第一个点,要可以控制某些网页不进行加载,因为有些业务网站篡改后可能出现意料之外的问题,
第二个点,要有一个开关可以切换变更前变更后的页面,否则不方便
第三个点,需要可以动态调整翻译出现的频率,以及目前的翻译全都是单词,后期应该有整句翻译,这个阈值应该可调,
Emmm,我为了稳点,人家都是 180 天消费一次,我是 90 天消费一次....貌似现在还存活
你要信我的话....我就直接给你推荐一个开源的,虽然不是什么千万并发,万亿存储,没有啥数据湖啥的,但是万级的并发,支付,验证,es,热点数据啥的都还是有的,小场景商城随便应付....你拿过去自己针对核心业务随便写写业务逻辑就懂了.多端的.手机端也有(ps: 我们拿着开发过)
项目外包型公司,看项目发工资和留人的,一人身兼多职,前端后端+运维
电网有项目就发工资,没项目就裁员
不过电网在国内这种项目外包形式里面算是比较稳定的.但是也是没啥发展机遇,应该是基本不用想涨工资啥的,也别想有啥奖金和福利.我猜的应该没错吧
6 岁?马上小学?送一套大而全的文具套装吧.庆祝即将开始的小学生活
加班呗,想一想,
一年终末之际,你盯着一行出现 bug 的代码,上下求思而不得解.眼睁睁看着时间从 11:55 分
走到了 56 分,
57 分,
58 分,
59 分,
最终默默地跨过了 00 分的指针,
你只觉得浑身酸爽,万籁俱寂.
想着人这一辈子也就这样了吧.然后点上一根烟,倒上一杯酒
然后发现 bug 还是没解决
最后安详的倒在床上,迎接第二天的没有工资的加班,
生活美满,幸福