@tomatocici2333 有账号，今晚我测试一下 A 的风控，看看是不是 A 的限制

@defunct9 #11 这算是一个可能的原因。如果是这样的话，我这爬虫的寿命相当于是终结了

不过业务系统 A 是个外包，应该不会专门做这种吧

明说了吧，业务系统 A 就是 正方教务系统 https://i.imgur.com/NIvxivj.png

@proxytoworld #8 这需要改一下代码，让来自用户的请求先临时停下来，然后再把 cookie 从 B 里面抓出来拿到 Windows 云服务器去访问测试

改动比较大，后面如果还是没有进展也只能试试了

不过说起来，我观察了浏览器上访问业务系统 A 时的请求，它的 Cookie 有刷新的情况，正常先加载 Html ，此时服务端 set 一个 cookie ，然后浏览器开始加载 js 、img 等资源，在这些加载过程中依旧会随机的 set 一个新的 cookie ，从观察情况来看，没有什么规律，也不确定为什么业务系统 A 要 set 一个新的 cookie

@zjsxwc 接触不到 A ，要爬它就是因为改不了动不了它呀 https://i.imgur.com/NIvxivj.png

@kkk9 参数应该是一样的，代理服务器 B 和业务服务 C 都是代码来发的请求，没有道理不一样
Windows 云服务器上的 Edge 浏览器在多次测试过程中使用的都是同一个账号和密码，也没有换浏览器，请求成功和失败的时候参数也应该是一样的

这个东西给我的感觉就像是：我用 Edge 刚刚获取到的 Cookie ，还没开始走到登录接口呢，就突然被什么东西给拿去用了（例如刷新验证码，或者登录其他账号了），等 Edge 走到登录接口了，Cookie 就有问题了

@proxytoworld 对，这也是我十分奇怪的点，按理说不管是不是深信服，VPN 都不应该会“篡改”请求的，但是除了 Atrust 之外，就没有地方可以怀疑了，除非是业务系统 A 改东西了。
因为我在服务器上单独测试过浏览器访问业务系统 A 了，问题依旧出现，说明问题应该不是出现在代理服务器 B 、业务服务器 C 甚至更加往下的服务器

这东西对我的冲击有点像“计算网络不存在了” https://i.imgur.com/NIvxivj.png

因为情况很复杂，所以写了很多的字配上图来说明情况，希望大佬们可以耐心看完 https://i.imgur.com/YGIx7lh.png

帖子不要沉了呀，求大家帮帮我

分子+1

dama ？

底半

@beneo 我这里的数据转换很简单，就是接收请求，然后调用新版本的服务，获取到返回数据之后再按照老版本的格式返回，请求量大是因为微信小程序端不升级了，一直在请求老接口

@Immortal 还有一个是组网是用的 tailscale 来跨云联通，这块 k3s 有很多资料（直说了就是米开朗琪杨推的🤣）

@Immortal 第一次用 k3s 的时候，我的活动机都开的是 1c2g ，跑个 k8s 的话就别想跑服务上去了，所以就整了 k3s ，后面受不了机器性能太低，就渐渐的开成 2c4g 的配置了

@Immortal 我组的高可用集群

@gongquanlin lens

@Mystery0 数据库和 redis 在单独的机器上，通过内网连进去，不在 k3s 里面

https://i.imgur.com/GLsnqm6.png
刚刚去 k3s 截了个图
自己买云厂商活动机组的 k3s ，普遍是 2c4g ，所以对内存很敏感，一旦全部跑在一台机器上面之后，内存爆了机器都连不上

部署的这些东西，除了 python 那个和 halo ，其他都是我自己写的，用 go 写的请求量超大的服务，占用内存也比那几个 java 老服务没流量占用的内存小一大半。
绿色框的 java 服务设置了 jvm 内存限制为 1G ，它的请求量大，占用内存多没得说；蓝色框的两个老服务，基本上没什么流量了，现在设置的 jvm 内存限制是 512M ，再低就起不来了


现在你问我写新东西要用 java 还是 go ？你觉得我该选什么？
从图上看，go 写的东西无论是 cpu 还是内存都比 java 低太多了


————————
FAQ：

1.为什么不加钱上大机器？
A：钱不是大风刮来的，就这一堆，算下来一年都要好几千块钱呢

2.为什么这么多 java 服务？
A：有些是以前写的，为了降低占用，我都把里面的代码改了很多了，老服务做兼容的逻辑，以前是查库，现在我改成了返回死数据。如果时间够，我是真的想把这堆东西全部用 go 重写

3.这是 pod 的占用，有些两个容器的是不是其他容器占用大
A：有两个容器的，第二个容器都是 categraf ，用来采集 promethus 数据上报监控的，没有这个监控，我连哪台机器内存爆了都不知道