V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  forty  ›  全部回复第 10 页 / 共 28 页
回复总数  546
1 ... 6  7  8  9  10  11  12  13  14  15 ... 28  
175 天前
回复了 SergeGao 创建的主题 程序员 求推荐稳定不晃动的显示器
不能换桌子的话,可以安装一种墙上支架,这样就算桌子塌了显示器都不晃
学到了 1 个新知识: 布隆过滤器
感谢大家!

OP 的这个数据量,用哈希表也足够处理了。也可以先布隆一遍,找出一定不存在重复的,再用哈希排查不确定是否重复的。

化整为零,先用哈希进行分类,再在分类内部进行除重(省内存,时间换空间)。

用普通的编程语言,普通的 PC 即可,不依赖其他数据软件。

203 亿 介于 2^34 与 2^35 (2 的 35 次方) 之间,按 2^35 算,因此 35 比特就能表示行号,可以给它 5 个字节。

用哈希进行分类,分多少个类就写多少个文件,只记录 MD5 和行号。
全部分类文件都写完之后,依次载入 1 个分类文件到内存,用哈希表除重,输出哈希重复(应删除的行)的行号,问题就基本解决了。

如果分 65536 个类,则每个分类下约有 50 多万个数据,每个分类文件约 10MB 。

如果分 256 个类,则每个分类下约有 8 千万个数据,每个分类文件约 1.6GB ,老 PC 也能干。

如果分 16 个类,则每个分类下约有 13 亿个数据,每个分类文件约 26GB ,现在的普通 PC 都可以胜任。

如果强迫症觉得可能有哈希冲突,那就可以再加 1 个不同的哈希算法,对这个数量级来说是基本不用考虑 MD5 冲突的。
全部境外,套上 cf ,证书都不用操心了
179 天前
回复了 wildlynx 创建的主题 分享发现 中国银行真鸡贼
我旧的中行卡单次最高可转 100W, 单日限额好像 500W. 如果是新开卡,限额就很低了。
@emma3 好像是 10G
你这个有后台吗?通过哪种方式把图片上传到 R2 ?
跟现实打交道太深,就会涌入各种牛鬼蛇神,失控,要么管理成本爆炸,要么放任它乱。58 太多坑了,上面是骗子集散地。
把电报号发给对方
很简单,把验证信息放入另一个不经过 cloudflare 的域名站点。
主体内容走 cf, 验证信息走另外通道。
181 天前
回复了 cs5117155 创建的主题 JavaScript 现在 H5 有全面支持蓝牙协议了吗
没问题,黄龙江一派全都带蓝牙了
@zanpo CDN 现在挺普及的,用户是跟 CDN 通信,CDN 再跟服务器通信,CDN 其实是中间人,所以有时候你需要让通信内容不被 CDN 知道,就需要多加密一层。比如,敏感内容,你不想被 CDN 检测和谐。
@Chad0000 你说的“紧急安全事件”是指某个哈希算法不安全了吗?这种不会紧急。一般紧急都是数据库或某些算法泄露吧,这种就换后端算法啊。 客户端算法就保持不变,固定一套基本的哈希就够了,可变部分由服务端来提供。

你说的“搞这么复杂”不知道所指是哪个方案,是指 OP 的那个吗?我其实并不认同 OP 方案。

不复杂,也可以实现我说的:

[ [
1. 要防 CDN ,那就自己再来一层公钥加密。
2. 要兼顾多版本客户端:
-- 2.1 在客户端提交请求时,附带客户端版本号,以便后端识别后区别采用新旧算法
-- 2.2 或在新旧客户端都保持长期固定不变的哈希算法。(算法不变,但是参数会变,结果会变)

至于说要后端保存每种不同 hash 值的,完全不需要。
] ]
1 ... 6  7  8  9  10  11  12  13  14  15 ... 28  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5578 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 40ms · UTC 09:21 · PVG 17:21 · LAX 01:21 · JFK 04:21
Developed with CodeLauncher
♥ Do have faith in what you're doing.