今天被某云厂商存储的死循环逻辑弄死了

[atpking]

大概是这么样的

我们有一个审核平台, 是存储应用违规记录的, 之后如果应用违规涉黄, 我们就需要截图存证 之后 今天客服反馈, 无法截图上传了. 最后一一番检查, 发现是云厂商的问题, 直接不返回任何内容了. 工单沟通, 说是因为我们的存储涉黄, 所以封禁了

我一做内容鉴黄,留凭证的业务,到底算不算涉黄?

厂商告诉了我们 bucket 某个 object 违规, 但是 我现在已经无法查看这个 bucket 上的内容, 因为整个 bucket 生成的地址已经 403 了.

最后 我们说明了理由, 说我们这个只有上传, 和内部人员的审核, 外部无法访问

工单说, 写申请, 15 个工作日解封.

跟这家云厂商本来关系不错的, 上周我还请他们个哥们吃饭, 结果出这档子事.

最后想问大家, 是如何保存这种 需要对违法犯罪的证据做存证的存储的, 感觉就是个死循环

最后 我咨询了国内几家大家都用的 bucket 存储厂商

答案都是 不能将 bucket 存储本身涉黄的内容, 哪怕你本来就是审核涉黄内容而存下的证据.


解决方案:

如果使用的是阿里云:

阿里云有提供 审核转储, 也就再让阿里的人审核一次, 他们会将违规内容存到一个专用的 bucket 上, 这个转储的 object 会被内部标记为证据保留.


任意厂商:

方案 A: 自行存储在服务器中, 理论上云厂商不会对服务器的文件进行扫描

方案 B: 上传前加密, 下载后自行解密, 保证公共范围内, 没有解密方案无法读取数据

[wellsc]

阿里？

[atpking]

@wellsc 不要猜云厂商啦 都是兄弟伙 只是想如何规避这个问题

[kop1989]

1 、加密存储。
2 、打码处理。

[DGideas]

之前往某对账存储服务里用户上传了个眼镜框都被封了

[petercui]

从理论上来说，你这就是上传涉黄内容，这种东西还用云存储？就算你这次解封了，明年护网阶段还得给你封了。

[atpking]

@kop1989
1. 其实本身就是私有 bucket , 这次感觉也是云厂商内部审核扫到的 因为地址不会在公网暴露, 就算暴露, 5 分钟后也就因为鉴权失效了

2. 打码这个估计不行, 因为你这个是作为违规证据存档的 到时候别人有可能说 你这不是原始数据, 再就是成本问题, 还得给客服培训打码 多一道手续

[atpking]

@petercui 所以我觉得这个地方就有点死循环 公安要求我们存储审核记录 云厂商不允许我们存储涉黄材料 那我只能拷到自己的私有硬盘上?

[ZhaoHuiLiu]

先数据储存在自己服务器上，审核通过了再上传到云服务器上？

[kop1989]

@atpking #6

其实本质上就是一个责任成本的问题。不是技术问题，也不是业务问题。

对象存储方不愿意承担此责任。而且他也不想承担因此产生的后果和审核成本。
事实其实对服务方不重要，他们要的就是不追加成本，不出生产事故。

[atpking]

@ZhaoHuiLiu
关键是 我这个业务就是存储 涉黄违规图片的 不违规的 其实理论上我都不用保存

[MakeItGreat]

他是你兄弟的话,你为什么不找兄弟？

[wellsc]

@atpking 自建(🐶，反正我们就是这么处理的

[ZhaoHuiLiu]

@atpking 既然储存的是图片，客户先上传到你自己服务器上，让云厂给你鉴黄 api 接口，再把数据发送到这个鉴黄接口上，如果是涉黄违规图片就储存到自己硬盘上，并在自己数据库表中标记为涉黄违规图片。这样不就解决保存证据的问题了吗？

[yitingbai]

为什么国家对于涉黄这么敏感? 每个人都需要的东西, 每天晚上都得干的事情, 就连主席也要娶老婆 , 有那么严重非要赶尽杀绝吗?

[ZhaoHuiLiu]

@atpking 这样做，还能让云厂给你做初步鉴黄，不更省事？为啥那么非要自己去仔细看图片呢？

[shyrock]

截图加密后上传，需要取证时解密，行不行？

话说你这还要请乙方吃饭，出了问题也只能网上求助，简直没有甲方的自觉。

[yunye]

事实证明酒肉朋友不如上网发帖

[shiny]

阿里的遇到过，用阿里 CDN 给腾讯 qpic 做个镜像，结果把腾讯认为没问题的图片给封了

[atpking]

@ZhaoHuiLiu 不是用户上传图片 是我们自己上传图片 上传 有人违规的证据, 不是 ugc, 是我们审核人员上传的 所以我们审核人员上传别人的涉黄证据的的时候 这个图片一定就是涉黄的.

[atpking]

@shyrock 跟乙方沟通了 乙方说 正在催 😂

我倒是发现了他们封禁 bucket 的 bug , 通过他们的漏洞取巧解决了

所以才有时间跟 v 友吹水讨论

[liudaolunhuibl]

我在想这种能不能不发图片呢，比如把图片转成 base64 或者加密之类的然后换成文本文件上传应该就识别不出来了把

[ZhaoHuiLiu]

@atpking 明白了，你的需求了。这样的话，你得对图片数据做下处理，比如把图片的二进制数据颠倒过来，这样云厂打不开，就不能判定是否涉黄了。你们要打开的时候，再把二进制数据颠倒过来就可以打开了。
这个颠倒说的是，数据如果是 1a b4 e6 11, 你们颠倒为 11 e6 b4 1a 这样保存到云端就可以了。

[Symo]

七牛吧, 最近也遇到了, 拉个群处理的话, 挺麻烦.

[lakehylia]

1. 存自己服务器呗。
2. 打包加密后存储咯。

[justfindu]

有些厂商直接做内容安全之后可以使用证据转存. 这个就不会出现违规了. 就是用他们内容安全接口之后

[shapl]

把图片后缀改了再存。。客服审核时改回来，这样不知道可不可以。

[ch2]

加密存储

[atpking]

@ZhaoHuiLiu 明白你的意思 其实可以理解为 @liudaolunhuibl 说的方法

就是审核界面的时候 很麻烦 需要自己包装一个 img 组件 来处理 因为图片没办法直接识别

[atpking]

@justfindu 哦? 哪家供应商 能透露下么

[gamexg]

老实的加密保存
否则，即使这次加了白名单解决了，下次净网行动一样可能挂。
而且还最好是 aes 等强加密，

[justfindu]

@atpking #29 阿里 内容安全 有一个证据转存

[liudaolunhuibl]

@atpking 审核还是图片啊， 就是上传图片之后肯定走的后端接口上传到云的 OSS 上把，在这个接口里面就把图片转了啊，然后转换成一个 txt 文本文件上传，我记得 2010 年左右贴吧还有个更绝的，就是在一个完全正常的图片里藏迅雷的种子

[petercui]

@atpking 你不想自建的话，可以做数据加密啊，用的时候再解密。

[atpking]

@petercui 嗯 是的 目前看来 这种最简单 不用动太大的逻辑

[atpking]

@liudaolunhuibl 直传 之不过想了下, 其实都无所谓 client 端 js 处理就好了, 都是小问题

[jingslunt]

存储涉及到法律地带的，只能自建存储。
这类自建存储其实也不合规，触犯法律的，赵家内部存这些的自己都怕，更别说我们

[jingslunt]

如果是你们上传证据的，为什么不做成 pdf 等正规格式的，这类证据做成带密码的文档，
或者做成带密码包的形式。还是安全意识不够

[chairuosen]

图片上传后就变成 public 的了，只是你没把 URL 泄露而已。
弄个中间服务读图，图走内网 URL

[HarrisonZ]

如果 bucket 设置了 RAM 权限，只有认证之后的用户可以访问的话。那么厂商是怎么能扫描内容的。虽然厂商有一万种方法绕过他们自己的权限系统，但是要脸的厂商都不会这么做的吧

[atpking]

@jingslunt 主要是我们的上级机构 需要预览我们的审查内容,

这个地方本来前面也有 OAuth 登录, 不可能有外界的人从我们的系统拿到这个地址.

当然也有歪门邪道, 做个插件或者写个专用的油猴脚本, 但是我是正紧生意啊 搞得跟盗取美帝核心科技一样

[atpking]

@HarrisonZ 我咨询了几家云客服 他们会扫 oss, 无论权限

[zhuang0718]

这种业务没有专门的通道 进行特殊报备 然后使用的渠道吗。。

[jingslunt]

@atpking oss 厂商都会对客户做大数据分析的，然后提供大数据类型的增值服务。
绕过互联网用户很简单，你要绕过的对象是这些厂商，在他们眼里，你的非加密文件都是明文，都是他们分析的对象

[hjw45611]

上传加密下载解密算是一个常规操作了。

[atpking]

@zhuang0718 咨询了阿里 腾讯 可能是我们不是大客户吧 没有

[ruixue]

还是自建存储吧。一定要用国内的云，加密上传是必须的。至于预览什么的，也可以集成解密模块。只不过都需要投入成本去开发，但是也没办法，要用国内的服务就得做好面对各种恶心政策的思想准备

[HarrisonZ]

@atpking 这就太流氓了，客户的数据属于客户，服务提供商没有授权怎么能扫描呢。还是换 aws 吧，好歹有点节操

[kaedea]

aws

[zhoujinjing09]

私有 bucket 也要扫吗？这不是在搞笑？
那就加密一下呗，或者 xor 一下？

[Jirajine]

真特么讽刺，你们审查用户，云厂商审查封了你。
你想继续审查用户，还得专门用违法的、抗审查的方式存储审查数据。

[ji39]

怎么不刻录光盘呢

[Raven316]

用 ipfs

[ryd994]

你想客户端直接下载的话就比较麻烦。但是这样呢：
云服务器不储存数据，从 bucket 里取数据解密再提供给用户

“保证公共范围内, 没有解密方案无法读取数据”
其实不用。混淆一下就可以了。都是自动化扫描的。不会针对你搞破解的。

[akira]

看起来只能在本地存储了？

[ihipop]

阿里云不是可以开启 OSS 加密

[foMM]

这到底有几层的审核？

[MaiKuraki]

魔幻

[serverABCD]

@DGideas 蛤？

[levelworm]

话说为啥一定要上云？放自己公司里头不就得了？

[twl007]

按道理来说 厂商不应该去看用户存储的资料吧 如果厂商和么做 谁敢把资料放他那里？ 这本身就是不合规啊

[petercui]

@twl007 厂商也有一套煎黄系统，通过机器系统扫描并不算存储厂商“看”客户资料。

[twl007]

@petercui 这个当然算啊 oss 都承带数据加密 如果数据加密我用我自己的 key 做的 你厂商怎么扫描？我觉得不去触碰客户数据算底线吧？要不谁敢存东西上去

[madpecker009]

放自己的内网中不行吗。。。

[xxxyy2y]

用 swarm 吧

[isnullstring]

图片切割、打乱
字节流打乱

加密 就算了，还得花时间去解密

[dreamage]

加密存一下啊，你都知道是 H，还直接往云服务商扔，这不是害人么哈哈哈

[no1xsyzy]

@twl007 说到底层层监管压力在，云服务厂商不去看，公安一看云服务厂商倒霉
国内行政似乎不怎么接受避风港原则，一个很大原因就是早前不少人滥用避风港原则，自己在自己平台注册账号搞事情

[winglight2016]

既然是内部使用，就在内网放一个存储服务器呗

[newmlp]

用异或简单加密下就行了

[zhw2590582]

这么说，厂商不冤枉，不能就因为用户说是内容鉴黄，就能任意保存黄色内容，到时大家都说自己是鉴黄师怎么办，你又没有提供什么国家认可的鉴黄资质。

[petercui]

@twl007 并不算，比如 gmail 用机器扫描邮件推送广告，你会说 google 看了你的邮件么？另外，oss 所谓的数据加密也不是客户自己的 key 做的。要是自己的 key 做的机器扫描后只会是它所不理解的二进制数据而已。

[gablic]

@DGideas 蛤？

[houzhiqiang]

base64 后再 gzip 压缩一次...

[twl007]

@no1xsyzy oss 可以看 那么你的虚拟机能看么？ 你托管的其他业务可以看么…… 感觉这个实在是让人担心数据安全


@petercui Google 现在已经不扫描邮件了 还是涉及到隐私问题的 oss 的加密方式你看 aws 除了你默认用它提供的进行加密 你也可以选择 sse-kms 来加密 上传自己的 key 或者直接用 sse-c 来加密数据 换个方面说 这个对审计也是问题 如果你托管商要扫描我的数据 我也得拿到你的扫描记录才行 否则哪天真的数据泄露了 算托管商的还是算我的？

[twl007]

@petercui 这个系统说实话就是厂商自己给自己开的后门 说明了厂商有一个超级账号 可以绕过客户自己设置权限管理来读取任意的数据进行扫描 这个系统还是个黑盒 甚至扫描记录都不公开 这个后门厂商自己能用 那么厂商怎么保证不被别人拿去用？ 内部风控也不透明 从根本上来说 就不应该有能绕过客户权限系统的系统存在 就算有 也要披露相关的审计日志甚至扫描前要得到用户许可才行

[junbaor]

外区的 aws 也有这个问题吗

[no1xsyzy]

@twl007 我的意思是，这是国情，不是厂商希望如此。如果对此有意见，怨头债主是谁不用我多说了吧
当然，根据纯粹自由主义，gov 这么搞也不是不行。不爽就跑路，iCloud 都云上贵州了。

顺便，虚机的话，还会诱导你，给你加进程哦（指漏洞扫描，并且缺乏恰当的解释说会给你加进程

从法务到程序到运维都完全清楚的「后门」，我不清楚你为何会感到奇怪。难道你有证据证明 AWS 不会扫描吗？你能试着在 AWS 里下个 child porn 或者迪士尼的片的种子吗？文化不同，敏感点不同罢了。
风控的目标本身决定了它不可能透明。
扫描前的确获得了明确许可，否则别说扫描了，连存都存不进去。

[petercui]

@twl007 ………… 您想的太多了，用了公共云存储，云计算您实在就不要考虑数据安全这些了，这跟后门没有任何关系，厂商也不想这样，但是或者利益驱使或者是中国特色的监管需要决定了必须这么做，而且用户协议里也明明白白的写清楚了，不同意的就自建私有云吧。

[czjdrj]

@atpking 你好，我们今天也因”涉黄“被封了，请问楼主当时是怎么解决的？求助

[atpking]

@czjdrj

我是利用了我的供应商的一个漏洞 你可以加我微信聊 搜我用户名即可

[7RTDKSAK]

@yitingbai
因为反黄反诈是遮羞布，或者说至少是一小块遮羞布
你不见为墙站台之人必说“墙外平台黄赌毒危害青少年身心健康”、“境外电信诈骗太猖狂”和“没有墙要被境外势力渗透”吗
如果不反黄，如何向草民解释存在墙这个事实？

[crazyweeds]

想来想去，我觉得还是老老实实 AES 一下吧。厂商之所以不愿意，还是责任问题。个人主观理解，厂商最害怕的就是你搞分享，或者权限设置不当，导致泄露出去，然后直接把整 OSS 域名搞废了，那就真的玩大了。