@coder1 不是什么大佬，看您这么认真的讨论我也就参与说两句罢了。

是这样的，搜索引擎能索引到的内容仅仅是网络信息里很小的一部分，特别是当前网络信息服务如此发达之后，所谓『深网』就成为了普通搜索引擎无法企及的地方（深网不是暗网，两者还有区别）
举个例子，在移动互联网时代，有很多知名的软件服务，其实早已不再考虑从搜索引擎获得主要流量，他们一般都仅仅是给一个官网的单页介绍，让你下载 App 使用内容服务。或者将网页内容设置为登录鉴权可见。
还有早先淘宝是不让百度抓站的，微博不登录也只能看加 V 微博的，这种例子数不胜数。

所以我说，当前通用搜索引擎的使用人数下降，搜索结果页向其他渠道导流并不是主因，主因是移动互联网服务的信息孤岛效应。我搜八卦会去微博，搜新领域知识总结会去知乎，搜图会去 instagram ……你看，信息孤岛和渠道专业化，让当前用户的搜索行为已经开始分化了。

再给您说一个例子，搜索引擎每天数以亿计的搜索 Query，大概一半是导流和商业需求，比如搜『淘宝』『微博』『 12306 』然后点击登录。真正的专业信息检索需求反而是很长尾的需求。

所以你看，在这种情况下，商用搜索引擎很难会去过多考虑解决您提到的问题。
另外，LS 有人提到举报机制需要反垃圾举报，这也是一点，恶意举报的判断一样也需要人工和算法的投入，并不简单。
以及，如果真有大量的垃圾站通过过度 SEO 来引流，一般被发现点击跳出模型异常，也会通过算法升级修复（但就看有没有排期了……）