V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
lFOqSK
V2EX  ›  问与答

Bing 爬虫怎么会爬到我网站的后台管理地址的?

  •  
  •   lFOqSK · 2023-06-05 17:24:23 +08:00 · 982 次点击
    这是一个创建于 567 天前的主题,其中的信息可能已经有所发展或是发生改变。
    发现 Bing 的爬虫竟然直接爬取我的用户后台一个特定的管理地址。

    要访问到这个地址,用户必须登录后在后台主页点击按钮跳转。

    而 Bing 的爬虫竟然直接就爬取这个地址了。我检查了日志,我的网站对这个请求至始至终只返回 404 给 Bing ,但是它就是锲而不舍地定期爬取这个地址。

    我的网站没有提供任何 sitemap 给搜索引擎。公开页面也不存在跳转到这个页面的超链接。不知道它到底是怎么获得这个地址的。

    非常奇怪。好奇问下,Bing 会收集 Edge 用户的访问记录来爬取网站吗?
    8 条回复    2024-09-18 16:09:10 +08:00
    DTCPSS
        1
    DTCPSS  
       2023-06-05 17:32:51 +08:00
    难道这就是传说中的分布式爬虫
    opengps
        2
    opengps  
       2023-06-05 17:34:44 +08:00
    可能有人把这个地址发在公网了
    zenxds
        3
    zenxds  
       2023-06-05 17:38:00 +08:00   ❤️ 2
    可能是有人或者什么漏洞扫描器伪造 Bing 的爬虫在爬?
    Lentin
        4
    Lentin  
       2023-06-05 17:39:52 +08:00
    会。
    terence4444
        5
    terence4444  
       2023-06-05 17:41:03 +08:00 via iPhone
    你用 edge 刚问过这个地址吗?
    lambdaq
        6
    lambdaq  
       2023-06-05 17:44:31 +08:00
    如果你是通用建站程序,估计 bing 有智能。
    googlefans
        7
    googlefans  
       2023-06-05 18:00:07 +08:00
    大概率是伪造 bing 的爬虫 扫你服务器
    salmon5
        8
    salmon5  
       96 天前
    通过 Edge 的访问记录,微软这是作大恶
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5601 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 03:17 · PVG 11:17 · LAX 19:17 · JFK 22:17
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.