有办法利用 mac 的自动操作抓取跨网站数据么？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

在您初次进行交易之前，请点击上面的黄色横条阅读关于交易安全的提示。

为了提高 V2EX 的有效信息质量，在发布交易信息时，除了遵守安全提示中的说明外，也请注意下面的规则：

拼车信息请发到 /go/cosub 节点。

如果没有发送到 /go/cosub，那么会被移动到 /go/pointless。如果持续触发这样的移动，会导致账号被禁用。

这是一个创建于 617 天前的主题，其中的信息可能已经有所发展或是发生改变。

举个例子：

A 网站根据一个表单，找到连接，然后去 B 网站根据一定的规律和关键词，抓取一些数据，由于这些网站都是防爬虫的，所以想通过苹果自动化操作来模拟操作

这样的话，请问是否可行？

3 条回复 • 2023-04-15 18:21:54 +08:00

pengzhendong

2023-04-15 09:34:57 +08:00 via iPhone

selenium ？

bjzhush

2023-04-15 15:22:35 +08:00

有些东西没你想的那么复杂
之前写过一些简单的爬虫，油猴脚本的形式，然后自动合并保存为 CSV 文件下载

zhongsir

2023-04-15 18:21:54 +08:00 via iPhone

没用过 mac ，之前用过一个叫 selenium ide 的 chrome 插件，能保存数据到 csv 也能读取 csv 从而实现跨站操作；不过效率较低，现在还是喜欢 newman 脚本加 win 的定时任务，舒服