V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
xiangyuecn
V2EX  ›  程序员

从高德采集最新的省市区三级坐标和行政区域边界 csv 格式

  •  7
     
  •   xiangyuecn ·
    xiangyuecn · 2019-04-16 08:36:27 +08:00 · 10633 次点击
    这是一个创建于 2050 天前的主题,其中的信息可能已经有所发展或是发生改变。

    当然还是用 js 在浏览器中运行采集的啦,包含采集源码,可自行采集,采集请求数据部分仅需 2 分钟。

    相关介绍: https://www.cnblogs.com/xiangyuecn/p/10714707.html

    数据下载: https://github.com/xiangyuecn/AreaCity-JsSpider-StatsGov/releases

    数据预览:


    另 20 天前发了一个帖子 /t/548567 对应的省市区镇数据采集。

    另 117 天前发了一个帖子 /t/512328 咨询过城市变更我们数据库里面的老数据应对方案,虽然没什么好的结论,但还是可以参考参考。


    为啥不用百度地图,其实最开始用的百度的,采集完才发现百度地图的数据有严重问题,然后才选择的高德。

    嘲讽一下百度地图:

    大量的这种垃圾数据,这么一看 高德简直完美无比。

    第 1 条附言  ·  2019-04-16 12:29:16 +08:00
    感觉这个库有点用的话可以在帖子底部回复区留个好评,有意见或建议到[issues]( https://github.com/xiangyuecn/AreaCity-JsSpider-StatsGov/issues)区留言

    都只收藏不回复,感觉要沉了
    67 条回复    2019-04-17 14:01:44 +08:00
    feikeq
        1
    feikeq  
       2019-04-16 08:38:52 +08:00
    可以的,标记一下
    cookbook
        2
    cookbook  
       2019-04-16 08:46:35 +08:00
    好东西,了解一下
    zxcvsh
        3
    zxcvsh  
       2019-04-16 08:50:11 +08:00 via iPhone
    收藏+1
    ooee2016
        4
    ooee2016  
       2019-04-16 08:59:35 +08:00
    +1
    liuxey
        5
    liuxey  
       2019-04-16 09:02:46 +08:00
    👍
    xiyiailoli
        6
    xiyiailoli  
       2019-04-16 09:04:33 +08:00 via Android
    可以,这个不错
    aleung
        7
    aleung  
       2019-04-16 09:41:58 +08:00 via Android
    高德的数据精确度怎样?见过有些边界数据只是密度很低的折线
    xiangyuecn
        8
    xiangyuecn  
    OP
       2019-04-16 09:42:13 +08:00
    收藏和回复不成比例呀,帖子沉的快
    xiangyuecn
        9
    xiangyuecn  
    OP
       2019-04-16 09:43:59 +08:00
    @aleung 比百度的精确,百度抓取完数据才 20m,高德的 130m,边界细腻不少
    missdeer
        10
    missdeer  
       2019-04-16 09:44:59 +08:00
    图挂了?
    AlexMeng
        11
    AlexMeng  
       2019-04-16 10:01:01 +08:00
    可以的,好东西,顺便想了解一下第一个图,是使用的什么工具把数据转成图形展示的?
    xiangyuecn
        12
    xiangyuecn  
    OP
       2019-04-16 10:08:01 +08:00
    @AlexMeng 我用的 SQL Server 里面查询有空间结果,可以直接看
    aloyip
        13
    aloyip  
       2019-04-16 10:21:24 +08:00
    有趣 收藏了
    teslayun
        14
    teslayun  
       2019-04-16 10:24:17 +08:00
    +1
    jinx930621
        15
    jinx930621  
       2019-04-16 10:25:07 +08:00
    厉害厉害,不知道有没有可能更深一级到达乡镇级别,最近也在学习相关的知识,没找到有能够提供乡镇级别的数据源。
    two4mamba
        16
    two4mamba  
       2019-04-16 10:29:38 +08:00
    蛮厉害的,收藏一下
    xiangyuecn
        17
    xiangyuecn  
    OP
       2019-04-16 10:39:10 +08:00
    @jinx930621 #15 嗯,level4 这个已经包含了乡镇区划数据;至于乡镇这级的坐标和边界就没有采集,也是没有找到数据源,百度和高德都没有提供
    KenGe
        18
    KenGe  
       2019-04-16 11:02:12 +08:00
    mark 以下 可能有用
    l0wkey
        19
    l0wkey  
       2019-04-16 11:05:19 +08:00
    @jinx930621 #15 乡界的数据,基本上目前不会公开有免费版本
    niketwo
        20
    niketwo  
       2019-04-16 11:12:14 +08:00 via Android
    nb,大佬厉害
    zvcs
        21
    zvcs  
       2019-04-16 11:15:31 +08:00 via Android
    厉害了👍。谢谢分享
    jadec0der
        22
    jadec0der  
       2019-04-16 11:18:00 +08:00
    非常酷,mark 一下
    MrUser
        23
    MrUser  
       2019-04-16 11:24:31 +08:00
    不心担被去请茶喝吗?
    xiangyuecn
        24
    xiangyuecn  
    OP
       2019-04-16 11:29:33 +08:00
    @MrUser 数据都是公开的,不知道有什么风险,请指教
    murmur
        25
    murmur  
       2019-04-16 11:30:57 +08:00
    @MrUser 都是火星数据 又不是 gps 原始坐标 国内的公开坐标用的都是火星坐标系
    ARhen
        26
    ARhen  
       2019-04-16 11:34:10 +08:00
    头一回晓得客户端查询还能弄成这样的.....
    auroraccc
        27
    auroraccc  
       2019-04-16 12:05:42 +08:00
    @MrUser 地图又拿不到真实的地址,怕个啥
    eggshell
        28
    eggshell  
       2019-04-16 12:43:50 +08:00
    收藏了,感觉获取一个城市或者区域内的等距离散点坐标这个需求也挺常见的,能支持下吗?
    xiangyuecn
        29
    xiangyuecn  
    OP
       2019-04-16 12:44:34 +08:00
    @ARhen 哈,能直观看到结果,比数字方便多了😂
    opengps
        30
    opengps  
       2019-04-16 12:44:57 +08:00
    收藏,位置服务领域开发的好工具!
    xiangyuecn
        31
    xiangyuecn  
    OP
       2019-04-16 12:50:50 +08:00
    @eggshell #28 没接触过“等距离散点”,这种是不是和附近搜索(查询 一个位置+指定半径 内的所有数据,不知道专业点的名词是什么)类似呀
    eggshell
        32
    eggshell  
       2019-04-16 12:58:56 +08:00
    @xiangyuecn #31 对对对,就是这个意思,我也不知道专业名词叫啥😂, 比如我之前废了老大劲搞的南京的这样

    ![南京散点图]( )
    xiangyuecn
        33
    xiangyuecn  
    OP
       2019-04-16 13:07:35 +08:00
    @eggshell #32 😅 看你这幅图 想起以前搞百度地图上也有过类似的,只不过我是把点等距的放到边界上。应该也好办吧,指定一个点,分别对 lng 累加一个固定数值、对 lat 累加另一个固定数值,判断这个生成的点是否在城市边界内,是就保留,应该能达到这幅图类似的效果。

    这种应该还是数据库查询层面的工作多一些
    vanis
        34
    vanis  
       2019-04-16 13:48:16 +08:00
    这个。。。基础地理数据国家是开放的。不用这么费事吧。
    www.webmap.cn
    seemore
        35
    seemore  
       2019-04-16 14:15:26 +08:00
    1
    xiangyuecn
        36
    xiangyuecn  
    OP
       2019-04-16 14:37:27 +08:00
    @vanis 学习了,研究了一下,里面的数据过于专业,还是百度、高德的对小白友好些。

    另怕被请喝茶,望洋兴叹
    baox2
        37
    baox2  
       2019-04-16 15:05:14 +08:00
    顶起!
    oldbird
        38
    oldbird  
       2019-04-16 15:08:19 +08:00 via Android
    火星坐标系??
    vibin
        39
    vibin  
       2019-04-16 15:14:02 +08:00
    哪位大佬知道中山市的区镇怎么划分? 晚上的 geojson 都只有市级
    2010
        40
    2010  
       2019-04-16 15:25:13 +08:00
    xiangyuecn
        41
    xiangyuecn  
    OP
       2019-04-16 15:37:13 +08:00
    @vibin 中山、东莞、儋州 没有区这一级,看地图上 这几个地区面积明显和同类小很多。

    原始数据这样:广东-中山-?-沙溪
    看面积应该是:广东-?-中山-沙溪

    实际使用:广东-中山-中山-沙溪,能保证整个数据上下层级的结构一致性
    sighforever
        42
    sighforever  
       2019-04-16 16:34:16 +08:00
    厉害厉害,先下载为敬
    DannyVim
        43
    DannyVim  
       2019-04-16 16:53:59 +08:00
    不过对于学术研究而言,大家作图时利用更多的还是 shp。望洋。
    xiangyuecn
        44
    xiangyuecn  
    OP
       2019-04-16 16:59:24 +08:00
    @oldbird #38 嗯,高德的数据是火星坐标系
    xiangyuecn
        45
    xiangyuecn  
    OP
       2019-04-16 16:59:56 +08:00
    @sighforever #42 哈,感谢支持
    xiangyuecn
        46
    xiangyuecn  
    OP
       2019-04-16 17:03:39 +08:00
    @DannyVim #43 原来如此,看到了 webmap.cn 里下载的数据里面有 shp 后缀文件
    SN7
        47
    SN7  
       2019-04-16 17:11:37 +08:00
    如果能采集商家手机号就更更好了。
    ml1344677
        48
    ml1344677  
       2019-04-16 17:36:33 +08:00
    上一份工作把高德地图数据扒了一大半,包括所有 building 的 polygon 底面和高度,全国所有 poi 的数据(通过企业级接口请求 ID 然后爬虫获得 POI 的 polygon )。有需要但要求不那么高的 v2,推荐你们一个开源数据源,openstreetmap 根据文档可以直接解析出来,包括道路什么矢量数据(高德这块道路水系应该是渲染在底图的,不好获得)。
    icylogic
        49
    icylogic  
       2019-04-16 19:03:46 +08:00 via iPhone
    我记得 openstreetmap 有中国行政区划的数据包的,好处在于 API 和对应的开源工具非常多……
    vanis
        50
    vanis  
       2019-04-16 19:14:48 +08:00
    @ml1344677 方便交流下么?对你的工作有需求。
    aleung
        51
    aleung  
       2019-04-16 19:55:50 +08:00 via Android
    @ml1344677 OpenStreetMap 的行政区划数据准确性没有保障,我有时爬山看到个界碑,也会上去更新一下。
    Twislight
        52
    Twislight  
       2019-04-16 20:06:42 +08:00
    收藏一下
    ml1344677
        53
    ml1344677  
       2019-04-16 20:11:41 +08:00
    @aleung 对的,osm 主要是做一个低精度要求需求的数据补充,因为他本身从可获得性上来说比较方便。
    ml1344677
        54
    ml1344677  
       2019-04-16 20:13:35 +08:00
    @vanis v: cTM5ODU1NjA1Mw==
    xiangyuecn
        55
    xiangyuecn  
    OP
       2019-04-16 20:38:39 +08:00
    @ml1344677 @icylogic @aleung 学习了,我研究一下 OpenStreetMap
    xiangyuecn
        56
    xiangyuecn  
    OP
       2019-04-16 20:40:44 +08:00
    @SN7 #47 这个嘛。。。😅 说不定#48 已经爬好了😄
    limingjie138
        57
    limingjie138  
       2019-04-16 21:19:53 +08:00 via iPhone
    点个❤️ 插个眼
    dyb
        58
    dyb  
       2019-04-16 23:20:12 +08:00
    不错,mark 一下
    lby876176278
        59
    lby876176278  
       2019-04-16 23:41:42 +08:00
    刚刚在 Gayhub 上看到有这个开源的项目就按照惯例收藏了一波,想不到作者也在 v 站~ 支持一波
    w797200
        60
    w797200  
       2019-04-17 00:26:28 +08:00 via iPhone
    mark 一下 回来研究
    hero679
        61
    hero679  
       2019-04-17 01:05:53 +08:00
    顺便问个事,高德地图和百度地图,哪个更靠谱一点?
    netfee
        62
    netfee  
       2019-04-17 06:58:23 +08:00 via Android
    🐮比,支持一下楼主
    icered
        63
    icered  
       2019-04-17 08:44:17 +08:00
    支持一下,现在也在学习地图这一块,高德百度一起用,腾讯的就象征性看一下。
    ml1344677
        64
    ml1344677  
       2019-04-17 10:24:37 +08:00
    @hero679 互补
    xiangyuecn
        65
    xiangyuecn  
    OP
       2019-04-17 13:02:48 +08:00
    @hero679 #61 以前一直用的百度,这次采集边界被百度逼得用了高德。
    xiangyuecn
        66
    xiangyuecn  
    OP
       2019-04-17 13:03:41 +08:00
    @lby876176278 #59 Gayhub 😂 感谢有你
    tchqiq
        67
    tchqiq  
       2019-04-17 14:01:44 +08:00
    厉害 顶一下 先收藏了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4447 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 04:09 · PVG 12:09 · LAX 20:09 · JFK 23:09
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.