工具地址: 宜出行人流量在线爬取工具

提前说明

  • 该工具耗费了挺多时间,因此不免费提供,但可以爬取小范围内(大约2.3*2.26KM的矩形范围),可以看下面的示例数据,也就是比如一个公园、学校范围内的数据自己在网页上爬取就OK,没有任何限制。
  • 如需合作,请先试用小范围的数据是否符合需求,再来加我qq,
  • 使用时请严格按照步骤说明来,数据格式一定得标准,否则无法采集数据后果自负。
  • 输入和输出数据坐标系统一为WGS84坐标系。
  • 下面写了千万注意的地方很重要,一定得仔细看。

示例数据

  • 一个网格点爬取到的示例数据:点击下载。这是2019/11/29 10:13的北京故宫范围的热力数据(数据是WGS84坐标系,底图是百度坐标系,因此看起来有些偏差)
  • 可视化效果:

在这里插入图片描述

1. 确定需要爬取的范围,并生成网格坐标

  • 使用坐标拾取工具确定爬取的坐标范围(WGS84坐标系);

  • 使用渔网坐标在线生成工具生成需要爬取的渔网坐标点;

  • 填入经纬度范围,以及网格间距后,点击确定,即可会在下面展示出生成的网格点以及总的网格点数量,直接拷贝过去即可。

千万注意:

网格太大会耗时很久,而且由于目前服务器的成本问题,会出现不可预估的错误,因此,每次最好能保持在50个网格点以下。

2. 获取cookie

  • 电脑端登录qq,浏览器打开空间或者邮箱;
  • 打开宜出行网站:https://c.easygo.qq.com/eg_toc/map.html?origin=csfw&cityid=110000
  • 快捷键打开F12,或者打开开发者工具,在network -> XHR请求中找到heatmap字样的请求,点击后右边下拉一些就能看到cookie值,复制即可。看图应该更清晰:
  • 在这里插入图片描述
千万注意:

一个qq的cookie大概能爬120个点,下一次使用前最好刷新下宜出行网站,看看是否会提示操作频繁,请明天再试,这样的提示表明这个qq号今天已经被封, 需要换号,换号前一定记得清除缓存以及cookie信息(重点是cookie信息),不懂的自行百度下。然后换号登录,重新获取cookie就可以继续使用了。

3. 获取密钥

目前提供试用密钥:ASDJRKDJER854J2J4J36,当前密钥一次只能爬取两个坐标点范围的人流量数据。正式使用的密钥则无此限制,需要请加qq:1820994794。请看清楚需求再咨询,谢谢

常见问题

  • 宜出行数据和腾讯位置大数据精度怎样啊?它两有什么区别啊?

腾讯位置大数据的精度比较低,宜出行的数据精度比较高,大概每个点之间的距离大约是25米;

  • 数据的坐标系是什么啊?

WGS84坐标系,确定范围的时候也需要填入WGS84的坐标点

  • 爬下来的数据有哪些字段啊?

经度,纬度,对应人流数量三个字段

  • 能不能爬取历史数据啊?

目前不能,爬下来的数据是实时的.

  • 一个网格点能爬取多大范围的数据? 长2.58KM,宽2.3M的矩形范围。

原创文章,转载请注明出处:http://www.loveyuanwei.com/article/easygo/