共计 366 个字符,预计需要花费 1 分钟才能阅读完成。
采集小红书数据爬虫:
1. 本来是要通过 app 端的接口去直接采集数据,但是 app 接口手机端设置本地代理这边开启抓包后就不能正常访问数据。
所以就采用了微信小程序里的小红书 app 接口去采集数据。
2. 通过 fiddler 去抓包,手机端进入小程序端口选择彩妆向下滑动请求数据,这边 fiddler 就会抓到请求数据和相应的 response。
由上边的两图可以看到请求的一个过程,这里每次单击拖动只会更新 10 条数据 (数据包含在 data{} 里),下面就要对请求的 header 参数进行分析。
“auth-sign”:”13c136011f62d6bc0e7d2bf1f7f04201″,
而且参数还具有一个时效性,请求的一段时间内是能够返回得到有效数据的。
这里呢,暂时未做分析只是先把 10 条数据先拿下来试试,稍后再做处理。
这一期的学习交流就先到这里,感谢你的阅读
正文完
关注板板AI免费获得移动AI助手