在使用MMA进行信息爬取时遇到了一些问题,使用MMA13.0,win10环境,需要使用MMA来爬取vikacg中连续签到用户的数据
尝试使用f12进行抓包并且获取到了可能的api接口,参见代码中的网址。
代码如下:
req = HTTPRequest[
FromCharacterCode[{104, 116, 116, 112, 115, 58, 47, 47, 119, 119,
119, 46, 118, 105, 107, 97, 99, 103, 46, 99, 111, 109, 47, 119,
112, 45, 106, 115, 111, 110, 47, 98, 50, 47, 118, 49, 47, 103,
101, 116, 77, 105, 115, 115, 105, 111, 110, 76, 105, 115, 116}], <|
"Method" -> "POST"|>]
执行后仅返回了第一条数据,也就是仅返回在签到板上排名第一的用户数据
问题就出在仅返回部分数据,在网页上通过f12可以看出调用的该api返回payload有20组用户的数据,之后尝试通过增加headers中的数据来尝试获取更多数据,还是失败。最后无奈只能通过模拟浏览器才解决,但是还是想使用api来获取完整的数据,请问我在调用api的时候参数是否遗漏了什么?或者是api本身调用的问题?
尝试使用f12进行抓包并且获取到了可能的api接口,参见代码中的网址。
代码如下:
req = HTTPRequest[
FromCharacterCode[{104, 116, 116, 112, 115, 58, 47, 47, 119, 119,
119, 46, 118, 105, 107, 97, 99, 103, 46, 99, 111, 109, 47, 119,
112, 45, 106, 115, 111, 110, 47, 98, 50, 47, 118, 49, 47, 103,
101, 116, 77, 105, 115, 115, 105, 111, 110, 76, 105, 115, 116}], <|
"Method" -> "POST"|>]
执行后仅返回了第一条数据,也就是仅返回在签到板上排名第一的用户数据
问题就出在仅返回部分数据,在网页上通过f12可以看出调用的该api返回payload有20组用户的数据,之后尝试通过增加headers中的数据来尝试获取更多数据,还是失败。最后无奈只能通过模拟浏览器才解决,但是还是想使用api来获取完整的数据,请问我在调用api的时候参数是否遗漏了什么?或者是api本身调用的问题?