当前位置:首页>站长教程>火车头>批量网址中的区间变化 的原理介绍

批量网址中的区间变化 的原理介绍

区间变化的变化原理为:地址中的两个参数以固定的间隔进行增长,并且相邻两组值的结束值与起始值间隔为1,以这种形式变化增长的地址格式可以使用区间变化来处理。

比如以https://www.powerchina.cn/col/col7440/index.html?uid=46098&pageNum=1,网址为例,我们使用fiddler抓包网址变化如下:

第一页:https://www.powerchina.cn/module/web/jpage/dataproxy.jsp?startrecord=1&endrecord=16&perpage=16

第二页:https://www.powerchina.cn/module/web/jpage/dataproxy.jsp?startrecord=17&endrecord=32&perpage=16

第三页:https://www.powerchina.cn/module/web/jpage/dataproxy.jsp?startrecord=33&endrecord=48&perpage=16

。。。

如下图,我们可以清晰的看到列表网址中,每一页的起始值跟结束值都相差15,且相邻的页数,上一页的结束值与下一页的起始值相差为1,符合区间变化的规律。

批量网址中的区间变化 的原理介绍插图

所以就可以按照下图设置,变化的字段选用地址参数,起始值用[地址参数],结束值用[地址参数1],区间步长使用起始值与结束值的间隔数。

批量网址中的区间变化 的原理介绍插图1

然后fiddler抓取的post值填写到采集器中,使用自动获取链接,即可抓取列表页数据

批量网址中的区间变化 的原理介绍插图2

批量网址中的区间变化 的原理介绍插图3

注意:区间变化不可与批量网址中的其他方式混用,且必须有两个地址参数

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。
火车头

User-Agent随机调用文本中的ua使用方法

2023-1-8 10:25:14

火车头

火车采集器-旗舰版(自动授权版)授权更换方法说明

2023-1-8 10:25:20

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索