兄弟们帮忙看下，为啥采集出来的网址都是重复的额，谢谢啦

715xiao · 发表于 2016-9-21 15:13:45

本帖最后由 715xiao 于 2016-9-21 15:35 编辑

--采集规则
[采集来源1]http://news.baidu.com/ns?word=娱乐新闻&pn={页码}&cl=2&ct=0&tn=news&rn=20&ie=utf-8&bt=0&et=0&rsv_page=1[/采集来源1]
[采集正则1]<h3 class="c-title"><a href="(.*?)"[/采集正则1]
[采集页数]3[/采集页数] --请自行修改要采集的页数
[开始页码]20[/开始页码]
[页码频率]20[/页码频率]
[采集延时]100[/采集延时]
[采集编码]utf-8[/采集编码]
[保存顺序]0[/保存顺序]
[采集替换][/采集替换]
[采集库]{采集正则1}[/采集库]

复制代码

xiaohuan · 发表于 2016-9-21 16:13:59

页码没设置！望给采纳

a627817191 · 发表于 2016-9-21 16:14:59

你确定pn可以是21/22/23？

715xiao · 发表于 2016-9-21 16:21:07

xiaohuan 发表于 2016-9-21 16:13
页码没设置！望给采纳

设置了，

715xiao · 发表于 2016-9-21 16:21:18

a627817191 发表于 2016-9-21 16:14
你确定pn可以是21/22/23？

是的

a627817191 · 发表于 2016-9-21 16:24:30

本帖最后由 a627817191 于 2016-9-26 10:07 编辑

难道你不知道这个页码是首项为10，等差公项为10的等差数列吗？最大项为760！

a627817191 · 发表于 2016-9-21 16:26:25

如果pn=20/21/22的话获取的数据会与20的时候完全一样，因为30才会下一页！！

715xiao · 发表于 2016-9-25 10:27:29

a627817191 发表于 2016-9-21 16:24
难道你不知道这个页码是首项为0，等差公项为10的等差数列吗？最大项为760！

首页为20，公差为20 最大项数为760

a627817191 · 发表于 2016-9-26 10:07:36

715xiao 发表于 2016-9-25 10:27
首页为20，公差为20 最大项数为760

哈我错了首页是10, 公差是10，难道你只要双数页面吗？
不然怎么要公差20呢？

715xiao · 发表于 2016-9-30 13:48:37

a627817191 发表于 2016-9-26 10:07
哈我错了首页是10, 公差是10，难道你只要双数页面吗？
不然怎么要公差20呢？

他那个页面时就20.40.60这么挑的，

		自动登录	找回密码
密码			快速注册