[已解决]逐页加载型网站怎么采集

xuefee

比如 美拍是逐页加载，打开一个栏目只显示12条。下拉到最下面才会加载后面的网址，好像下拉三次才有换页代码。加载抓包网址为http://www.meipai.com/squares/ne ... amp;maxid=432637673，但是却无法访问，get也获取不到数据。想问高手这种怎么采集？

--采集规则
[采集来源1]http://www.meipai.com/square/27[/采集来源1]
[采集正则1] <a hidefocus href="(.*?)" target="_blank" class="content-l-p pa">[/采集正则1]

[采集页数]10[/采集页数] --请自行修改要采集的页数
[开始页码]1[/开始页码]
[页码频率]1[/页码频率]
[采集延时]100[/采集延时]
[编码]utf8[/编码]

[保存顺序]0[/保存顺序]
[采集替换][/采集替换]
[采集库]{采集正则1}[/采集库]

最佳答案

月排行榜 / 总排行榜

asdasdasd

2015-11-12 15:14:41

好久了 才有人问这个问题
可以负责的告诉你 !!瀑布流!!神器就可以采集!!! 不管是get 还是post的 还是登录混合
给你贴个非登录下post采集的例程 (刺客已经出例程 找下post采集 例程好像是采网易的啥东西)

[采集协议头1][/采集协议头1]
[采集来源1][/采集来源1]
[采集来源1提交数据][/采集来源1提交数据] --post
[采集正则1][/采集正则1]

[采集页数]1[/采集页数] --请自行修改要采集的页数
[开始页码]1[/开始页码]
[页码频率]1[/页码频率]
[采集延时]1000[/采集延时]
[采集编码]utf8[/采集编码]
[保存顺序]0[/保存顺序]
[采集替换][/采集替换]
[采集库]c:\test.txt==={采集正则1匹配1},{采集正则1匹配2}[/采集库]

跳转到最佳答案楼层

HugoFair

488246505

瀑布流用其它工具采集，比如用火车头浏览器

97251230

不会了，同求。

asdasdasd

好久了 才有人问这个问题
可以负责的告诉你 !!瀑布流!!神器就可以采集!!! 不管是get 还是post的 还是登录混合
给你贴个非登录下post采集的例程 (刺客已经出例程 找下post采集 例程好像是采网易的啥东西)

[采集协议头1][/采集协议头1]
[采集来源1][/采集来源1]
[采集来源1提交数据][/采集来源1提交数据] --post
[采集正则1][/采集正则1]

[采集页数]1[/采集页数] --请自行修改要采集的页数
[开始页码]1[/开始页码]
[页码频率]1[/页码频率]
[采集延时]1000[/采集延时]
[采集编码]utf8[/采集编码]
[保存顺序]0[/保存顺序]
[采集替换][/采集替换]
[采集库]c:\test.txt==={采集正则1匹配1},{采集正则1匹配2}[/采集库]

xuefee

asdasdasd 发表于 2015-11-12 15:14
好久了 才有人问这个问题
可以负责的告诉你 !!瀑布流!!神器就可以采集!!! 不管是get 还是post的 还是登录 ...

已经找到加载网址了。多谢

小莫春天

阿发送到发射点发生 阿萨德飞洒

xiaosa123

不知道哎