页面源码多运行慢，怎么解决呢？

hongzhou · 发表于 2020-7-15 18:37:07

比如百度搜索这块，返回的源码数量有点大，加上需要获取的参数比较多，导致运行速度很慢，有时候1-3分钟才运行完一次完整流程，如果是刚打开神器，运行第一次，速度是很快的，后面不知道是不是返回源码量多，所导致

楚轩 · 发表于 2020-7-15 19:38:39

拿分走人呵呵，楼下继续！

刺客 · 发表于 2020-7-15 22:40:28

试试多抓几页找到后面几页源码少的页面，可能某些url展示的每页内容叠加了

hongzhou · 发表于 2020-7-16 08:34:33

刺客发表于 2020-7-15 22:40
试试多抓几页找到后面几页源码少的页面，可能某些url展示的每页内容叠加了

比如这个：https://www.baidu.com/s?&wd= ... 7%E8%A3%85%E4%BF%AE
因为需要获取关键词各自然排位的真实URL，先获取到百度加密URL，再打开百度加密URL，才能获取到自然排名真实的URL，一页有8-10个页面，也还要打开8-10个页面，这一套下来，运行就比较慢了

hongzhou · 发表于 2020-7-16 08:50:08

刺客发表于 2020-7-15 22:40
试试多抓几页找到后面几页源码少的页面，可能某些url展示的每页内容叠加了

还有移动页面的，获取完pc页面，同时再获取移动页面

		自动登录	找回密码
密码			快速注册

[BUG已修复] 页面源码多运行慢，怎么解决呢？

兔年幸运勋章

忠实粉丝

VIP赞助会员

宣传大使

七夕纪念勋章

规则开发者

帅哥勋章

羊年幸运勋章

勤学向上

10周年纪念勋章

本月灌水之星

春节勋章