admin 管理员组

文章数量: 887016

文章目录

  • 一、目的分析
  • 二、爬取页面商品所有详情页链接
        • 1、爬取href链接
        • 2.将数据存入数据库
        • 完整代码：
  • 三、多线程优化版已完成
      • （多线程优化）爬取京东笔记本电脑销量榜data-sku(商品id)，并存入云服务器中的mysql库（爬取时间较上一版提升十多倍）

一、目的分析

1、京东搜索笔记本电脑字段，按销量由高到低排序，该网页作为开始url，爬取100页数据，共计 5 (个) *12（行）*100（页）= 6000（条）数据。

2、数据为各个项目详情页中的数据，即下图中的href，可先爬取所有的href，后续再从各链接中爬取所需数据。

二、爬取页面商品所有详情页链接

即该href链接

出现的问题：京东一页数据为30项，但分半加载，即先加载15项，下滑加载后半部分，导致爬取结果仅有15项。

解决方法：爬虫爬取动态网页，滑动加载项无法爬取问题

1、爬取href链接

这里使用了selenium模块加载动态网页
观察各页url：
第一页：https://search.jd/Search?keyword=%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&suggest=1.his.0.0&psort=3&click=0
第二页：https://search.jd/Search?keyword=%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&suggest=1.his.0.0&psort=3&page=3&s=61&click=0
第三页：

本文标签： 笔记本电脑 销量 每件 京东 器中

版权声明：本文标题：爬取京东笔记本电脑销量榜每件商品详情页url，并存入云服务器中的mysql库 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/jishu/1724708157h799253.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。