admin 管理员组

文章数量: 887021

requests

分页数据的爬取-肯德基餐厅位置信息

文章目录

  • 分页数据的爬取-肯德基餐厅位置信息
    • 1 分析
    • 2 爬取到一页数据
    • 3 爬取多页数据

1 分析

输入地址后显示的地址和最初的地址一样

说明按下查询按钮发起的是Ajax请求

  • 当前页面刷新出来的位置信息一定是通过ajax请求请求到的数据


.基于抓包工具定位到该ajax请求的数据包，从该数据包中捕获到：

  • 请求的url
  • 请求方式
  • 请求携带的参数
  • 看到响应数据

最初抓包的时候都是选择的ALL，但是分析出了这里发送的是Ajax请求，所以本次选择Fetch/XHR，这个是专门查看Ajax请求的

打开F12，选择Fetch/XHR，点击查询后查看结果

发现请求方式是post方式

返回值还是json格式

2 爬取到一页数据

import requestsheaders = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
}
url = '.ashx?op=keyword'data = {'cname': '','pid': '','keyword': '北京','pageIndex': '1','pageSize': '10',
}
# data参数是post方法中处理参数动态化的参数
response = requests.post(url=url, headers=headers, data=data)
page_text = response.json()for dic in page_text['Table1']:title = dic['storeName']addr = dic['addressDetail']print(title, addr)

3 爬取多页数据

当点击第二页的时候，发现请求的数据的pageIndex变为了2，点击第三页的时候变为了3。

所以写一个循环就可以爬取所有页面

每次循环只需要改变的是pageIndex参数的值，因为数据要求是字符串类型，所以避免出错给其强制转换一下

import requestsheaders = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
}
url = '.ashx?op=keyword'for page in range(1, 9):data = {'cname': '','pid': '','keyword': '北京','pageIndex': str(page),'pageSize': '10',}# data参数是post方法中处理参数动态化的参数response = requests.post(url=url, headers=headers, data=data)page_text = response.json()for dic in page_text['Table1']:title = dic['storeName']addr = dic['addressDetail']print('第', page, '页：', title, addr)

关注专栏查看更多详细内容

本文标签： requests

版权声明：本文标题：requests 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/jishu/1716357266h679218.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。