admin 管理员组文章数量: 886992
主要内容有：
- 通过requests库模拟表单提交
- 通过pandas库提取网页表格
朋友发给我一个网址，哭哭啼啼地求我：“去！把这个网页上所有年所有县所有作物的数据全爬下来，存到Access里！”
我看他可怜，勉为其难地挥挥手说：“好嘞，马上就开始！”
大家在学python的时候肯定会遇到很多难题，以及对于新技术的追求，这里推荐一下我们的Python学习扣qun：631441315，这里是python学习者聚集地！！同时，自己是一名高级python开发工程师，从基础的python脚本到web开发、爬虫、django、数据挖掘等，零基础到项目实战的资料都有整理。送给每一位python的小伙伴！每日分享一些学习的方法。和需要注意的小细节
目标分析
朋友给我的网址是这个： https://www.ctic/crm?tdsourcetag=s_pctim_aiomsg
打开长这样：
根据我学爬虫的经验，通常只要把年月日之类的参数附加到url里面去，然后用 requests.get 拿到 response 解析html就完了，所以这次应该也差不多——除了要先想办法获得具体有哪些年份、地名、作物名称，其他部分拿以前的代码稍微改改就能用了，毫无挑战性工作，生活真是太无聊了
点击 View Summary 后出现目标网页长这样
那个大表格的数据就是目标数据了，好像没什么了不起的——
有点不对劲
目标数据所在网页的网址是这样的： https://www.ctic/crm/?action=result ，刚刚选择的那些参数并没有作为url的参数啊！网址网页都变了，所以也不是ajax
这和我想象的情况有
巨大 差别啊
尝试获取目标页面
让我来康康点击 View Summary 这个按钮时到底发生了啥：右键 View Summary 检查是这样：
实话说，这是我第一次遇到要提交表单的活儿。以前可能是上天眷顾我，统统 get 就能搞定，今天终于让我碰上一个 post 了。
点击 View Summary ，到DevTools里找network第一条：
不管三七二十一， post 一下试试看
import requests
url = 'https://www.ctic/crm?tdsourcetag=s_pctim_aiomsg'
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
'AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/74.0.3729.131 Safari/537.36',
'Host': 'www.ctic'}
data = {'_csrf': 'SjFKLWxVVkkaSRBYQWYYCA1TMG8iYR8ReUYcSj04Jh4EBzIdBGwmLw==',
'CRMSearchForm[year]': '2011',
'CRMSearchForm[format]': 'Acres',
'CRMSearchForm[area]': 'County',
'CRMSearchForm[region]&版权声明：本文标题：python拿到的数据怎么放到页面里_学会Python3模拟登录并爬取表格数据！excel高手也自叹不如！... 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/jishu/1732176363h1525153.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论