admin 管理员组

文章数量: 887007

代理ip之薅羊毛

分享一个自己写的爬虫封装工具

自己买的ip代理，每次访问获取地址的网址。次数就会减一
使用load_ip方法保存ip。等不能用了再换一个，节省资源。
觉得有用的朋友，点个赞呗

from urllib import request,parse
import json,my_fake_useragent as ua
import re,requests
#urllib——post方法封装
def post(url,data=None,decode='utf-8'):""":param url: 要获取的网站网址 string:param decode: 编码格式（默认utf-8）:param data: 请求体 dict:return: json对象 class"""data = parse.urlencode(data).encode()html = request.urlopen(url,data=data).read().decode(decode)temp = json.loads(html)return temp
#urllib——get方法封装
def get(url,par=None,decode='utf-8'):""":param url: 要获取的网站网址 string:param decode: 编码格式（默认utf-8）:param parse:get请求需要添加的参数 dict:return: json对象 class"""url = url + parse

本文标签： 代理ip之薅羊毛

版权声明：本文标题：代理ip之薅羊毛 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/jishu/1732361361h1535309.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。