温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

python 爬虫开发基础知识

发布时间:2020-07-16 16:28:32 来源:网络 阅读:274 作者:weady 栏目:编程语言
  1. Request
    请求方式 常用的有get post
    请求的url
    第一部分是协议(或称为服务方式)
    第二部分是存有该资源的主机IP地址(有时也包括端口号)
    第三部分是主机资源的具体地址,如目录和文件名等
    请求头 包含请求时的头部信息,如User-Agent,Host,Cookies等信息
    请求体 请求时携带的数据,如提交表单数据时候的表单数据
  2. Response
    所有HTTP响应的第一行都是状态行,依次是当前HTTP版本号,3位数字组成的状态代码,以及描述状态的短语,彼此由空格分隔
    相应状态 有多种响应状态,如:200代表成功,301跳转,404找不到页面,502服务器错误
    响应头 如内容类型,类型的长度,服务器信息,设置Cookie
    响应体 最主要的部分,包含请求资源的内容,如网页HTMl,图片,二进制数据等
    3.URL解析
    urlparse
    from urllib.parse import urlparse
    result = urlparse("http://www.baidu.com/index.html;user?id=5#comment")
    urlencode 这个方法可以将字典转换为url参数
    urlencode(params) params 是字典格式
    4.Requests是用python语言基于urllib编写的
    response.text会出现乱码的问题,所以这个使用response.content
    这样返回的数据格式其实是二进制格式,然后通过decode()转换为utf-8,这样就解决了通过response.text直接返回显示乱码的问题.
    Requests模块允许使用params关键字传递参数,以一个字典来传递这些参数
    response = requests.get("http://httpbin.org/get",params=data)
    response = requests.post("http://httpbin.org/post",data=data)
    文件上传
    files= {"files":open("git.jpeg","rb")}
    response = requests.post("http://httpbin.org/post",files=files)
    获取cookie response.cookies
    证书验证
    from requests.packages import urllib3
    urllib3.disable_warnings()
    response = requests.get("https://www.12306.cn",verify=False)
    代理设置
    requests.get("https://www.baidu.com",proxies=proxies)
    认证设置
    response = requests.get("http://120.27.34.24:9001/",auth=HTTPBasicAuth("user","123"))
    异常
    所有的异常方法都在requests.exceptions,使用时根据需要进行引入即可
向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI