路飞学城-学习文档

第1章 Python基础 Day1 基本语法
- 1.1 编程语言介绍与分类
- 1.2 Python介绍、发展趋势
- 1.3 Python环境安装
- 1.4 开发你的第一个Python程序
- 1.5 选择最好用的PyCharm IDE
- 1.6 变量
- 1.7 注释
- 1.8 基本数据类型
- 1.9 读取用户指令
- 1.10 格式化打印
- 1.11 运算符
- 1.12 流程控制之if...else
- 1.13 流程控制之while循环
- 1.14 本章练习题&作业
第2章 Python基础 Day2 数据类型和文件操作
- 2.1 上章补充-变量的创建过程
- 2.2 上章补充-身份运算和None
- 2.3 细讲数据类型-列表
- 2.4 细讲数据类型-元组
- 2.5 细讲数据类型-字符串
- 2.6 细讲数据类型-字典
- 2.7 细讲数据类型-集合
- 2.8 秒懂二进制
- 2.9 字符编码之文字是如何显示的
- 2.10 秒懂十六进制
- 2.11 hash是个什么东西
- 2.12 用Python操作文件
- 2.13 本章练习题&作业
第3章 Python 基础 Day3 函数编程
- 3.1 上章补充-Bytes类型
- 3.2 上章补充-字符编码的转换
- 3.3 上章补充-深浅copy
- 3.4 函数来了
- 3.5 函数返回值与作用域
- 3.6 嵌套&匿名&高阶函数
- 3.7 函数的递归
- 3.8 内置函数
- 3.9 名称空间
- 3.10 闭包是个什么东西？
- 3.11 函数进阶-装饰器
- 3.12 列表生成式
- 3.13 生成器
- 3.14 迭代器
- 3.15 练习题&作业
第4章 Python基础 Day4 常用模块
- 4.1 模块介绍与导入
- 4.2 第3方开源模块的安装使用
- 4.3 系统调用os模块
- 4.4 系统调用sys模块
- 4.5 time & datetime模块
- 4.6 random随机模块
- 4.7 序列化pickle&json模块
- 4.8 hashlib 加密
- 4.9 文件copy模块shutil
- 4.10 正则表达式re模块
- 4.11 软件开发目录设计规范
- 4.12 包&跨模块代码调用
- 4.13 练习题&作业
第5章 Python核心编程 Day5 面向对象编程
- 5.1 面向对象来了
- 5.2 面向对象语法
- 5.3 对象间的交互、组合
- 5.4 三大特性之-继承
- 5.5 三大特性之-封装
- 5.6 三大特性之-多态
- 5.7 作业&练习题
第6章 Python核心编程 Day6 面向对象编程进阶
- 6.1 类方法、静态方法
- 6.2 属性方法property
- 6.3 神奇的反射
- 6.4 类的双下线方法
- 6.5 用type动态创建一个类
- 6.6 isinstance\issubclass
- 6.7 异常处理
- 6.8 作业&练习题
第7章核心编程 Day7 Socket网络编程
- 7.1 C/S架构介绍
- 7.2 TCP/IP 各层详解
- 7.3 Socket介绍
- 7.4 Socket代码实例
- 7.5 粘包现象与解决方案
- 7.6 通过socket发送文件
- 7.7 本章总结
第8章核心编程 Day8 并发编程
- 8.1 操作系统介绍
- 8.2 并发编程多进程之进程理论
- 8.3 并发编程多进程之开启进程的两种方式
- 8.4 并发编程多进程之join方法
- 8.5 并发编程多进程之守护进程
- 8.6 并发编程多进程之互斥锁
- 8.7 并发编程多进程之队列
- 8.8 并发编程多进程之生产者消费者模型
- 8.9 并发编程多线程之线程理论
- 8.10 并发编程多线程之开启线程的两种方式
- 8.11 并发编程多线程之多线程与多进程的区别
- 8.12 并发编程多线程之Thread对象的其他属性或方法
- 8.13 并发编程多线程之守护线程
- 8.14 并发编程多线程之GIL全局解释器锁
- 8.15 并发编程多线程之死锁现象与递归锁
- 8.16 并发编程多线程之信号量,Event,定时器
- 8.17 并发编程多线程之线程queue
- 8.18 并发编程多线程之进程池与线程池
- 8.19 并发编程之协程-协程介绍
- 8.20 并发编程之协程-greenlet模块
- 8.21 并发编程之协程-gevent模块
- 8.22 并发编程IO模型-IO模型介绍
- 8.23 并发编程IO模型-阻塞IO
- 8.24 并发编程IO模型-非阻塞IO
- 8.25 并发编程IO模型-多路复用IO
- 8.26 并发编程IO模型-异步IO
- 8.27 并发编程IO模型-IO模型比较分析
- 8.28 并发编程IO模型-selectors模块
- 8.29 本章小结
第9章 Mysql数据库开发
- 9.1 初识数据库-数据库管理软件的由来
- 9.2 初识数据库-数据库概述
- 9.3 初识数据库-mysql安装与基本管理
- 9.4 初识数据库-初识sql语句
- 9.5 库操作-库的增删改查
- 9.6 表操作-存储引擎介绍
- 9.7 表操作-表的增删改查
- 9.8 表操作-数据类型
- 9.9 表操作-数值类型
- 9.10 表操作-日期类型
- 9.11 表操作-字符串类型
- 9.12 表操作-枚举类型与集合类型
- 9.13 表操作-完整性约束
第7章爬虫开发-requests模块学习
- 7.1 requests模块初始
- 7.2 requests案例实战
第21章爬虫开发-爬虫基础简介
- 21.1 爬虫初识&价值探讨
- 21.2 爬虫合法性探究
- 21.3 爬虫初识深入
- 21.4 http&https协议
第9章爬虫开发-数据解析
- 9.1 数据解析概述
- 9.2 数据解析---正则表达式
- 9.3 数据解析---bs4解析
- 9.4 数据解析---xpath解析
第10章爬虫开发-验证码识别
- 10.1 验证码识别
- 10.2 验证码实战
第11章 requests模块高级操作
- 11.1 模拟登陆
- 11.2 requests模块的cookie处理
- 11.3 requests模块的代理IP操作
第13章高性能异步爬虫
- 13.1 高性能异步爬虫---线程and线程池
- 13.2 高性能异步爬虫---异步协程
- 13.3 高性能异步爬虫---多任务异步协程
- 13.4 高性能异步爬虫---aiohttp
第25章 scrapy框架使用
- 25.1 scrapy简介
- 25.2 scrapy的数据持久化存储
- 25.3 scrapy基于Spider类的全站数据爬取
- 25.4 请求传参
- 25.5 scrapy图片数据爬取
- 25.6 scrapy中间件
- 25.7 scrapy中selenium的应用
第12章动态渲染页面爬取
- 12.1 图片懒加载
- 12.2 selenium模块基本使用
- 12.3 基于selenium的爬虫案例
- 12.4 Pyppeteer模块使用

requests模块的cookie处理阅读量: 4383

<h2>会话和Cookies</h2>

在浏览网站的过程中，我们经常会遇到需要登录的情况，有些页面只有登录之后才可以访问，而且登录之后可以连续访问很多次网站，但是有时候过一段时间就需要重新登录。还有一些网站，在打开浏览器时就自动登录了，而且很长时间都不会失效，这种情况又是为什么？其实这里面就涉及到了会话和cookie的相关知识，本节就来揭开他们的神秘面纱。

<h2>无状态HTTP</h2>

HTTP的无状态指的是http协议对事物处理是没有记忆能力的，也就是说服务器不知道客户端是什么状态。当我们向服务器发送请求后，服务器解析此请求，然后返回对应的响应，服务器负责完成这个过程，而且这个过程是完全独立的，服务器不会记录前后状态的变化，也就是缺少状态记录。这就意味着如果后续需要处理前面的信息，则必须重传，这导致需要额外传递一些前面的重复请求，才能获取后续响应，然而这种效果显然不是我们想要的。为了保持前后状态，我们肯定不能将前面的请求全部重传一次，这太浪费资源了，对于这种需要用户登录页面来说，更是棘手。

这时两个保持http连接状态的技术出现了，分别是会话和cookie。会话在服务端，用来保存用户的会话信息。cookie在客户端，有了cookie，浏览器在下次访问网页时会自动附带上cookie发送给服务器，服务器识别cookie并鉴定出是哪个用户，然后在判断出用户的相关状态，然后返回对应的响应。

<ul>
	<li>会话：会话（对象）是用来存储特定用户进行会话所需的属性及配置信息的。</li>
	<li>cookie：指的是某些网站为了辨别用户身份、进行会话跟踪而存储在用户本地终端上的数据。</li>
	<li>会话维持：当客户端第一次请求服务器时，服务器会返回一个响应对象，响应头中带有Set-Cookie字段，cookie会被客户端进行存储，该字段表明服务器已经为该客户端用户创建了一个会话对象，用来存储该用户的相关属性机器配置信息。当浏览器下一次再请求该网站时，浏览器会把cookie放到请求头中一起提交给服务器，cookie中携带了对应会话的ID信息，服务器会检查该cookie即可找到对应的会话是什么，然后再判断会话来以此辨别用户状态。</li>
	<li>形象案例：当iphone用户第一次向iphone的售后客服打电话咨询相关问题时，售后客服会针对当前用户创建一个唯一的“问题描述”，用来记录当前用户的iphone产品出现的相关问题，然后当用户阐述清楚问题后，售后客服就会将问题记录在所谓的“问题描述”中，并将“问题描述”的唯一编号通过短信告诉该用户。这样的好处就是，下次该用户的产品再次出现问题向售后电话咨询时，提供了“问题描述”的唯一编码后，就不需要在将该产品之前的问题再次进行描述了。此案例中，“问题描述”就相当于是会话，“问题描述”的唯一编码就是会话ID，短信就是cookie。</li>
</ul>

需求：使用requests模块实现github的模拟登录

<ul>
	<li>浏览器登录流程：
	<ul>
		<li>录入用户名和密码，点击登录</li>
		<li><img alt="" height="455" src="/media/images/2019/04/19/snip20190419_7.png" width="400" /></li>
		<li>页面跳转，显示登录成功后的主页面：</li>
		<li><img alt="" height="435" src="/media/images/2019/04/19/snip20190419_8.png" width="1038" /></li>
	</ul>
	</li>
	<li>requests模拟登陆流程：
	<ul>
		<li>通过抓包工具捕获点击登陆按钮后对应的post请求数据包</li>
		<li><img alt="" height="423" src="/media/images/2019/04/19/snip20190419_11.png" width="848" /><img alt="" height="450" src="/media/images/2019/04/19/snip20190419_12.png" width="900" /></li>
		<li>获取该数据包的url和请求参数</li>
		<li>发起请求，进行持久化存储</li>
		<li>
		<pre>
<code class="language-python">import requests
from lxml import etree

headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'
}
url = 'https://github.com/session'
data = {
    'commit': 'Sign in',
    'utf8': '✓',
    'authenticity_token':'lGnVdPaEf/jfBd6dzkQFpd4idQZxO96HSvRzWIPo5099dvmZTqEx+Q13zLjQzYpE08YmZdJStHd+Vk6Yhz7t/Q==' ,
    'login': 'bobo328410948@sina.com',
    'password': 'bobo@15027900535',
    'webauthn-support': 'supported',
}
page_text = requests.post(url=url,headers=headers,data=data).text

with open('./git.html','w',encoding='utf-8') as fp:
 fp.write(page_text)</code></pre>

查看爬取下来的页面是否为登陆成功后的页面：<img alt="" height="255" src="/media/images/2019/04/19/snip20190419_13.png" width="636" />结果发现该页面不是登陆成功后的页面，则表示模拟登陆失败！
		</li>
	</ul>
	</li>
</ul>

模拟登陆失败原因分析：

1.检查分析抓取的登陆时发起的post请求对应的数据包：

<img alt="" height="450" src="/media/images/2019/04/19/snip20190419_14.png" width="816" />该数据包是携带了cookie进行的请求发送，那么该cookie是什么时候存储到客户端的呢？一定是该请求的前次请求时产生的cookie。

在浏览器进行登陆请求发送之前，我们已经是第二次访问的github服务器端了，因为第一次是在浏览器中访问登陆页面时。

抓取该次请求的数据包，查看响应头信息中是否存在set-cookie，如果有，则证实该次请求时，服务器端给客户端创建了会话对象，且创建了cookie返回给了客户端进行存储。

<img alt="" height="450" src="/media/images/2019/04/19/snip20190419_15.png" width="885" />果然存在set-cookie，因此，我们在使用requests模块进行模拟登陆时，发起的请求也是需要携带cookie的。那么cookie如何被携带到requests的请求中呢？

- requests模块处理cookie的两种方式：

1.将cookie手动从抓包工具中获取，然后封装到requests请求的headers中,将headers作用到请求方法中。（不建议）

<pre>
<code class="language-python">headers = {
 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36',
 'Cookie':'xxxxxxxxx'
}</code></pre>

2.创建会话对象，使用会话对象进行请求发送。因为会话中会自动携带且处理cookie。（推荐）

- 代码展示：

在使用会话对象发起登陆请求时，需要额外注意该请求参数：

<pre>
<code class="language-python">’authenticity_token':'lGnVdPaEf/jfBd6dzkQFpd4idQZxO96HSvRzWIPo5099dvmZTqEx+Q13zLjQzYpE08YmZdJStHd+Vk6Yhz7t/Q==' ,
</code></pre>

该参数的value值看起来像是一组密文数据，则该数据很有可能是动态变化的，因此需要动态捕获，动态赋值。如果该参数不处理的话，也是会登陆失败的。那么该值应该从那哪里动态捕获呢？这种值我们可以统一称为动态taken参数，该值一般都会动态存在与该请求对应的前台页面中，因此我们在登陆页面的源码中进行搜索：

因此我们可以通过数据解析，动态解析捕获到该请求参数的值。详细代码如下：

<pre>
<code class="language-python">import requests
from lxml import etree

headers = {
 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'

}
#创建会话对象,该会话对象可以调用get和post发起请求
session = requests.Session()

#使用会话对面对登录页面发起请求
page_text = session.get(url='https://github.com/login',headers=headers).text
#解析出动态的taken值
tree = etree.HTML(page_text)
t = tree.xpath('//*[@id="login"]/form/input[2]/@value')[0]

#指定模拟登录请求的url
url = 'https://github.com/session'
#参数封装（处理动态taken值）
data = {
 'commit': 'Sign in',
 'utf8': '✓',
 'authenticity_token': t,
 'login': 'bobo328410948@sina.com',
 'password': 'bobo@15027900535',
 'webauthn-support': 'supported',
}
#使用会话对象进行模拟登录请求发送（携带cookie）
page_text = session.post(url=url,headers=headers,data=data).text
#持久化存储
with open('./git.html','w',encoding='utf-8') as fp:
 fp.write(page_text)</code></pre>

查看git.html:登录成功

模拟登陆

requests模块的代理IP操作