一，安装

　　pip install requests

二，基本用法

1.简单示例

import requestsres = requests.get('https://www.baidu.com')print(type(res))print(res.status_code)print(res.text)print(type(res.text))print(res.cookies)

运行结果：

     
      200
       
      
      
      
      
        
      
 
       
 
        
 
         
 
          
 
           
 
             
           
 
           
 
             
             
             
             
             
            
            
             
           
 
          
 
         
 
         
 
          æ°é» 
          hao123 
          å°å¾ 
          è§é¢ 
          è´´å§ 
           
           
          æ´å¤äº§å 
         
 
        
 
       
 
       
 
        
 
         
 å³äºç¾åº¦ About Baidu 
 
         
©2017 Baidu ä½¿ç¨ç¾åº¦åå¿è¯»  æè§å馠京ICPè¯030173å·   
 
        
 
       
 
      
  
      
       
        ]>
       
      
     

　　通过运行结果可发现，它返回的类型是requests.models.Response，响应体字符串类型是str，Cookie的类型是RequestsCookieJar。

2.GET请求

　　这里使用httpbin测试接口进行测试，httpbin这个网站能测试 HTTP 请求和响应的各种信息，比如 cookie、ip、headers 和登录验证等，且支持 GET、POST 等多种方法，对 web 开发和测试很有帮助。它由 Python + Flask 编写，是一个开源项目（官方网站：开源地址：）。　　

# GET请求res = requests.get('https://httpbin.org/get')print(res.text)

运行结果：

{  "args": {},   "headers": {    "Accept": "*/*",     "Accept-Encoding": "gzip, deflate",     "Host": "httpbin.org",     "User-Agent": "python-requests/2.18.4"  },   "origin": "183.129.61.183, 183.129.61.183",   "url": "https://httpbin.org/get"}

　　可以发现，我们成功的发起了GET请求，返回的结果中包含请求头，URL，IP等信息。

♦传递参数

　　对于GET请求，如何添加参数呢？比如name是rain，age是22。是不是需要写成:

　　res = requests.get('https://httpbin.org/get?name=rain&age=22')

　　其实这样也可以，但是这种数据信息一般使用字典来存储。

# 带参数data = {    'name': 'rain',    'age': 22}res = requests.get('https://httpbin.org/get',params=data)print(res.text)

　　运行结果：

{  "args": {    "age": "22",     "name": "rain"  },   "headers": {    "Accept": "*/*",     "Accept-Encoding": "gzip, deflate",     "Host": "httpbin.org",     "User-Agent": "python-requests/2.18.4"  },   "origin": "183.129.61.183, 183.129.61.183",   "url": "https://httpbin.org/get?name=rain&age=22"}

　　可以看到，请求的连接被自动构造成了：https://httpbin.org/get?name=rain&age=22。

　　需要注意的是网页返回的类型实际上是str类型，但其格式为JSON字符串，想要解析结果，获得一个字典类型的话，可以直接调用json（）方法：

# 转成字典print(type(res.json())) 结果： 
     

　　如果返回的类型不是JSON类型，此时调用json（）方法，就会抛出json.decoder.JSONDecoderError异常。

♦抓取网页

　　如果请求普通的网页，就能获得相应的内容。下面以“知乎“的”发现“页面为例：

# 抓取网页，发现—知乎import requestsimport reheaders = {    "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36"}res = requests.get('https://www.zhihu.com/explore', headers=headers)parse = re.compile('explore-feed.*?question_link.*?>(.*?)', re.S)text = re.findall(parse,res.text)print(text)

　　这里我们加入了，headers信息，也就是user-agent字段信息，也就是浏览器标识。如果不加上这个，就会被禁止抓取。之后使用正则表达式匹配出a节点里面的问题内容。结果如下：

['\n现在的复古8-bit风格游戏和当时真正的8-bit游戏有哪些差别？\n', '\n如何评价罗云熙在《白发》中饰演的容齐？\n', '\n为什么要把敦煌莫高窟建在西北地区？\n', '\n猫的哪些行为会让你觉得猫是爱你的？\n', '\n老人总是通过骗孩子的方式让孩子服从自己的命令，这种情况怎么办？\n', '\n如何看待faker在直播中说白银怎么喜欢闪现放D？\n', '\n有哪些女演员在影视剧中的扮相让你惊艳？\n', '\nPowerPoint 到底有多厉害？\n', '\n如何评价华晨宇?\n', '\n毛细现象水液面是不是球面的一部分？\n']

♦抓取二进制数据

　　浏览网页时，我们经常看到页面中会有图片，音频，视频等文件。这些文件本质上由二进制码组成的，使用了特定的保存格式和对应的解析方式，我们才得以看到这些形形色色的多媒体。想要抓取他们，就需要拿到其二进制码。

　　以GitHub站点的图标为例：

# 抓取二进制文件res = requests.get('https://github.com/favicon.ico')print(res.text)print(res.content)

　　这里抓取的是站点图标，就是浏览器每一个标签上显示的小图标，如下图：

                                   

　　这里打印了text和content，结果如下：

+++G��������G+++                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        b'\x00\x00\x01\x00\x02\x00\x10\x10\x00\x00\x01\x00 \x00(\x05\x00\x00&\x00\x00\x00  \x00\x00\x01\x00 \x00(\x14\x00\x00N\x05\x00\x00(\x00\x00\x00\x10\x00\x00\x00 \x00\x00\x00\x01\x00

　　可以看到前者出现了乱码，后者开头带上了一个b，说明是bytes类型。由于是二进制数据，所有text打印时转化成str类型，图片直接转化为字符串，自然就会出现乱码。接下来，我们将图片保存下来：

res = requests.get('https://github.com/favicon.ico')with open('favicon.ico','wb') as f:    f.write(res.content)

　　使用open（）方法以二进制写的形式打开文件，向文件里写入二进制数据。之后我们打开刚才写入的文件：

   　　　　　　　　　　　　　　　　　　　　　　　　

　　这里可以看到，成功的获取到了网页上面的图标信息，同样的音频和视频也可以使用这种方法来获取。

 

 3.POST请求

　　使用requests发送POST请求也同样简单：

# POST请求data = {    'name':'rain',    'age':'22'}res = requests.post('https://httpbin.org/post',data=data)print(res.text)

　　运行结果：

{  "args": {},   "data": "",   "files": {},   "form": {    "age": "22",     "name": "rain"  },   "headers": {    "Accept": "*/*",     "Accept-Encoding": "gzip, deflate",     "Content-Length": "16",     "Content-Type": "application/x-www-form-urlencoded",     "Host": "httpbin.org",     "User-Agent": "python-requests/2.18.4"  },   "json": null,   "origin": "183.129.61.183, 183.129.61.183",   "url": "https://httpbin.org/post"}

　　可以看到，我们成功的获取了返回结果，其中form里面的数据就是提交的数据，也证明了POST请求成功。

4.响应信息

　　发送请求成功后，得到的自然是相应。上面的例子中，我们使用text和content获取了响应的内容。此外还有很多方法可以用来获取响应的其他信息：

# 获取响应信息res = requests.get('http://www.baidu.com')print(type(res.status_code), res.status_code)   # 响应状态码print(type(res.headers), res.headers)           # 响应头信息print(type(res.cookies), res.cookies)           # Cookies信息print(type(res.url), res.url)                   # 请求urlprint(type(res.history), res.history)           # 请求历史信息

　　运行结果：

     
       200
      
        {
   'Cache-Control': 'private, no-cache, no-store, proxy-revalidate, no-transform', 'Connection': 'Keep-Alive', 'Content-Encoding': 'gzip', 'Content-Type': 'text/html', 'Date': 'Fri, 24 May 2019 10:02:25 GMT', 'Last-Modified': 'Mon, 23 Jan 2017 13:28:37 GMT', 'Pragma': 'no-cache', 'Server': 'bfe/1.0.8.18', 'Set-Cookie': 'BDORZ=27315; max-age=86400; domain=.baidu.com; path=/', 'Transfer-Encoding': 'chunked'}
        
        
         ]>
         
           http://www.baidu.com/
          
            []
          
         
        
       
      
     

　　其中响应状态码经常用来判断请求是否成功，而requests还提供了一个内置的状态码查询对象requests.codes:

# requests内置状态码查询res = requests.get('http://www.baidu.com')exit() if not res.status_code == requests.codes.ok else print("Request Successful!")

　　运行结果：

Request Successful!

　　这里通过响应信息中的请求成功状态码与requests内置请求成功状态码进行比较来判断请求是否成功。其中requests.codes.ok的值为200。