苏老的学习笔记 - python爬取网页使用read()读取内容decode转换报错的解决方案

python爬取网页使用read()读取内容decode转换报错的解决方案

发布于2018-11-19 00:35:53 更新于2025-03-31 18:06:27
开发
浏览 1022
shevechco
手机浏览
评论数 0

之前有用python爬取图片，但是最近爬取网页时老是报错，报错代码如下：

01.
发生异常: UnicodeDecodeError
02.
'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte

是解码的错误，翻阅资料，可能使用由于对方网页传输经过gzip压缩导致的问题，我们需要对其内容进行解压缩，然后再进行decode转码

解决方法是

01.
#导入zlib模块
02.
import zlib
03.
#找到
04.
response = response.read()
05.
#改为
06.
if  response.headers and 'gzip'in response.headers.get('Content-Encoding'):
07.
    response = zlib.decompress(response.read(), 16 + zlib.MAX_WBITS)
08.
else:
09.
    response = response.read()

我们可以通过response.headers查看headers所包含的对象有哪些，如下

01.
Server: DnionOS/1.11.2.4_12
02.
Date: Sun, 18 Nov 2018 16:43:17 GMT
03.
Content-Type: text/html; charset=UTF-8
04.
Content-Length: 5389
05.
Connection: close
06.
Vary: Accept-Encoding
07.
X-Powered-By: PHP/7.2.5
08.
Content-Encoding: gzip
09.
Dnion-Transfer-Encoding: 1
10.
Age: 32953
11.
Via: https/1.1 CMC-CT-CNC-JSCZ-P-164-8 (DLC-6.1.19), http/1.1 CCKD-CT-GDFS-C-48-141 (DLC-6.1.19)
12.
Server-Info: DnionATS
13.
HitInfo: CDN_HIT
14.
HitType: TCP_MEM_HIT

我们看到了Content-Encoding确实是经过gzip压缩的，那么按照上面的教程修改即可正常运行。

标签
python
decode
zlib

转载注明出处：https://sulao.cn/post/573

今日天气

分类统计

博文归档

4篇

9篇

25篇

13篇

1篇

1篇

3篇

7篇

9篇

热门标签

python爬取网页使用read()读取内容decode转换报错的解决方案

评论列表

相关推荐