python使用chardet判断字符串编码的方法

脚本专栏 2024/10/3 佚名

2 0 1

神剑山庄资源网 Design By www.hcban.com

本文实例讲述了python使用chardet判断字符串编码的方法。分享给大家供大家参考。具体分析如下：

最近利用python抓取一些网上的数据，遇到了编码的问题。非常头痛，总结一下用到的解决方案。

linux中vim下查看文件编码的命令 set fileencoding
python中一个强力的编码检测包 chardet ，使用方法非常简单。linux下利用pip install chardet实现简单安装

import chardet
f = open('file','r')
fencoding=chardet.detect(f.read())
print fencoding

fencoding输出格式 {'confidence': 0.96630842899499614, 'encoding': 'GB2312'} ，只能判断是否为某种编码的概率。比较准确的结果了。输入参数为str类型。

了解python中str的编码后可以利用decode和encode来实现编码的转换。

一般流程是str利用decode方法根据str的编码将其解码为unicode字符串类型，然后利用encode根据特定的编码将unicode字符串类型转换为特定的编码。python中str和unicode属于两种不同的类型，如下。

一般情况下window默认编码gbk，linux默认编码utf8
python编程中系统编码，python编码，文件编码的概念。

系统编码：默认写源码的编辑器的编码方式。它代表源码文件内的所有内容都是根据词方式编码成二进制码流。存入到磁盘中的。linux下通过locale命令查看。

python编码：指python内设置的解码方式。如果不设定的话，python默认的是ascii解码方式。如果python源代码文件中不出现中文的话，这个地方怎么设定应该不会问题。

设定方法：在源码文件开头（一定是第一行）：#-*-coding:UTF-8-*-，源码文件的设置解码方式是UTF-8 或者

import sys
reload(sys)
sys.setdefaultencoding('UTF-8')

文件编码：文本的编码方式，linux下vim利用set fileencoding查看。

一般情况下输出乱码的原因就是没有按照系统解码的方式进行编码。

比如print s, s类型为str，linux系统下系统默认编码为utf8编码，s在输出前就应该编码为utf8。如果s为gbk编码就应该这样输出。print s.decode('gbk').encode('utf8')才能输出中文。

window下面情况相同，window默认编码为gbk编码，所以s输出前必须编码为gbk。

python处理中一般处理unicode类型。这样输出前直接编码即可。

希望本文所述对大家的Python程序设计有所帮助。

python,chardet,判断,字符串,编码,方法

标签：

python,chardet,判断,字符串,编码,方法

神剑山庄资源网 Design By www.hcban.com

神剑山庄资源网 免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com

神剑山庄资源网 Design By www.hcban.com

评论“python使用chardet判断字符串编码的方法”

暂无python使用chardet判断字符串编码的方法的评论...

P70系列延期，华为新旗舰将在下月发布

3月20日消息，近期博主@数码闲聊站透露，原定三月份发布的华为新旗舰P70系列延期发布，预计4月份上市。

而博主@定焦数码爆料，华为的P70系列在定位上已经超过了Mate60，成为了重要的旗舰系列之一。它肩负着重返影像领域顶尖的使命。那么这次P70会带来哪些令人惊艳的创新呢？
根据目前爆料的消息来看，华为P70系列将推出三个版本，其中P70和P70 Pro采用了三角形的摄像头模组设计，而P70 Art则采用了与上一代P60 Art相似的不规则形状设计。这样的外观是否好看见仁见智，但辨识度绝对拉满。

更新日志

2024年10月03日

python使用chardet判断字符串编码的方法

python,chardet,判断,字符串,编码,方法

python简单程序读取串口信息的方法

python通过BF算法实现关键词匹配的方法

评论“python使用chardet判断字符串编码的方法”

P70系列延期，华为新旗舰将在下月发布

更新日志

友情链接