中文乱码怎么解决?网页、CSV、接口四种来源分别处理

2 阅读

财务同事昨天发来一个 Excel,打开第一列全是"涓枃"、"鐢靛瓙"这种看不懂的方块字。她说这是从老系统导出的客户名单,导出来就这样。

我让她别改,先把文件另存一份。这类乱码九成不是文件坏了,是编码对不上——数据还在,只是被用错误的字典翻译了一遍。

网页字符集编码参考工具界面:UTF-8、GBK、GB2312等编码的适用场景与HTML写法
乱码先对编码,表里能查到每种编码该配什么写法

乱码的本质只有一句话

文字存进文件时是一串字节,读出来时要按同一套编码规则翻译。存的时候用 UTF-8,读的时候当成 GBK,出来的就是"涓枃"这种字。

所以判断乱码能不能救,就看一件事:字节有没有被覆盖。只要是编码错配,换个编码重新读就能恢复;如果中间被存过一次,字符变成问号或空白,那就真丢了。

按来源分四种情况

一、网页复制粘贴出来的

网页本身声明的编码和浏览器实际用的编码不一致。这种情况刷新页面、确认浏览器编码设置通常能解决,粘出来之前先看一眼页面显示是否正常。

二、CSV 文件用 Excel 打开

最常见的一种。CSV 本身没有编码标记,Excel 在中文系统里默认按 GBK 读,遇到 UTF-8 文件就全乱。

解法有两个:一是用 Excel 的"数据 → 从文本/CSV"导入,导入向导里手动选 UTF-8;二是先用工具把 CSV 转成 xlsx,转换过程会显式指定编码,之后打开就不会乱。

三、接口返回的数据

接口返回头里写着 charset=gbk,但内容其实是 UTF-8,或者反过来。这种要改代码,把解码方式对齐,页面端改不了。

四、URL 里的中文参数

浏览器会把中文转成百分号编码再发出去。如果服务端用错了解码方式,拿到的就是乱码。这种情况看 URL 里是 %E4%B8%AD 这类三段式还是 %D6%D0 这类两段式,就能判断是 UTF-8 还是 GBK。

怎么确认是哪种编码

不用背规则,对着表看特征就行。UTF-8 的中文一般是三个字节一组,百分号编码里连着三个 %;GBK 是两个字节一组。乱码里如果出现大量生僻字和奇怪符号混排,基本是 UTF-8 被当 GBK 读了。

网页字符集编码参考网页字符集编码参考工具,查询 UTF-8、GBK、GB2312、ISO-8859-1 等常见字符集用途和 HTML meta 写法。立即使用

救回来之后要做的两件事

一是核对数据完整性。乱码转换偶尔会在特殊符号上出错,转完抽查首尾各十几行,看看姓名、金额、日期有没有错位。

二是从源头统一。新建的系统、接口、数据表统一用 UTF-8,比每次出事再救省事得多。老系统改不动的话,至少在导出环节加一句说明,让下游知道该用什么编码打开。

需要处理 URL 里的中文参数,用URL编码解码;粘出来带了一堆多余空格和换行的,文本清理能一次清干净;CSV 要转成 Excel 的,用CSV转Excel,转换时指定编码,比直接双击打开稳。

查看更多
图片文字识别不准怎么办?提升准确率的三个前置动作图片文字识别不准怎么办?提升准确率的三个前置动作Excel数字变成E+怎么办?订单号身份证号保留原样Excel数字变成E+怎么办?订单号身份证号保留原样PDF转Word排版乱了怎么办?按三种乱法分别修复PDF转Word排版乱了怎么办?按三种乱法分别修复二维码扫不出来什么原因?内容长度、尺寸、材质逐个排查二维码扫不出来什么原因?内容长度、尺寸、材质逐个排查