您的位置: 首页  >  IT文章  >  Unicode,ISO-8859,GBK,UTF-8编码及互相转换(java)（转）

Unicode,ISO-8859,GBK,UTF-8编码及互相转换(java)（转）

分类: IT文章 • 2022-06-03 15:02:33
Unicode,ISO-8859,GBK,UTF-8编码及相互转换(java)（转）

１、函数介绍在Java中，字符串用统一的Unicode编码，每个字符占用两个字节，与编码有关的两个主要函数为：

１）将字符串用指定的编码集合解析成字节数组，完成Unicode－〉charsetName转换
public byte[] getBytes(String charsetName) throws UnsupportedEncodingException　

２）将字节数组以指定的编码集合构造成字符串，完成charsetName－〉Unicode转换
public String(byte[] bytes, String charsetName) throws UnsupportedEncodingException

２、Unicode与各编码之间的直接转换下面以对中文字符串＂ａ中文＂的编码转换为例，来了解各种编码之间的转换

１）Unicode和GBK
测试结果如下，每个汉字转换为两个字节，且是可逆的，即通过字节可以转换回字符串
String－GBK〉ByteArray：\u0061\u4E2D\u6587（a中文）－〉0x61 0xD6 0xD0 0xCE 0xC4
ByteArray－GBK〉String：0x61 0xD6 0xD0 0xCE 0xC4－〉\u0061\u4E2D\u6587（a中文）

try {
			String abcd = "a中文";//或者使用abcd = "\u0061\u4E2D\u6587";
			String gbk = new String(abcd.getBytes("gbk"),"gbk");
			System.out.println(gbk);
		} catch (UnsupportedEncodingException e) {
			e.printStackTrace();
		}

 

２）Unicode和UTF-8
测试结果如下，每个汉字转换为三个字节，且是可逆的，即通过字节可以转换回字符串
String－UTF-8〉ByteArray：\u0061\u4E2D\u6587（a中文）－〉0x61 0xE4 0xB8 0xAD 0xE6%0x96 0x87
ByteArray－UTF-8〉String：0x61 0xE4 0xB8 0xAD 0xE6%0x96 0x87－〉\u0061\u4E2D\u6587（a中文）

try {
			String abcd = "a中文";//或者使用abcd = "\u0061\u4E2D\u6587";
			String utf_8 = new String(abcd.getBytes("utf-8"),"utf-8");
			System.out.println(utf_8);
		} catch (UnsupportedEncodingException e) {
			e.printStackTrace();
		}

 

３）Unicode和ISO-8859-1

测试结果如下，当存在汉字时转换失败，非可逆，即通过字节不能再转换回字符串
String－ISO-8859-1〉ByteArray：\u0061\u4E2D\u6587（a中文）－〉0x61 0x3F 0x3
FByteArray－ISO-8859-1〉String：0x61 0x3F 0x3F－〉\u0061\u003F\u003F（a??）

try {
			String abcd = "a中文";//或者使用abcd = "\u0061\u4E2D\u6587";
			byte[] bt1 = abcd.getBytes("Unicode");//[-2, -1, 0, 97, 78, 45, 101, -121]
			byte[] bt2 = abcd.getBytes("iso-8859-1");//[97, 63, 63]
			String iso = new String(abcd.getBytes("iso-8859-1"),"iso-8859-1");//会将两个字节的unicode字符截取为一个字节的iso-8859-1字符，而为当截取后的字符不在iso字符集里面的字符时，就使用默认的63字符给它，即?，表示不可识别
			System.out.println(iso);
		} catch (UnsupportedEncodingException e) {
			e.printStackTrace();
		}

 

３、Unicode与各编码之间的交叉转换在上面直接转换中，由字符串（Unicode）生成的字节数组，在构造回字符串时，使用的是正确的编码集合，如果使用的不是正确的编码集合会怎样呢？会正确构造吗？如果不能正确构造能有办法恢复吗？会信息丢失吗？

下面我们就来看看这种情况，这部分可以说明在某些情况下虽然我们最终正确显示了结果，但其间仍然进行了不正确的转换。

１）能够正确显示的中间不正确转换


我们知道String－GBK〉ByteArray－GBK〉String是正确的，但如果我们采用String－GBK〉ByteArray－ISO-8859-1〉String呢？通过测试结果如下：
String－GBK〉ByteArray－ISO-8859-1〉String：\u0061\u4E2D\u6587（a中文）－〉0x61 0xD6 0xD0 0xCE 0xC4－〉\u0061\u00D6\u00D0\u00CE\u00C4（a????）

这时我们得到的字符串为？乱码“a????”，但是通过继续转换我们仍然可以复原回正确的字符串“a中文”，过程如下：

String－GBK〉ByteArray－ISO-8859-1〉String－ISO-8859-1〉ByteArray－GBK〉String

对应：\u0061\u4E2D\u6587（a中文）－〉0x61 0xD6 0xD0 0xCE 0xC4－〉\u0061\u00D6\u00D0\u00CE\u00C4（a????）－〉0x61 0xD6 0xD0 0xCE 0xC4－〉\u0061\u4E2D\u6587（a中文）

try {
			String abcd = "a中文";//或者使用abcd = "\u0061\u4E2D\u6587";
			String iso = new String(abcd.getBytes("gbk"),"iso-8859-1");//过渡乱码：aÖÐÎÄ
			String gbk = new String(iso.getBytes("iso-8859-1"),"gbk");
			//这里由unicode->gbk->iso-8859-1->gbk过程是一个错错却得正的过程，原因：由于用gbk解析unicode时，成了双字节，字节没丢失。再用iso-8859-1来解析这些字节数组，其实就是直接使用，然后看是否在字符集里，应该是gbk兼容iso-8859-1，所以它们的字符编码值是一样的，故不会用?替换，因此信息没有丢失。
			byte[] bt1 = abcd.getBytes("gbk");//[97, -42, -48, -50, -60]
			byte[] bt2 = iso.getBytes("iso-8859-1");//[97, -42, -48, -50, -60]
			System.out.println(gbk);//正常显示：a中文
		} catch (UnsupportedEncodingException e) {
			e.printStackTrace();
		}

 

也就是我们在首次构造字符串时，我们用了错误的编码集合得到了错误的乱码，但是我们通过错上加错，再用错误的编码集合获取字节数组，然后再用正确的编码集合构造，就又恢复了正确的字符串。这时就属于是“能够正确显示的中间不正确转换”。在Jsp页面提交数据处理时常常发生这种情况。

此外能够正确显示的中间不正确转换还有：
String－UTF-8〉ByteArray－ISO-8859-1〉String－ISO-8859-1〉ByteArray－UTF-8〉String

try {
			String abcd = "a中文";//或者使用abcd = "\u0061\u4E2D\u6587";
			String iso = new String(abcd.getBytes("utf-8"),"iso-8859-1");//过渡乱码：a中文
			String utf_8 = new String(iso.getBytes("iso-8859-1"),"utf-8");
			byte[] bt1 = abcd.getBytes("utf-8");//[97, -28, -72, -83, -26, -106, -121]
			byte[] bt2 = iso.getBytes("iso-8859-1");//[97, -28, -72, -83, -26, -106, -121]
			System.out.println(utf_8);//正常显示：a中文
		} catch (UnsupportedEncodingException e) {
			e.printStackTrace();
		}

 
和
String－UTF-8〉ByteArray－GBK〉String－GBK〉ByteArray－UTF-8〉String
对应：\u0061\u4E2D\u6587（a中文）－〉0x61 0xE4 0xB8 0xAD 0xE6%0x96 0x87－〉\u0061\u6D93\uE15F\u6783（a涓枃）－〉0x61 0xE4 0xB8 0xAD 0xE6%0x96 0x87－〉\u0061\u4E2D\u6587（a中文）

//中文有偶数个时，错错恢复后还可以显示正确：
		try {
			String abcd = "a中文";//或者使用abcd = "\u0061\u4E2D\u6587";
			String gbk = new String(abcd.getBytes("utf-8"),"gbk");//过渡乱码：a涓枃
			String utf_8 = new String(gbk.getBytes("gbk"),"utf-8");
			byte[] bt1 = abcd.getBytes("utf-8");//[97, -28, -72, -83, -26, -106, -121]
			byte[] bt2 = gbk.getBytes("gbk");//[97, -28, -72, -83, -26, -106, -121]
			System.out.println(utf_8);//正常显示：a中文
		} catch (UnsupportedEncodingException e) {
			e.printStackTrace();
		}
		
		//串的结尾中文有奇数个时，错错恢复后只有最后一个中文出现乱码，这个现象比较奇怪，后加一个汉字或字母就正常显示：
		try {
			String abcd = "a中文啊afdasf学会了";//或者使用abcd = "\u0061\u4E2D\u6587";
			String gbk = new String(abcd.getBytes("utf-8"),"gbk");//过渡乱码：a涓枃
			String utf_8 = new String(gbk.getBytes("gbk"),"utf-8");
			byte[] bt1 = abcd.getBytes("utf-8");//[97, -28, -72, -83, -26, -106, -121, -27, -107, -118, 97, 102, 100, 97, 115, 102, -27, -83, -90, -28, -68, -102, -28, -70, -122]
			byte[] bt2 = gbk.getBytes("gbk");   //[97, -28, -72, -83, -26, -106, -121, -27, -107, -118, 97, 102, 100, 97, 115, 102, -27, -83, -90, -28, -68, -102, -28, -70, 63]
			System.out.println(utf_8);//最后一个汉字乱码：a中文啊afdasf学会�?
		} catch (UnsupportedEncodingException e) {
			e.printStackTrace();
		}

 对比出现乱码的：

try {
			String abcd = "a中文";//或者使用abcd = "\u0061\u4E2D\u6587";
			String utf_8 = new String(abcd.getBytes("gbk"),"utf-8");//过渡乱码：a����
			String gbk = new String(utf_8.getBytes("utf-8"),"gbk");
			byte[] bt1 = abcd.getBytes("gbk");//[97, -42, -48, -50, -60]
			byte[] bt2 = utf_8.getBytes("utf-8");//[97, -17, -65, -67, -17, -65, -67, -17, -65, -67, -17, -65, -67]
			System.out.println(utf_8);//乱码：a锟斤拷锟斤拷
		} catch (UnsupportedEncodingException e) {
			e.printStackTrace();
		}

 

４、编码过程中错误诊断参考

１）一个汉字对应一个问号
在通过ISO-8859-1从字符串获取字节数组时，由于一个Unicode转换成一个byte，当遇到不认识的Unicode时，转换为0x3F，这样无论用哪种编码构造时都会产生一个？乱码。

２）一个汉字对应两个问号
在通过GBK从字符串获取字节数组时，由于一个Unicode转换成两个byte，如果此时用ISO-8859-1或用UTF-8构造字符串就会出现两个问号。若是通过ISO-8859-1构造可以再通过上面所说的错上加错恢复（即再通过从ISO-8859-1解析，用GBK构造）；若是通过UTF-8构造则会产生Unicode字符＂\uFFFD＂，不能恢复，若再通过String－UTF-8〉ByteArray－GBK〉String，则会出现杂码，如a锟斤拷锟斤拷

３）一个汉字对应三个问号
在通过UTF-8从字符串获取字节数组时，由于一个Unicode转换成三个byte，如果此时用ISO-8859-1构造字符串就会出现三个问号；用GBK构造字符串就会出现杂码，如a涓 枃

 

载自：http://blog.****.net/wuzejun1275/archive/2009/09/28/4610716.aspx

相关推荐