mysql 解决生僻字,特殊字符插入失败 查询系统字符编码变量 (最好不要使用连接工具 navica 等,查出来的不准,使用终端,cmd 等) 重新启动 修改之后

MySQL 的 utf8 实际上不是真正的 UTF-8。utf8 只支持每个字符最多三个字节,而真正的 UTF-8 是每个字符最多四个字节。MySQL 一直没有修复这个 bug,他们在 2010 年发布了一个叫作 utf8mb4 的字符集,绕过了这个问题。当然,他们并没有对新的字符集广而告之(可能是因为这个 bug 让他们觉得很尴尬),以致于现在网络上仍然在建议开发者使用 utf8,但这些建议都是错误的。

简单概括如下:

  • MySQL 的 utf8mb4 是真正的 UTF-8。

  • MySQL 的 utf8 是一种专属的编码,它能够编码的 Unicode 字符并不多。
    所有在使用 utf8 的 MySQL 和 MariaDB 用户都应该改用 utf8mb4,永远都不要再使用 utf8。

  • 为什么会有UTF8MB4?
    既然utf8应付日常使用完全没有问题,那为什么还要使用utf8mb4呢? 低版本的MySQL支持的utf8编码,最大字符长度为 3 字节,如果遇到 4 字节的字符就会出现错误了。三个字节的 UTF-8 最大能编码的 Unicode 字符是 0xFFFF,也就是 Unicode 中的基本多文平面(BMP)。也就是说,任何不在基本多文平面的 Unicode字符,都无法使用MySQL原有的 utf8 字符集存储。这些不在BMP中的字符包括哪些呢?最常见的就是Emoji 表情(Emoji 是一种特殊的 Unicode 编码,常见于 ios 和 android 手机上),和一些不常用的汉字,以及任何新增的 Unicode 字符等等。

  • UTF-8编码
    理论上将, UTF-8 格式使用一至六个字节,最大能编码 31 位字符。最新的 UTF-8 规范只使用一到四个字节,最大能编码21位,正好能够表示所有的 17个 Unicode 平面。关于UTF编码,请阅读《常见编码总结》一文。
    而utf8 则是 Mysql 早期版本中支持的一种字符集,只支持最长三个字节的 UTF-8字符,也就是 Unicode 中的基本多文本平面。这可能是因为在MySQL发布初期,基本多文种平面之外的字符确实很少用到。而在MySQL5.5.3版本后,要在 Mysql 中保存 4 字节长度的 UTF-8 字符,就可以使用 utf8mb4 字符集了。例如可以用utf8mb4字符编码直接存储emoj表情,而不是存表情的替换字符。
    为了获取更好的兼容性,应该总是使用 utf8mb4 而非 utf8,事实上,最新版的phpmyadmin默认字符集就是utf8mb4。诚然,对于 CHAR 类型数据,使用utf8mb4 存储会多消耗一些空间。

  • 那么utf8mb4比utf8多了什么的呢?
    多了emoji编码支持.
    如果实际用途上来看,可以给要用到emoji的库或者说表,设置utf8mb4.
    比如评论要支持emoji可以用到.
    建议普通表使用utf8 如果这个表需要支持emoji就使用utf8mb4
    新建mysql库或者表的时候还有一个排序规则
    utf8_unicode_ci比较准确,utf8_general_ci速度比较快。通常情况下 utf8_general_ci的准确性就够我们用的了,在我看过很多程序源码后,发现它们大多数也用的是utf8_general_ci,所以新建数据 库时一般选用utf8_general_ci就可以了
    如果是utf8mb4那么对应的就是 utf8mb4_general_ci utf8mb4_unicode_ci

SHOW VARIABLES WHERE Variable_name LIKE 'character_set_%' OR Variable_name LIKE 'collation%';
  • 未修改之前


     
    mysql 解决生僻字,特殊字符插入失败
查询系统字符编码变量  (最好不要使用连接工具  navica 等,查出来的不准,使用终端,cmd 等)
重新启动
修改之后
    image.png

修改设置

  • 修改数据库编码及字符集
ALTER DATABASE db_name(你的数据库) CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci;
  • 给没有设置编码的表设置编码
alter table table_name(你的表名) default character set utf8mb4 collate=utf8mb4_general_ci;
  • 批量生成修改所有表编码的 sql 然后复制执行
SELECT 
CONCAT("ALTER TABLE `", TABLE_NAME,"` default character set utf8mb4 collate=utf8mb4_general_ci;") 
AS target_tables
FROM INFORMATION_SCHEMA.TABLES
WHERE TABLE_SCHEMA = "db_name" (这里是数据库名)
AND TABLE_TYPE="BASE TABLE"
  • 修改表字段编码
ALTER TABLE temp convert to CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;
  • 批量生成修改所有表字段编码的 sql 然后复制执行
SELECT 
CONCAT("ALTER TABLE `", TABLE_NAME,"` convert to CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;") 
AS target_tables
FROM INFORMATION_SCHEMA.TABLES
WHERE TABLE_SCHEMA = "db_name" (这里是数据库名)
AND TABLE_TYPE="BASE TABLE"
  • 修改 my.ini 文件或者 my-default.int 文件
[client]
default-character-set = utf8mb4

[mysql]
default-character-set = utf8mb4

[mysqld]
# 设置表字段排序规则
init_connect='SET collation_connection = utf8mb4_unicode_ci'
# set names utf8 是用于设置编码,可以再在建数据库的时候设置,也可以在创建表的时候设置,或只是对部分字段进行设置
init_connect='SET NAMES utf8mb4'
# 设置数据库编码
character-set-server=utf8mb4
collation-server=utf8mb4_unicode_ci
# 此处是忽略客户端的字符集,使用服务器的设置
skip-character-set-client-handshake

重新启动

修改之后

 
mysql 解决生僻字,特殊字符插入失败
查询系统字符编码变量  (最好不要使用连接工具  navica 等,查出来的不准,使用终端,cmd 等)
重新启动
修改之后
 



作者:吉他手_c156
链接:https://www.jianshu.com/p/b821f69e189a
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。