MySQL utf8mb4,保存表情符号时出错


77

我尝试从MySQL数据库中的服务中保存用户的名称。这些名称可以包含em等表情符号(仅作为示例)

经过一些搜索后,我发现此stackoverflow链接到本教程。我按照步骤操作,看起来一切都配置正确。

我有一个数据库(字符集和排序规则设置为utf8mb4(_unicode_ci)),一个名为TestTable的表,也采用这种方式配置,还有一个“文本”列,也采用这种方式配置(VARCHAR(191)utf8mb4_unicode_ci)。

当我尝试保存表情符号时,出现错误:

Example of error for shortcake (🍰):
    Warning: #1300 Invalid utf8 character string: 'F09F8D'
    Warning: #1366 Incorrect string value: '\xF0\x9F\x8D\xB0' for column 'Text' at row 1

我唯一能正确保存的表情符号是太阳☀️

尽管我并没有尝试所有的方法。

我的配置中缺少什么吗?

请注意:所有保存测试均不涉及客户端。我使用phpmyadmin手动更改值并保存数据。因此,服务器正确保存表情符号之后,我将处理客户端的正确配置。

另一边注:目前,当保存表情符号时,我会遇到上述错误,或者没有错误,并且的数据Username 🍰将存储为Username ????。错误或无错误取决于我保存的方式。通过SQL语句创建/保存时,我带问号保存,当内联编辑时,我带问号保存,当使用编辑按钮进行编辑时,出现错误。

谢谢

编辑1: 好,所以我想我找到了问题,但没有找到解决方案。似乎数据库特定的变量未正确更改。

当我以root用户身份登录服务器并读取变量(全局)时:
使用的查询:SHOW VARIABLES WHERE Variable_name LIKE 'character\_set\_%' OR Variable_name LIKE 'collation%';

+--------------------------+--------------------+
| Variable_name            | Value              |
+--------------------------+--------------------+
| character_set_client     | utf8mb4            |
| character_set_connection | utf8mb4            |
| character_set_database   | utf8mb4            |
| character_set_filesystem | binary             |
| character_set_results    | utf8mb4            |
| character_set_server     | utf8mb4            |
| character_set_system     | utf8               |
| collation_connection     | utf8mb4_unicode_ci |
| collation_database       | utf8mb4_unicode_ci |
| collation_server         | utf8mb4_unicode_ci |
+--------------------------+--------------------+
10 rows in set (0.00 sec)

对于我的数据库(在phpmyadmin中,相同的查询),它看起来如下:

+--------------------------+--------------------+
| Variable_name            | Value              |
+--------------------------+--------------------+
| character_set_client     | utf8               |
| character_set_connection | utf8mb4            |
| character_set_database   | utf8mb4            |
| character_set_filesystem | binary             |
| character_set_results    | utf8               |
| character_set_server     | utf8               |
| character_set_system     | utf8               |
| collation_connection     | utf8mb4_unicode_ci |
| collation_database       | utf8mb4_unicode_ci |
| collation_server         | utf8mb4_unicode_ci |
+--------------------------+--------------------+

如何在特定数据库上调整这些设置?另外,即使我将第一个显示的设置作为默认设置,在创建新数据库时,我也会将第二个设置作为设置。

编辑2:

这是我的my.cnf文件:

[client]
port=3306
socket=/var/run/mysqld/mysqld.sock
default-character-set = utf8mb4

[mysql]
default-character-set = utf8mb4

[mysqld_safe]
socket=/var/run/mysqld/mysqld.sock

[mysqld]
user=mysql
pid-file=/var/run/mysqld/mysqld.pid
socket=/var/run/mysqld/mysqld.sock
port=3306
basedir=/usr
datadir=/var/lib/mysql
tmpdir=/tmp
lc-messages-dir=/usr/share/mysql
log_error=/var/log/mysql/error.log
max_connections=200
max_user_connections=30
wait_timeout=30
interactive_timeout=50
long_query_time=5
innodb_file_per_table
character-set-client-handshake = FALSE
character-set-server = utf8mb4
collation-server = utf8mb4_unicode_ci

!includedir /etc/mysql/conf.d/

1
这是phpmyadmin问题,请尝试其他mysql客户端。
jsxqf

2
我不认为这是phpmyadmin问题。正如您在Edit1中看到的那样,我认为conf /默认变量/参数与数据库变量之间存在一些配置错误。即使在创建新数据库时。
罗基

什么是$cfg["DefaultCharset"]你的PMA配置?
miken32 '16

1
我没找到$cfg["DefaultCharset"]。我查了一下etc/phpmyadmin/config.inc.php。不在那里
洛基

@jsxqf嗨,过了一会儿,重做了整个“教程”后,我意识到它实际上是一个mysql问题。会话变量与全局变量不同。使用我的api时会发生一个新连接,该连接使用全局变量并可以:)。因此,实际上,如果您提供完整的答案,我会接受的,您会得到赏金。另外,最重要的是,如果您也能说明如何重置phpmyadmins会话变量,我将不胜感激。我没有得到这个工作。他们仍然被设置错了。
罗基

Answers:


93

character_set_client_connection和都_results必须是utf8mb4该脆饼才能食用。

某处某处正在逐个设置这些子集。通过my.cnf和phpmyadmin的设置进行复制-某些设置没有全部设置。

如果SET NAMES utf8mb4执行,则所有三个设置正确。

太阳之所以发光是因为它只有3个字节- E2 98 80; 对于3字节Unicode字符的utf8编码,utf8就足够了。


好吧,我认为这使我更加接近。谢谢。我编辑了问题,并添加了my.cnf。也许在那里可以看到一些东西?
罗基

1
连接需要utf8mb4。如果找不到在哪里做,请执行SET NAMES utf8mb4
瑞克·詹姆斯

这也是发生错误的一个很好的解释。但是除此之外,我还必须检查会话和全局变量。实现PHPMyadmins会话变量仍然是错误的,并且该错误仅在管理板上发生。
罗基

2
谢谢。mysql_query("SET NAMES 'utf8mb4'");没错;)
mghhgm

1
哦,我错过了一个-脆饼足够容纳4个字节。
里克·詹姆斯

7

您的服务/应用程序可能使用客户端字符集的“ utf8”而不是“ utf8mb4”进行连接。这取决于客户端应用程序。

对于PHP应用程序,请参见http://php.net/manual/en/function.mysql-set-charset.phphttp://php.net/manual/en/mysqli.set-charset.php

对于Python应用程序,请参见https://github.com/PyMySQL/PyMySQL#examplehttp://docs.sqlalchemy.org/en/latest/dialects/mysql.html#mysql-unicode

另外,检查您的列是否确实是utf8mb4。一种直接的方式是这样的:

mysql> SELECT character_set_name FROM information_schema.`COLUMNS`  WHERE table_name = "user"   AND column_name = "displayname";
+--------------------+
| character_set_name |
+--------------------+
| utf8mb4            |
+--------------------+
1 row in set (0.00 sec)

7

对我来说,问题出在mysql客户端。

mysql客户端更新my.cnf服务器上的char设置,并导致意外的字符设置。

所以,我需要做的就是添加character-set-client-handshake = FALSE。它禁止客户端设置干扰我的字符设置。

my.cnf 会是这样。

[mysqld]
character-set-client-handshake = FALSE
character-set-server = utf8mb4
...

希望能帮助到你。


0

ALTER TABLE table_nameCHANGE column_name column_name VARCHAR(255)CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NULL默认值NULL;

示例查询:

ALTER TABLE `reactions` CHANGE `emoji` `emoji` VARCHAR(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NULL DEFAULT NULL;

在此处输入图片说明

之后,成功将表情符号存储在表中:

在此处输入图片说明


0

考虑添加

init_connect = 'SET NAMES utf8mb4'

到您所有数据库服务器的my.cnf-s。

(仍然,客户可以(也可以)否决它)


-1

我对这个答案并不感到骄傲,因为它使用蛮力来清理输入。这很残酷,但是有效

function cleanWord($string, $debug = false) {
    $new_string = "";

    for ($i=0;$i<strlen($string);$i++) {
        $letter = substr($string, $i, 1);
        if ($debug) {
            echo "Letter: " . $letter . "<BR>";
            echo "Code: " . ord($letter) . "<BR><BR>";
        }
        $blnSkip = false;
        if (ord($letter)=="146") {
            $letter = "&acute;";
            $blnSkip = true;
        }
        if (ord($letter)=="233") {
            $letter = "&eacute;";
            $blnSkip = true;
        }
        if (ord($letter)=="147" || ord($letter)=="148") {
            $letter = "&quot;";
            $blnSkip = true;
        }
        if (ord($letter)=="151") {
            $letter = "&#8211;";
            $blnSkip = true;
        }
        if ($blnSkip) {
            $new_string .= $letter;
            break;
        }

        if (ord($letter) > 127) {
            $letter = "&#0" . ord($letter) . ";";
        }

        $new_string .= $letter;
    }
    if ($new_string!="") {
        $string = $new_string;
    }
    //optional
    $string = str_replace("\r\n", "<BR>", $string);

    return $string;
}

//clean up the input
$message = cleanWord($message);

//now you can insert it as part of SQL statement
$sql = "INSERT INTO tbl_message (`message`)
VALUES ('" . addslashes($message) . "')";
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.