Support unicode complet pour MySQL

UTF-8

UTF-8 est un encodage de caractères utilisé par la plupart des sites web. Il encode chacun des 1'112'064 points de codes valides. Pour stocker toute cette information, quatre octets au maximum sont requis. Les caractères les plus courants utilisent trois octets. MySQL utilise donc par défaut un encodage uniquement sur trois octets, et les valeurs nécessitant quatre octets (tels que les caractères asiatiques et les emoji) ne peuvent donc pas être stockées. Toute tentative d'enregistrement d'un texte contenant un caractère codé sur quatre octets génèrera une erreur de base de données de Moodle (et le contenu ne sera pas enregistré).

MySQL et MariaDB offrent le support unicode (UTF-8) complet, mais cela nécessite de configurer certains réglages de la base de données. Depuis la version 3.3, Moodle assure le support UTF-8 complet pour MySQL et MariaDB par défaut. Les bases de données existantes fonctionneront toujours avec le support partiel, mais il est recommandé de passer au support complet.

Moodle intègre un script en ligne de commande (CLI) pour convertir vers l'UTF-8 complet pour MySQL (et MariaDB). Avant les versions 3.1.5 et 3.2.2 de Moodle, cet outil de conversion modifiait uniquement l'interclassement pour certaines variantes de 'utf8_bin'. 'utf8_unicode_ci' était l'interclassement recommandé. L'interclassement recommandé est maintenant 'utf8mb4_unicode_ci', qui supporte les caractères sur quatre octets, tels que les caractères asiatiques et les emoji (utf8_unicode_ci supporte uniquement les caractères sur trois octets).

Ce script tente de modifier l'interclassement de la base de données, l'encodage des caractères, les réglages par défaut des tables et les définitions de colonnes.

En résumé :

les nouvelles installations de Moodle 3.1.5 et 3.2.2 et ultérieures utiliseront utf8mb4 par défaut, si le serveur de base de données est configuré correctement pour cela (voir plus bas) ;
les sites mis à jour vers Moodle 3.1.5 ou 3.2.2 peuvent utiliser le script pour mettre à jour vers utf8mb4 ;
dans Moodle 3.3, si la base de données n'est pas configurée pour le support UTF-8 complet, un avertissement sera affiché et encouragera à passer à 'utf8mb4_unicode_ci', mais vous pourrez continuer à utiliser 'utf8_*' comme avant.
il est probable que dans une version future, le support complet de l'UTF-8 soit obligatoire.

Format de fichier

Pour autoriser les grands index sur les colonnes de type varchar, une combinaison de réglages est nécessaire. Le format de fichier du système doit utiliser "Barracuda". Cela permet au format de ligne d'être défini à "Compressé" ou "Dynamique". Pour activer ce réglage, voyez les Étapes de mise à jour ci-dessous.

Fichier par table

Pour activer ce réglage, voyez les Étapes de mise à jour ci-dessous.

Grand préfixe

Ceci en conjonction avec le format de ligne défini à "Compressé" ou "Dynamique" permet de grands index pour les varchar au delà de 191 caractères. Pour activer ce réglage, voyez les Étapes de mise à jour ci-dessous.

Étapes de mise à jour

Important : effectuez une sauvegarde complète (de votre base de données) avant d'effectuer des changements ou de lancer le script !

Modifiez les réglages de configuration pour MySQL (idem pour MariaDB). Cette étape est optionnelle. Vous pouvez lancer le script et il essayera de faire toutes les modifications par lui-même. si des erreurs se produisent, essayez de modifier manuellement ces réglages comme indiqué ci-dessous.
- Sur les systèmes basés sur Linux vous devrez modifier le fichier my.cnf. Il est situé dans '/etc/mysql/'.
- Faites les modifications suivantes au fichier my.cnf :

Attention : les options de configuration InnoDB suivantes sont dépréciées dans MySQL 5.7.7 et sont maintenant supprimées :

innodb_file_format, innodb_file_format_check, innodb_file_format_max, innodb_large_prefix

[client]
default-character-set = utf8mb4

[mysqld]
innodb_file_format = Barracuda
innodb_file_per_table = 1
innodb_large_prefix

character-set-client-handshake = FALSE
character-set-server = utf8mb4
collation-server = utf8mb4_unicode_ci

[mysql]
default-character-set = utf8mb4

Redémarrez votre serveur MySQL
Lancez le script en ligne de commande pour convertir au nouvel encodage de caractères et d'interclassement (nécessite Moodle 3.1.5, 3.2.2 ou plus récent) :

$ php admin/cli/mysql_collation.php --collation=utf8mb4_unicode_ci

Optionnel : assurez-vous de réparer et optimiser toutes vos bases de données et tables

mysqlcheck -u root -p --auto-repair --optimize --all-databases

ATTENTION : pour les gros sites, le script sera long. Pour des très gros sites, cela peut prendre des heures (voire des jours) ! Il est donc recommandé de vérifier la durée sur une copie de votre site, avant de bloquer votre site en exploitation. Éventuellement, une solution plus rapide sera d'exporter le contenu de la base de données, puis de le ré-importer (après avoir modifié le codage et l'interclassement par défaut). Voyez les discussions en partie "Voir aussi" pour cela.

Ajustez le tableau de paramètres $CFG->dboptions dans votre fichier config.php pour vous assurer que Moodle utilise le bon interclassement pour se connecter au serveur MySQL :

$CFG->dboptions = array(
  …
  'dbcollation' => 'utf8mb4_unicode_ci',
  …
);

Si vous n'avez pas accès au fichier de configuration du serveur de la base de données, mais avez seulement un accès en ligne de commande (ou via un outil tel quel phpMyAdmin ou Adminer), vous pouvez essayer les commandes SQL suivantes :

SET GLOBAL innodb_file_format = barracuda;
SET GLOBAL innodb_file_per_table = 1;
SET GLOBAL innodb_large_prefix = 'on';

Essayez d'ajouter des Emojis 🇦🇺👏🎓 dans votre site Moodle pour vérifier que la mise à jour est correcte.

Voir aussi

Cette discussion à propos de l'interclassement utf8mb4_unicode_ci et la façon de le modifier (pour les tables).
Cette discussion sur la modification de l'interclassement via export de base de données (pour les tables et colonnes).

Documentation