« Support unicode complet pour MySQL » : différence entre les versions

De MoodleDocs
Aller à :navigation, rechercher
(Traduction terminée)
(Prise en charge de l'affichage du code)
 
(17 versions intermédiaires par 2 utilisateurs non affichées)
Ligne 1 : Ligne 1 :
{{Environnement}}
==UTF-8==
==UTF-8==


UTF-8 est un encodage de caractères utilisé par la plupart des sites web. Il encode chacun des 1,112,064 points de codes valides. Pour stocker toute cette information, quatre octets sont requis. Les valeurs les plus courantes sont dans la région de trois octets. MySQL utilise donc par défaut un encodage uniquement sur trois octets, et les valeurs nécessitant quatre octets ne peuvent donc pas être stockées. Tout enregistrement contenant un caractère sur quatre octet ne pourra pas être enregistré.
UTF-8 est un encodage de caractères utilisé par la plupart des sites web. Il encode chacun des 1'112'064 points de codes valides. Pour stocker toute cette information, quatre octets au maximum sont requis. Les caractères les plus courants utilisent trois octets. MySQL utilise donc par défaut un encodage uniquement sur trois octets, et les valeurs nécessitant quatre octets (tels que les caractères asiatiques et les emoji) ne peuvent donc pas être stockées. Toute tentative d'enregistrement d'un texte contenant un caractère codé sur quatre octets génèrera une erreur de base de données de Moodle (et le contenu ne sera pas enregistré).


MySQL permet un support unicode (UTF-8) complet. Cela nécessite de configurer certains réglages. Depuis Moodle 3.3, par défaut le support UTF-8 complet sera assuré pour MySQL et MariaDB. Les bases de données existantes fonctionneront toujours avec le support partiel, mais il est recommandé de passer au support complet.
MySQL et MariaDB offrent le support unicode (UTF-8) complet, '''mais cela nécessite de configurer certains réglages de la base de données'''. Depuis la version 3.3, Moodle assure le support UTF-8 complet pour MySQL et MariaDB par défaut. Les bases de données existantes fonctionneront toujours avec le support partiel, mais il est recommandé de passer au support complet.


Moodle intègre un script en ligne de commande (CLI) pour convertir vers l'UTF-8 complet pour MySQL (et MariaDB). Avant Moodle 3.3, cet outil de conversion modifiait uniquement l'interclassement pour certaines variantes de 'utf8_bin'. 'utf8_unicode_ci' était l'interclassement recommandé. Nous recommandons maintenant 'utf8mb4_unicode_ci'. 'utf8mb4_unicode_ci' supporte les caractères sur quatre octets (utf8_unicode_ci supporte uniquement les caractères sur trois octets), donc les caractères sur quatre octets, tels que les caractères asiatiques et les emoji, devraient maintenant être complètement supportés.
Moodle intègre un script en ligne de commande (CLI) pour convertir vers l'UTF-8 complet pour MySQL (et MariaDB). Avant les versions 3.1.5 et 3.2.2 de Moodle, cet outil de conversion modifiait uniquement l'interclassement pour certaines variantes de 'utf8_bin'. 'utf8_unicode_ci' était l'interclassement recommandé. L'interclassement recommandé est maintenant 'utf8mb4_unicode_ci', qui supporte les caractères sur quatre octets, tels que les caractères asiatiques et les emoji (utf8_unicode_ci supporte uniquement les caractères sur trois octets).


Ce script essayera de modifier l'interclassement de la base de données, l'encodage des caractères et les réglages par défaut des tables.
Ce script tente de modifier l'interclassement de la base de données, l'encodage des caractères, les réglages par défaut des tables et les définitions de colonnes.


En résumé :
En résumé :
 
* les nouvelles installations de [[Notes de mise à jour de Moodle 3.1.5|Moodle 3.1.5]] et [[Notes de mise à jour de Moodle 3.2.2|3.2.2]] et ultérieures utiliseront utf8mb4 par défaut, '''si''' le serveur de base de données est configuré correctement pour cela (voir plus bas) ;
* Les installations neuves de Moodle 3.1.5 et 3.2.2 et ultérieures utiliseront utf8mb4 par défaut.
* les sites mis à jour vers Moodle 3.1.5 ou 3.2.2 '''peuvent''' utiliser le script pour mettre à jour vers utf8mb4 ;
* Les sites mis à jour vers Moodle 3.1.5 ou 3.2.2 peuvent utiliser le script pour mettre à jour vers utf8mb4.
* dans [[Notes de mise à jour de Moodle 3.3|Moodle 3.3]], si la base de données n'est pas configurée pour le support UTF-8 complet, un avertissement sera affiché et encouragera à passer à 'utf8mb4_unicode_ci', mais vous pourrez continuer à utiliser 'utf8_*' comme avant.
* Dans Moodle 3.3, si la base de données n'est pas configurée pour le support UTF-8 complet, un avertissement sera affiché et encouragera à passer à utf8mb4, mais vous pourrez continuer à utiliser utf8 comme avant.
* il est ''probable'' que dans une version future, le support complet de l'UTF-8 soit obligatoire.
* Il est ''probable'' que dans une version future, le support complet de l'UTF-8 soit obligatoire.


=== Format de fichier ===
=== Format de fichier ===


Pour autoriser les grands indexes sur les colonnes de type varchar, une combinaison de réglages est nécessaire. Le format de fichier du système doit utiliser "Barracuda". Cela permet au format de ligne d'être défini à "Compressé" ou "Dynamique". Pour activer ce réglage, voyez les ''Étapes de mise à jour'' ci-dessous.
Pour autoriser les grands index sur les colonnes de type varchar, une combinaison de réglages est nécessaire. Le format de fichier du système doit utiliser "Barracuda". Cela permet au format de ligne d'être défini à "Compressé" ou "Dynamique". Pour activer ce réglage, voyez les ''Étapes de mise à jour'' ci-dessous.


=== Fichier par table ===
=== Fichier par table ===
Ligne 27 : Ligne 25 :
=== Grand préfixe ===
=== Grand préfixe ===


Ceci en conjonction avec le format de ligne défini à "Compressé" ou "Dynamique" permet de grands indexes pour les varchar au delà de 191 caractères.
Ceci en conjonction avec le format de ligne défini à "Compressé" ou "Dynamique" permet de grands index pour les varchar au delà de 191 caractères.
Pour activer ce réglage, voyez les ''Étapes de mise à jour'' ci-dessous.
Pour activer ce réglage, voyez les ''Étapes de mise à jour'' ci-dessous.


Ligne 34 : Ligne 32 :
'''Important''' : effectuez une sauvegarde complète (de votre base de données) avant d'effectuer des changements ou de lancer le script !
'''Important''' : effectuez une sauvegarde complète (de votre base de données) avant d'effectuer des changements ou de lancer le script !


* Modifiez les réglages de configuration pour MySQL (idem pour MariaDB). Cette étape est optionnelle. Vous pouvez lancer le script et il essayera de faire toutes les modifications par lui-même. si des erreurs se produisent, essayez de modifier manuellement ces réglages somme indiqué ci-dessous.
* Modifiez les réglages de configuration pour MySQL (idem pour MariaDB). Cette étape est optionnelle. Vous pouvez lancer le script et il essayera de faire toutes les modifications par lui-même. si des erreurs se produisent, essayez de modifier manuellement ces réglages comme indiqué ci-dessous.
** Sur les systèmes basés sur Linux vous devrez modifier le fichier my.cnf. Il est situé dans '/etc/mysql/'.
** Sur les systèmes basés sur Linux vous devrez modifier le fichier my.cnf. Il est situé dans '/etc/mysql/'.
** Faites les modifications suivantes au fichier my.cnf :
** Faites les modifications suivantes au fichier my.cnf :
<code>
 
Attention : les options de configuration InnoDB suivantes sont dépréciées dans MySQL 5.7.7 et sont maintenant supprimées :
 
innodb_file_format, innodb_file_format_check, innodb_file_format_max, innodb_large_prefix
 
<syntaxhighlight lang="ini">
[client]
[client]
default-character-set = utf8mb4
default-character-set = utf8mb4
Ligne 52 : Ligne 55 :
[mysql]
[mysql]
default-character-set = utf8mb4
default-character-set = utf8mb4
</code>
</syntaxhighlight>


* Redémarrez votre serveur MySQL
* Redémarrez votre serveur MySQL
* Lancez le script en ligne de commande pour convertir au nouveau codage de caractère et interclassement (nécessite Moodle 3.1.5, 3.2.2 ou plus récent) : '''php admin/cli/mysql_collation.php --collation=utf8mb4_unicode_ci'''
* Lancez le script en ligne de commande pour convertir au nouvel encodage de caractères et d'interclassement (nécessite Moodle 3.1.5, 3.2.2 ou plus récent) :
 
<pre>
$ php admin/cli/mysql_collation.php --collation=utf8mb4_unicode_ci
</pre>
 
* Optionnel : assurez-vous de réparer et optimiser toutes vos bases de données et tables
<pre>
mysqlcheck -u root -p --auto-repair --optimize --all-databases
</pre>
 
'''ATTENTION : pour les gros sites, le script sera long. Pour des très gros sites, cela peut prendre des heures (voire des jours) ! Il est donc recommandé de vérifier la durée sur une copie de votre site, avant de bloquer votre site en exploitation. Éventuellement, une solution plus rapide sera d'exporter le contenu de la base de données, puis de le ré-importer (après avoir modifié le codage et l'interclassement par défaut). Voyez les discussions en partie "Voir aussi" pour cela.'''
 
* Ajustez le tableau de paramètres $CFG->dboptions dans votre fichier '''config.php''' pour vous assurer que Moodle utilise le bon interclassement pour se connecter au serveur MySQL :
<pre>
$CFG->dboptions = array(
  &hellip;
  'dbcollation' => 'utf8mb4_unicode_ci',
  &hellip;
);
</pre>
 
 
Si vous n'avez pas accès au fichier de configuration du serveur de la base de données, mais avez seulement un accès en ligne de commande (ou via un outil tel quel phpMyAdmin ou Adminer), vous pouvez essayer les commandes SQL suivantes :
<syntaxhighlight lang="sql">
SET GLOBAL innodb_file_format = barracuda;
SET GLOBAL innodb_file_per_table = 1;
SET GLOBAL innodb_large_prefix = 'on';
</syntaxhighlight>
 
* Essayez d'ajouter des Emojis 🇦🇺👏🎓 dans votre site Moodle pour vérifier que la mise à jour est correcte.


La mise à jour est maintenant terminée.
== Voir aussi ==
* Cette [https://moodle.org/mod/forum/discuss.php?d=349319 discussion à propos de l'interclassement utf8mb4_unicode_ci] et la façon de le modifier (pour les tables).
* Cette [https://moodle.org/mod/forum/discuss.php?d=353542 discussion sur la modification de l'interclassement via export de base de données] (pour les tables et colonnes).


[[Catégorie:Environnement|UTF-8]]
[[Catégorie:Environnement]]
[[Catégorie:UTF-8]]
[[Catégorie:UTF-8]]
[[Catégorie:Installation]]
[[Catégorie:Installation]]

Dernière version du 24 juillet 2021 à 08:25

UTF-8

UTF-8 est un encodage de caractères utilisé par la plupart des sites web. Il encode chacun des 1'112'064 points de codes valides. Pour stocker toute cette information, quatre octets au maximum sont requis. Les caractères les plus courants utilisent trois octets. MySQL utilise donc par défaut un encodage uniquement sur trois octets, et les valeurs nécessitant quatre octets (tels que les caractères asiatiques et les emoji) ne peuvent donc pas être stockées. Toute tentative d'enregistrement d'un texte contenant un caractère codé sur quatre octets génèrera une erreur de base de données de Moodle (et le contenu ne sera pas enregistré).

MySQL et MariaDB offrent le support unicode (UTF-8) complet, mais cela nécessite de configurer certains réglages de la base de données. Depuis la version 3.3, Moodle assure le support UTF-8 complet pour MySQL et MariaDB par défaut. Les bases de données existantes fonctionneront toujours avec le support partiel, mais il est recommandé de passer au support complet.

Moodle intègre un script en ligne de commande (CLI) pour convertir vers l'UTF-8 complet pour MySQL (et MariaDB). Avant les versions 3.1.5 et 3.2.2 de Moodle, cet outil de conversion modifiait uniquement l'interclassement pour certaines variantes de 'utf8_bin'. 'utf8_unicode_ci' était l'interclassement recommandé. L'interclassement recommandé est maintenant 'utf8mb4_unicode_ci', qui supporte les caractères sur quatre octets, tels que les caractères asiatiques et les emoji (utf8_unicode_ci supporte uniquement les caractères sur trois octets).

Ce script tente de modifier l'interclassement de la base de données, l'encodage des caractères, les réglages par défaut des tables et les définitions de colonnes.

En résumé :

  • les nouvelles installations de Moodle 3.1.5 et 3.2.2 et ultérieures utiliseront utf8mb4 par défaut, si le serveur de base de données est configuré correctement pour cela (voir plus bas) ;
  • les sites mis à jour vers Moodle 3.1.5 ou 3.2.2 peuvent utiliser le script pour mettre à jour vers utf8mb4 ;
  • dans Moodle 3.3, si la base de données n'est pas configurée pour le support UTF-8 complet, un avertissement sera affiché et encouragera à passer à 'utf8mb4_unicode_ci', mais vous pourrez continuer à utiliser 'utf8_*' comme avant.
  • il est probable que dans une version future, le support complet de l'UTF-8 soit obligatoire.

Format de fichier

Pour autoriser les grands index sur les colonnes de type varchar, une combinaison de réglages est nécessaire. Le format de fichier du système doit utiliser "Barracuda". Cela permet au format de ligne d'être défini à "Compressé" ou "Dynamique". Pour activer ce réglage, voyez les Étapes de mise à jour ci-dessous.

Fichier par table

Pour activer ce réglage, voyez les Étapes de mise à jour ci-dessous.

Grand préfixe

Ceci en conjonction avec le format de ligne défini à "Compressé" ou "Dynamique" permet de grands index pour les varchar au delà de 191 caractères. Pour activer ce réglage, voyez les Étapes de mise à jour ci-dessous.

Étapes de mise à jour

Important : effectuez une sauvegarde complète (de votre base de données) avant d'effectuer des changements ou de lancer le script !

  • Modifiez les réglages de configuration pour MySQL (idem pour MariaDB). Cette étape est optionnelle. Vous pouvez lancer le script et il essayera de faire toutes les modifications par lui-même. si des erreurs se produisent, essayez de modifier manuellement ces réglages comme indiqué ci-dessous.
    • Sur les systèmes basés sur Linux vous devrez modifier le fichier my.cnf. Il est situé dans '/etc/mysql/'.
    • Faites les modifications suivantes au fichier my.cnf :

Attention : les options de configuration InnoDB suivantes sont dépréciées dans MySQL 5.7.7 et sont maintenant supprimées :

innodb_file_format, innodb_file_format_check, innodb_file_format_max, innodb_large_prefix

[client]
default-character-set = utf8mb4

[mysqld]
innodb_file_format = Barracuda
innodb_file_per_table = 1
innodb_large_prefix

character-set-client-handshake = FALSE
character-set-server = utf8mb4
collation-server = utf8mb4_unicode_ci

[mysql]
default-character-set = utf8mb4
  • Redémarrez votre serveur MySQL
  • Lancez le script en ligne de commande pour convertir au nouvel encodage de caractères et d'interclassement (nécessite Moodle 3.1.5, 3.2.2 ou plus récent) :
$ php admin/cli/mysql_collation.php --collation=utf8mb4_unicode_ci
  • Optionnel : assurez-vous de réparer et optimiser toutes vos bases de données et tables
mysqlcheck -u root -p --auto-repair --optimize --all-databases

ATTENTION : pour les gros sites, le script sera long. Pour des très gros sites, cela peut prendre des heures (voire des jours) ! Il est donc recommandé de vérifier la durée sur une copie de votre site, avant de bloquer votre site en exploitation. Éventuellement, une solution plus rapide sera d'exporter le contenu de la base de données, puis de le ré-importer (après avoir modifié le codage et l'interclassement par défaut). Voyez les discussions en partie "Voir aussi" pour cela.

  • Ajustez le tableau de paramètres $CFG->dboptions dans votre fichier config.php pour vous assurer que Moodle utilise le bon interclassement pour se connecter au serveur MySQL :
$CFG->dboptions = array(
  …
  'dbcollation' => 'utf8mb4_unicode_ci',
  …
);


Si vous n'avez pas accès au fichier de configuration du serveur de la base de données, mais avez seulement un accès en ligne de commande (ou via un outil tel quel phpMyAdmin ou Adminer), vous pouvez essayer les commandes SQL suivantes :

SET GLOBAL innodb_file_format = barracuda;
SET GLOBAL innodb_file_per_table = 1;
SET GLOBAL innodb_large_prefix = 'on';
  • Essayez d'ajouter des Emojis 🇦🇺👏🎓 dans votre site Moodle pour vérifier que la mise à jour est correcte.

Voir aussi