Le making-of du wiki

Ce wiki est basé sur le moteur MoinMoin, un moteur de wiki écrit en python. Sans s'intéresser davantage aux motivations de ce choix, détaillons le fonctionnement de ce wiki.

Fonctionnement général

Ce wiki est installé et est servi par un domU nommé niomniom.crans.org. Il était servi par le module python d'apache2. Cette solution n'étaint pas recommandée par les devs de moinmoin, il est donc maintenant servi par wsgi: HelpOnInstalling/ApacheWithModWSGI

Le grand avantage de MoinMoin est son système de plugins qui permet donc de le customiser sans avoir à le patcher, on y trouvera tout un tas de choses plus ou moins inutiles (des portails, des boxes, des macros à la con, etc.). Malheuresement, le système de plugins ne permet pas de faire tout ce qu'on voudrait, et même si la plus grande partie des customization du Cr@ns sont incorporées sous formes de plugins, certains le sont sous forme de patches dans les sources de MoinMoin.

Détaillons tout d'abord rapidement la conf d'apache2 qui va notamment:

rediriger vers une url fully-qualified (avec un vhost www, wiki)
distribuer les ressources statiques de là où elles sont installées (cela inclut old_www/). Il faut pour cela utiliser des Alias, pour que apache2 comprenne bien qu'il doit fournir les fichiers.
forcer le SSL pour les envois de données "sensibles"
enfin, les requêtes passent par WSGI

Apache2 envoie enfin toutes les requêtes à /usr/share/moin/server/moin.wsgi. moinmodpy va ensuite charger sa configuration /etc/moin/farmconfig.py, qui est la conf de base fournie par debian (dans /usr/share/moin/config/wikifarm) MoinMoin étant correctement installé, moin.wsgi n'aura aucun mal à trouver le moteur.

Ainsi la configuration du wiki du crans, /etc/moin/mywiki.py est chargée par wikifarm.py. C'est donc dans ce fichier que se trouvent les détails de configuration spécifiques au wiki du Crans, dans lequelle sont modifiés les paramètres dont les valeurs par défaut, définies dans /usr/share/python-support/python-moinmoin/MoinMoin/config/multiconfig.py, ne nous conviennent pas.

C'est dans ce fichier qu'est détaillé là où se trouvent les données du wiki, à savoir /var/local/wiki/data. C'est aussi là que se trouvent installés (en fait linkés) la documentation (/usr/share/moin/htdocs/underlay), ainsi que nos plugins maisons (depuis /usr/scripts/wiki). Les ressources statiques sont servies directement d'une copie local du repo git des ressources statiques du wiki du Cr@ns (moin_htdocs_crans).

Pourquoi patcher les sources

Certaines modifications sont trop sévères pour être rajoutées en plugin

Distinction entre un utilisateur en zone Cr@ns et un utilisateur extérieur
Les pages de la CatégoriePagePublique sont accessibles en lecture pour tous
On rajoute quelques icones sympa
On force le thème sur certains vhosts (www.crans.org typiquement)
Les utilisateurs non authentifiés sont nommés par leur hostname plutôt que par leur ip

D'autres au contraire se modularisent très bien

MoinMoin permet de créer assez facilement des plugins spécifiques à un wiki. Le Crans en utilise beaucoup, particulièrement les macros qui sont de petits bouts de code python qui permettent, "appelés" dans le code source d'une page l'affichage de quelques données obtenues par un bout de code en python, typiquement <<Date() qui affiche le jour d'aujourd'hui, 2025-05-13

Ces plugins étant donc indépendants de MoinMoin, ils sont donc logiquement installés dans /var/local/wiki/data/plugins (linkés en fait), depuis /usr/scripts, plutôt que d'être rajoutés dans le paquet debian custom avec les macros fournies par défaut dans MoinMoin.

Ces plugins sont de plusieurs types, citons notamment:

les macros, qui appelées par leur noms CustomMacro() dans le code source d'une page provoquent l'exécution du bout de code associé (/var/local/wiki/data/plugins/macros/custommacro.py) et sont remplacés par sa sortie. /CréationDeMacro
les parseurs qui permettent d'afficher le contenu de pièces jointes (éventuellement inlinées), et qui nous autorisent à les renderer à notre guise. /CréationDeParseur
les formatteurs qui nous permettent d'afficher une page web autrement qu'en text/html

Comment dumper le wiki

Il est possible de publier des pages du wiki sous forme statique comme on en trouve ici.
Lorsqu'une modification est faite sur les pages du wiki, il faut mettre à jour les pages statiques correspondantes.
Cette manipulation se fait facilement grâce aux scripts fournis avec moinmoin:

On commence par se logguer sur le serveur sur lequel il y le wiki
On crée un répertoire temporaire destiné à accueillir les futures pages statiques générées (par exemple dans son home ~/dump_temp).
On peut ensuite lancer le script (en temps que www-data, parce qu'on est pas un gros porc) en lui passant comme arguments, le nom des pages sous forme d'expression régulière et le répertoire de destination des pages statiques. Ex :

sudo -u www-data moin \
  --config-dir=/etc/moin --wiki-url=http://wiki.crans.org/ \
 export dump \
  --page "WiFi(/PositionnementDesBornes|/AvoirLeWifi.*)?" \
  --target-dir=/home/myname/outputdir

Les pages générées seront dans le répertoire ~/outputdir et les pièces jointes correspondantes seront dans le répertoire ~/outputdir/attachment. Penser à donner les droits en écriture à www-data.
Ne pas oublier de linker les images (bien souvent dans ./crans/img).

La dernière étape consiste à mettre les fichiers générés : /var/www/wifi

CatégoriePagePublique CatégorieCrans

-  ⇤ ← Version 42 à la date du 2009-03-23 19:03:27 → 
  Taille: 9145
  Éditeur: WikiAdg
  Commentaire: les patch peuvent être récupérés dans le repository git
+   ← Version 45 à la date du 2010-06-13 21:33:52 → ⇥
  Taille: 6221
  Éditeur: WikiAdg
  Commentaire: màj
-Texte supprimé.
+Texte ajouté.
 Ligne 6:
-= Le making of du wiki =
+= Le making-of du wiki =
 Ligne 8:
-Ce wiki est basé sur le moteur MoinMoin, un moteur de wiki écrit en python.
Sans s'intéresser davantage aux motivations de ce choix, détaillons le fonctionnement du wiki.
+Ce wiki est basé sur le moteur [[http://moinmo.in|MoinMoin]], un moteur de wiki écrit en python.
Sans s'intéresser davantage aux motivations de ce choix, détaillons le fonctionnement de ce wiki.
 Ligne 13:
-Il est servi par le module python d'apache2. Il devrait également être possible de le servir par
un fastCGI (donc en utilisant un serveur web plus léger que apache2), mais l'installation avec
le module python d'apache est tellement aisé.
+Il était servi par le module python d'apache2. Cette solution n'étaint pas recommandée
par les devs de moinmoin, il est donc maintenant servi par
wsgi: HelpOnInstalling/ApacheWithModWSGI
 Ligne 17:
-Il ne s'agit pas exactement de la version upstream de MoinMoin, mais de la
version debian légèrement modifiée. Le moteur est installé au moyen d'un paquet debian customisé,
basé sur le paquet python-moinmoin.
+Le grand avantage de MoinMoin est son système de plugins
qui permet donc de le customiser sans avoir à le patcher, on y trouvera tout
un tas de choses plus ou moins inutiles (des portails, des boxes, des macros à la con, etc.).
Malheuresement, le système de plugins ne permet pas de faire tout ce qu'on voudrait, et
même si la plus grande partie des customization du Cr@ns sont incorporées sous formes de
plugins, certains le sont sous forme de patches dans les sources de MoinMoin.
-Ligne 21:
+Ligne 24:
-(On pourrait détailler davantage ici la conf d'apache2 qui va notamment:
 * rediriger vers une url fully-qualified
 * servir le vieux site web en priorité
+Détaillons tout d'abord rapidement la conf d'apache2 qui va notamment:
 * rediriger vers une url fully-qualified (avec un vhost www, wiki)
 * distribuer les ressources statiques de là où elles sont installées (cela inclut old_www/). Il faut pour cela utiliser des Alias, pour que apache2 comprenne bien qu'il doit fournir les fichiers.
-Ligne 25:
+Ligne 28:
- * logger là où il faut
 * distribuer les ressources statiques de là où elles sont installées
 * enfin, il envoie les requêtes au module python)
Apache2 envoie toutes les requêtes à {{{/usr/share/moin/server/moinmodpy.py}}}.
moinmodpy va donc charger sa configuration {{{/etc/moin/farmconfig.py}}},
+ * enfin, les requêtes passent par WSGI

Apache2 envoie enfin toutes les requêtes à {{{/usr/share/moin/server/moin.wsgi}}}.
moinmodpy va ensuite charger sa configuration {{{/etc/moin/farmconfig.py}}},
-Ligne 31:
+Ligne 33:
-MoinMoin étant correctement installé, {{{moinmodpy.py}}} n'aura aucun mal
+MoinMoin étant correctement installé, {{{moin.wsgi}}} n'aura aucun mal
-Ligne 35:
+Ligne 37:
-C'est donc dans ce fichier que se trouvent les détails de configuration du wiki du Crans,
dans laquelle sont modifiés les paramètres dont les valeurs par défaut définies dans
{{{/usr/share/python-support/python-moinmoin/MoinMoin/config/multiconfig.py}}}
+C'est donc dans ce fichier que se trouvent les détails de configuration spécifiques au wiki du Crans,
dans lequelle sont modifiés les paramètres dont les valeurs par défaut, définies dans
{{{/usr/share/python-support/python-moinmoin/MoinMoin/config/multiconfig.py}}},
-Ligne 40:
+Ligne 42:
-Notamment, c'est dans ce fichier qu'est détaillé là où se trouvent les données
du wiki, à savoir {{{/var/local/wiki/data}}}. Notons néanmoins que là se trouve
installé (en fait linké) des ressources, la documentation (linkée depuis là où
elle a été installée par le paquet debian, {{{/usr/share/moin/htdocs/underlay}}}),
ainsi que quelques-uns des plugins (qui sont des scripts) depuis {{{/usr/scripts}}}.
+C'est dans ce fichier qu'est détaillé là où se trouvent les données
du wiki, à savoir {{{/var/local/wiki/data}}}. C'est aussi là que se trouvent
installés (en fait linkés) la documentation ({{{/usr/share/moin/htdocs/underlay}}}),
ainsi que nos plugins maisons (depuis {{{/usr/scripts/wiki}}}).
Les ressources statiques sont servies directement d'une copie local du 
[[http://git.crans.org/?p=moin_htdocs_crans.git;a=summary|repo git des ressources statiques du wiki du Cr@ns (moin_htdocs_crans)]].
-Ligne 46:
+Ligne 49:
-On remarquera également que les ressources statiques sont configurés pour
être dans les urls en {{{wiki/}}}. Apache sait donc qu'il doit rediriger
ces requêtes vers les ressources statiques qui sont dans {{{/usr/share/moin/htdocs}}},
installées par notre paquet debian custom. C'est là que se trouvent donc les
icônes ainsi que les css, et les scripts javascript.
+= Pourquoi patcher les sources =
== Certaines modifications sont trop sévères pour être rajoutées en plugin ==
 * Distinction entre un utilisateur en zone Cr@ns et un utilisateur extérieur
 * Les pages de la !CatégoriePagePublique sont accessibles en lecture pour tous
 * On rajoute quelques icones sympa
 * On force le thème sur certains vhosts (www.crans.org typiquement)
 * Les utilisateurs non authentifiés sont nommés par leur hostname plutôt que par leur ip
-Ligne 52:
+Ligne 57:
-= Modification de fichiers du paquet de MoinMoin python-moinmoin =
== Pourquoi un paquet debian custom ==
Les hacks du wiki se sont tout d'abord accumulés dans {{{/usr/scripts}}}. Cela causait une pagaille noire
lors de mises à jour de MoinMoin. Il fallait déjà réinstaller tous les hacks, et de nombreux fichiers avaient
été copiés depuis les ressources statiques fournies par le paquet dans son ancienne version, puis sauvagement
hackés, ce qui les rendaient obsolètes après la mise à jour. Ils étaient donc soit laissés tels quels augmentant
ainsi l'entropie, soit sauvagement hackés rendant la chose complètement immaintenable.
+== D'autres au contraire se modularisent très bien ==
-Ligne 60:
+Ligne 59:
-L'utilisation d'un paquet custom rend la procédure d'installation complètement triviale.
Actuellement, en dehors des modifications apportées dans le paquet {{{pyton-moinmon}}}, le seul fichier
qu'il faudra mettre à jour à la main lors des mises à jour est le fichier de conf spécifique au wiki
du crans {{{/etc/moin/mywiki.py}}}. Il faudra peut-être aussi convertir les données du wiki, mais nos
amis les packageurs de debian veilleront à nous fournir des scripts adéquats.

== Les modifications apportés au paquet debian ==
Elles sont de plusieurs types:
 * Hacks sauvages pour gérer de manière plus agréable les permissions et permettre un wiki à deux régimes.
 * Modifications assez importantes du code de rendering (et des ressources statiques associées) pour afficher des portails et des boîtes
 * Ajout des thèmes par défaut du Crans

=== Hacks sauvages ===
Eux ne portent que sur le code du moteur. Certaines pourraient être rajoutées uniquement comme plugins, mais d'autres ne le peuvent pas, par
souci de cohérence, on les rajoute tous dans le code du moteur.
 * Servir en lecture les pages dans la CatégoriePagePublique, à quiconque le demande
 * Refuser la création d'un compte crans en dehors de la zone Crans
 * Afficher le nom de la machine lors d'une modification effectuée par un anonyme depuis la zone Crans (on a en effet remarqué que bien souvent le propriétaire, ou tout du moins son surnom, pouvait être inféré depuis le nom d'hôte de sa machine.
 * Forcer un thème en fonction du !VirtualHost (un thème de "site web" pour www.crans.org, alors que le thème par défaut est un thème "wiki")
 * Modification du template pour dumper le wiki (pour les pages proxy)

=== Modifications du code de rendering ===
Pour pouvoir afficher des boxes et des portails, portent donc à la fois sur les ressources statiques et le code du moteur.
Là encore c'est parce qu'il n'est pas possible de toutes les déclarer dans des plugins qu'on les incorpore directement dans
le code du wiki.
 * Création de nouvelles primitives de rendering ({{{crans_box}}} et {{{crans_portal}}})
 * Leur implémentation en html
 * Leur implémentation en css (ajoutées aux ressources statiques)
 * rajout des images nécessaires (ajoutées aux ressources statiques)

=== Ajout des thèmes par défaut du Crans ===
Comme un thème impose l'ajout de nombreuses ressources binaires ou pas (images, css, js),
et le dépot darcs des scripts du crans n'étant pas l'endroit idéal pour les stocker,
ceux-ci ont donc directement été rajoutés dans le paquet custom.
 * {{{crans}}}: le thème wiki par défaut
 * {{{crans-www}}}: le thème site web forcé sur www.crans.org
 * {{{anti-hadopi}}}: un thème pour le blackout contre HADOPI


= Les plugins (non incorporés au paquet custom) =
-Ligne 139:
+Ligne 98:
- * CatégoriePagePublique
 * CatégorieCrans
+ CatégoriePagePublique CatégorieCrans