|
Taille: 3839
Commentaire: wiki-dumps
|
← Version 60 à la date du 2018-03-03 20:33:17 ⇥
Taille: 8040
Commentaire: goodbye gui
|
| Texte supprimé. | Texte ajouté. |
| Ligne 1: | Ligne 1: |
| ## page was renamed from CransTechnique/WiKi/DocumentationCrans ## page was renamed from CransTechnique/DocumentationWikiCrans |
|
| Ligne 2: | Ligne 4: |
| Certaines modifications sont faites sur le wiki de MoinMoin pour nos besoins | ||<bgcolor="salmon"> /!\ Cette page est '''technique''', elle s'adresse donc aux Nounous. Pour une documentation plus potable [[SommaireDeL'Aide]] /!\ || |
| Ligne 6: | Ligne 10: |
| = Modification de fichiers du paquet de MoinMoin = On retrouve dans {{{/usr/scripts/wiki-lenny/share}}} les fichiers de moinmoins que nous avons modifiés nous-mêmes. Pour qu'ils soient utilisés on supprime les originaux dans {{{/usr/share/python-support/python-moinmoin/MoinMoin}}} et on les remplaces par des liens symboliques pointant vers les fichiers correspondant dans {{{/usr/script/wiki-lenny/share}}}. Pour différencier quels fichiers il faut mettre et ne pas mettre on créé un fichier portant l'extension {{{.orig.py}}} pour ceux qu'on utiliser. |
= Le making-of du wiki = |
| Ligne 9: | Ligne 12: |
| Les fichiers qui s'y trouvent sont commités avec la source originale correspondant à la version du paquet debian installé. Les diffs suivants correspondent à nos modifications propres. Les lignes modifiées sont repérables avec les balises {{{ #### HACK SAUVAGE }}} et {{{ #### FIN DU HACK }}} |
Ce wiki est basé sur le moteur [[http://moinmo.in|MoinMoin]], un moteur de wiki écrit en python. |
| Ligne 16: | Ligne 14: |
| Les patchs sont regroupés sur [[/LesPatchs|cette page]] | Nous utilisons actuellement la version 1.9.8 de MoinMoin, qui tourne sur une machine Jessie. |
| Ligne 18: | Ligne 16: |
| = Ajout de macro/parser/formatter = Parce qu'on aime pimper le wiki, on a rajouter quelques autres formatters et des macros, qui sont stockés dans {{{/usr/scripts/wiki-lenny/local}}} et qu'il faut installer dans {{{/var/local/wiki/data/plugins}}} |
Sans s'intéresser davantage aux motivations de ce choix, détaillons le fonctionnement de ce wiki. |
| Ligne 21: | Ligne 18: |
| ## <<Include(/CréationDeMacro,"Création de macros", 2, from="[[[TableOfContents]]]", to="Exemple")>> | = Fonctionnement général = Ce wiki est installé et est servi par un domU nommé {{{niomniom.crans.org}}}, qui est le domU dédié aux sites webs du crans ([[http://autostatus.crans.org]], [[http://wiki.crans.org]], [[http://install-party.crans.org]] et [[http://federez.crans.org]]). Il est donc maintenant servi par wsgi : [[http://wiki.apache.org/logging/HelpOnInstalling]] |
| Ligne 23: | Ligne 24: |
| == Création de parseur == | Pour ceux qui veulent voir comment installer un wiki moinmoin sur debian : [[http://moinmo.in/MoinMoinPackages/DebianLinux]] |
| Ligne 25: | Ligne 26: |
| == Création de formatter == /CréationDeFormatter |
Le grand avantage de MoinMoin est son système de plugins qui permet donc de le customiser sans avoir à le patcher, on y trouvera tout un tas de choses plus ou moins inutiles (des portails, des boxes, des macros à la con, etc.). Malheureusement, le système de plugins ne permet pas de faire tout ce qu'on voudrait, et même si la plus grande partie des customisation du Cr@ns sont incorporées sous formes de plugins, certains le sont sous forme de patches dans les sources de MoinMoin. |
| Ligne 28: | Ligne 33: |
| = Ajout de thème = La partie en python s'occupant de la mise en forme est stockée dans {{{/usr/scripts/wiki-lenny/plugins/theme}}}, en effet nos themes persos sont bien des plugins du wiki. |
Détaillons tout d'abord rapidement la conf d'apache2 qui va notamment : * rediriger vers une url fully-qualified (avec un vhost www, wiki) * distribuer les ressources statiques de là où elles sont installées (cela inclut old_www/). Il faut pour cela utiliser des alias, pour que apache2 comprenne bien qu'il doit fournir les fichiers. * forcer le SSL pour les envois de données "sensibles" * enfin, les requêtes passent par WSGI |
| Ligne 31: | Ligne 39: |
| Les éléments graphiques (css et images) sont eux stockés (enfin, c'est vite dit vu le bordel que c'est) dans {{{/usr/scripts/wiki-lenny/static}}} | Apache2 envoie enfin toutes les requêtes à {{{/usr/share/moin/server/moin.wsgi}}}. moinmodpy va ensuite charger sa configuration {{{/etc/moin/farmconfig.py}}}, qui est la conf de base fournie par Debian (dans {{{/usr/share/moin/config/wikifarm}}}). MoinMoin étant correctement installé, {{{moin.wsgi}}} n'aura aucun mal à trouver le moteur. |
| Ligne 33: | Ligne 45: |
| Ainsi la configuration du wiki du crans, {{{/etc/moin/mywiki.py}}} est chargée par {{{wikifarm.py}}}. C'est donc dans ce fichier que se trouvent les détails de configuration spécifiques au wiki du Crans, dans lequel sont modifiés les paramètres dont les valeurs par défaut, définies dans {{{/usr/share/pyshared/MoinMoin/config/multiconfig.py}}}, ne nous conviennent pas. On peut à tout moment observer la configuration du wiki sur SystemInfo (attention, il faut se rajouter en superuser dans {{{/etc/moin/mywiki.py}}}) C'est dans ce fichier qu'est détaillé là où se trouvent les données du wiki, à savoir {{{/var/local/wiki/data}}}. Les underlays par contre sont maintenant dans {{{/usr/share/moin/htdocs/underlay}}} (penser à donner les bonnes permissions à chaque mise à jour de !MoinMoin), ainsi que nos plugins maisons (depuis {{{/usr/scripts/wiki}}}). Les ressources statiques sont servies directement d'une copie local du [[http://git.crans.org/?p=moin_htdocs_crans.git;a=summary|repo git des ressources statiques du wiki du Cr@ns (moin_htdocs_crans)]]. = Pourquoi patcher les sources = == Certaines modifications sont trop sévères pour être rajoutées en plugin == * Distinction entre un utilisateur en zone Cr@ns et un utilisateur extérieur * Les pages de la CatégoriePagePublique sont accessibles en lecture pour tous * On rajoute quelques icônes sympa * On force le thème sur certains vhosts (www.crans.org typiquement) * Les utilisateurs non authentifiés sont nommés par leur hostname plutôt que par leur ip * Pratique pour éviter de se récupérer des IPv6 imbuvables dans les ModificationsRécentes… * Il n'y a pas de reverse sur les IPv6 du Cr@ns... Tous ces patches sont dans {{{/usr/scripts/wiki/patches}}} (il y a un peu de fuzz dans ces patches) Après une mise à jour de moinmoin (toujours critique), il peut être utile de réappliquer ces patchs: {{{cd /usr/share/pyshared; for file in /usr/scripts/wiki/patches/*; do sudo patch -Np1 < $file; done}}} == D'autres au contraire se modularisent très bien == MoinMoin permet de créer assez facilement des plugins spécifiques à un wiki. Le Crans en utilise beaucoup, particulièrement les macros qui sont de petits bouts de code python qui permettent, "appelés" dans le code source d'une page l'affichage de quelques données obtenues par un bout de code en python, typiquement {{{<<Date()>>}}} qui affiche le jour d'aujourd'hui, <<Date()>> Ces plugins étant donc indépendants de MoinMoin, ils sont logiquement installés dans {{{/var/local/wiki/data/plugins}}} (linkés en fait), depuis {{{/usr/scripts}}}, plutôt que d'être rajoutés dans le paquet Debian custom avec les macros fournies par défaut dans MoinMoin. Ces plugins sont de plusieurs types, citons notamment: * les macros, qui appelées par leur noms {{{CustomMacro()}}} dans le code source d'une page provoquent l'exécution du bout de code associé ({{{/var/local/wiki/data/plugins/macros/custommacro.py}}}) et sont remplacés par sa sortie. /CréationDeMacro * les parseurs qui permettent d'afficher le contenu de pièces jointes (éventuellement inlinées), et d'obtenir le rendu qui nous plait. * les formatteurs qui nous permettent d'afficher une page web autrement qu'en {{{text/html}}} |
|
| Ligne 35: | Ligne 91: |
== La solution actuellement en place == Il est possible de publier des pages du wiki sous forme /statique/ comme on en trouve [[https://wifi.crans.org/wiki/WiFi.html|ici]].<<BR>> Lorsqu'une modification est faite sur les pages du wiki, il faut mettre à jour les pages statiques correspondantes.<<BR>> Cette manipulation se fait à l'aide du script {{{dump-wiki.py}}} situé dans {{{/usr/scripts/wiki}}}.<<BR>> Pour l'exécuter : * On commence par se logguer sur rouge (c'est à peu près la seule machine sur laquelle il veut bien s'exécuter). |
Il est possible de publier des pages du wiki sous forme statique. C'est essentiellement utilisé pour les pages proxy de squid.<<BR>> Lorsqu'une modification est faite sur les pages du wiki, il faut mettre à jour les pages statiques correspondantes (ou laisser cron le faire le soir-même).<<BR>> Pour se familiariser avec la syntaxe des pages de documentation du wiki : * On commence par se logger sur le serveur sur lequel il y le wiki |
| Ligne 43: | Ligne 96: |
| * On peut ensuite lancer le script en lui passant comme arguments, le nom des pages sous forme d'expression régulière et le répertoire de destination des pages statiques. Ex : {{{ sudo python /usr/scripts/dump-wiki.py --regex 'WiFi(/PositionnementDesBornes|/AvoirLeWifi.*)?' ~/dump_temp }}} Les pages générées seront dans le répertoire {{{~/dump_temp/wiki}}} et les pièces jointes correspondantes seront dans le répertoire {{{~/dump_temp/attach}}}. /!\ Ne pas oublier de créer ces répertoires.<<BR>> La dernière étape consiste à mettre les fichiers générés (donc les répertoires {{{wiki}}} et {{{attach}}}) sur ragnarok dans le répertoire : {{{/var/www/wifi}}} == Ce qu'il faudrait faire... == === ...maintenant qu'on a une version plus récente de moinmoin... === ==== ...et que le wiki n'est plus sur rouge: ==== |
* On peut ensuite lancer le script (en temps que www-data, parce qu'on est pas un gros porc) en lui passant comme arguments, le nom des pages sous forme d'expression régulière et le répertoire de destination des pages statiques. Ex : |
| Ligne 61: | Ligne 104: |
| Il suffit ensuite de coller les fichiers générés sur ragnarok dans {{{/var/www/wifi}}} | Les pages générées seront dans le répertoire {{{~/outputdir}}} et les pièces jointes correspondantes seront dans le répertoire {{{~/outputdir/attachment}}}. Penser à donner les droits en écriture à {{{www-data}}}.<<BR>> Ne pas oublier de linker les images (bien souvent dans {{{./crans/img}}}). |
| Ligne 63: | Ligne 107: |
| (bon, il faut cronner ça) | = Comment remettre à jour le cache du wiki = {{{ sudo -u www-data moin --config-dir=/etc/moin maint cleancache --show-timings sudo -u www-data moin --config-dir=/etc/moin maint makecache --show-timings }}} Utile lorsque le cache chie et que des gens se prennent des 403 sur des pages de la !CatégoriePagePublique. Depuis la dernière mise à jour du wiki, il ne devrait plus y avoir de problèmes. Cela marche aussi si une personne identifiée va sur la page incriminée et lui envoie une requête (en GET) {{{?action=refresh}}} = Configuration locale = L'édition en mode ''graphique'' n'est plus possible car elle cassait trop souvent la mise en page. Nous avons pour cela ajouté {{{editor_force = True}}} dans {{{/etc/moin/mywiki.py}}}. |
| Ligne 67: | Ligne 122: |
| CatégorieCrans |
|
![/!\](/wiki/memodump/img/alert.png "/!\"){kind=small}
Cette page est technique, elle s'adresse donc aux Nounous. Pour une documentation plus potable Sommaire
Le making-of du wiki
Ce wiki est basé sur le moteur MoinMoin, un moteur de wiki écrit en python.
Nous utilisons actuellement la version 1.9.8 de MoinMoin, qui tourne sur une machine Jessie.
Sans s'intéresser davantage aux motivations de ce choix, détaillons le fonctionnement de ce wiki.
Fonctionnement général
Ce wiki est installé et est servi par un domU nommé niomniom.crans.org, qui est le domU dédié aux sites webs du crans (http://autostatus.crans.org, http://wiki.crans.org, http://install-party.crans.org et http://federez.crans.org). Il est donc maintenant servi par wsgi : http://wiki.apache.org/logging/HelpOnInstalling
Pour ceux qui veulent voir comment installer un wiki moinmoin sur debian : http://moinmo.in/MoinMoinPackages/DebianLinux
Le grand avantage de MoinMoin est son système de plugins qui permet donc de le customiser sans avoir à le patcher, on y trouvera tout un tas de choses plus ou moins inutiles (des portails, des boxes, des macros à la con, etc.). Malheureusement, le système de plugins ne permet pas de faire tout ce qu'on voudrait, et même si la plus grande partie des customisation du Cr@ns sont incorporées sous formes de plugins, certains le sont sous forme de patches dans les sources de MoinMoin.
Détaillons tout d'abord rapidement la conf d'apache2 qui va notamment :
- rediriger vers une url fully-qualified (avec un vhost www, wiki)
- distribuer les ressources statiques de là où elles sont installées (cela inclut old_www/). Il faut pour cela utiliser des alias, pour que apache2 comprenne bien qu'il doit fournir les fichiers.
- forcer le SSL pour les envois de données "sensibles"
- enfin, les requêtes passent par WSGI
Apache2 envoie enfin toutes les requêtes à /usr/share/moin/server/moin.wsgi. moinmodpy va ensuite charger sa configuration /etc/moin/farmconfig.py, qui est la conf de base fournie par Debian (dans /usr/share/moin/config/wikifarm). MoinMoin étant correctement installé, moin.wsgi n'aura aucun mal à trouver le moteur.
Ainsi la configuration du wiki du crans, /etc/moin/mywiki.py est chargée par wikifarm.py. C'est donc dans ce fichier que se trouvent les détails de configuration spécifiques au wiki du Crans, dans lequel sont modifiés les paramètres dont les valeurs par défaut, définies dans /usr/share/pyshared/MoinMoin/config/multiconfig.py, ne nous conviennent pas. On peut à tout moment observer la configuration du wiki sur SystemInfo (attention, il faut se rajouter en superuser dans /etc/moin/mywiki.py)
C'est dans ce fichier qu'est détaillé là où se trouvent les données du wiki, à savoir /var/local/wiki/data. Les underlays par contre sont maintenant dans /usr/share/moin/htdocs/underlay (penser à donner les bonnes permissions à chaque mise à jour de MoinMoin), ainsi que nos plugins maisons (depuis /usr/scripts/wiki). Les ressources statiques sont servies directement d'une copie local du repo git des ressources statiques du wiki du Cr@ns (moin_htdocs_crans).
Pourquoi patcher les sources
Certaines modifications sont trop sévères pour être rajoutées en plugin
- Distinction entre un utilisateur en zone Cr@ns et un utilisateur extérieur
Les pages de la CatégoriePagePublique sont accessibles en lecture pour tous
- On rajoute quelques icônes sympa
- On force le thème sur certains vhosts (www.crans.org typiquement)
- Les utilisateurs non authentifiés sont nommés par leur hostname plutôt que par leur ip
Pratique pour éviter de se récupérer des IPv6 imbuvables dans les ModificationsRécentes…
- Il n'y a pas de reverse sur les IPv6 du Cr@ns...
Tous ces patches sont dans /usr/scripts/wiki/patches (il y a un peu de fuzz dans ces patches) Après une mise à jour de moinmoin (toujours critique), il peut être utile de réappliquer ces patchs: cd /usr/share/pyshared; for file in /usr/scripts/wiki/patches/*; do sudo patch -Np1 < $file; done
D'autres au contraire se modularisent très bien
MoinMoin permet de créer assez facilement des plugins spécifiques à un wiki. Le Crans en utilise beaucoup, particulièrement les macros qui sont de petits bouts de code python qui permettent, "appelés" dans le code source d'une page l'affichage de quelques données obtenues par un bout de code en python, typiquement <<Date()>> qui affiche le jour d'aujourd'hui, 2025-05-13
Ces plugins étant donc indépendants de MoinMoin, ils sont logiquement installés dans /var/local/wiki/data/plugins (linkés en fait), depuis /usr/scripts, plutôt que d'être rajoutés dans le paquet Debian custom avec les macros fournies par défaut dans MoinMoin.
Ces plugins sont de plusieurs types, citons notamment:
les macros, qui appelées par leur noms CustomMacro() dans le code source d'une page provoquent l'exécution du bout de code associé (/var/local/wiki/data/plugins/macros/custommacro.py) et sont remplacés par sa sortie. /CréationDeMacro
- les parseurs qui permettent d'afficher le contenu de pièces jointes (éventuellement inlinées), et d'obtenir le rendu qui nous plait.
les formatteurs qui nous permettent d'afficher une page web autrement qu'en text/html
Comment dumper le wiki
Il est possible de publier des pages du wiki sous forme statique. C'est essentiellement utilisé pour les pages proxy de squid.
Lorsqu'une modification est faite sur les pages du wiki, il faut mettre à jour les pages statiques correspondantes (ou laisser cron le faire le soir-même).
Pour se familiariser avec la syntaxe des pages de documentation du wiki :
- On commence par se logger sur le serveur sur lequel il y le wiki
On crée un répertoire temporaire destiné à accueillir les futures pages statiques générées (par exemple dans son home ~/dump_temp).
- On peut ensuite lancer le script (en temps que www-data, parce qu'on est pas un gros porc) en lui passant comme arguments, le nom des pages sous forme d'expression régulière et le répertoire de destination des pages statiques. Ex :
sudo -u www-data moin \ --config-dir=/etc/moin --wiki-url=http://wiki.crans.org/ \ export dump \ --page "WiFi(/PositionnementDesBornes|/AvoirLeWifi.*)?" \ --target-dir=/home/myname/outputdir
Les pages générées seront dans le répertoire ~/outputdir et les pièces jointes correspondantes seront dans le répertoire ~/outputdir/attachment. Penser à donner les droits en écriture à www-data.
Ne pas oublier de linker les images (bien souvent dans ./crans/img).
Comment remettre à jour le cache du wiki
sudo -u www-data moin --config-dir=/etc/moin maint cleancache --show-timings sudo -u www-data moin --config-dir=/etc/moin maint makecache --show-timings
Utile lorsque le cache chie et que des gens se prennent des 403 sur des pages de la CatégoriePagePublique. Depuis la dernière mise à jour du wiki, il ne devrait plus y avoir de problèmes. Cela marche aussi si une personne identifiée va sur la page incriminée et lui envoie une requête (en GET) ?action=refresh
Configuration locale
L'édition en mode graphique n'est plus possible car elle cassait trop souvent la mise en page. Nous avons pour cela ajouté editor_force = True dans /etc/moin/mywiki.py.