## Che fais le ménache -- PeBecue <<DateTime(2012-04-15T23:08:46+0100)>>
<<TableOfContents>>
= Ragnarok =
Ragnarok est le serveur qui s'occupera (bientôt) de récupérer les logs des différents serveurs du Cr@ns. Il a reçu deux disques durs montés en RAID d'un teraoctet, et a été mis à neuf sous squeeze.
== Configuration basique du serveur ==
Ragnarok a été installé sous squeeze, en debootstrap.
Les services installés dessus sont :
* La gestion des logs
=== Gestion des logs ===
Ragnarok fonctionne avec rsyslog, il faudra donc passer tous les serveurs sous rsyslog pour qu'ils puissent envoyer leurs informations à celui-ci. Pour centraliser les logs, on utilise PostgreSQL, avec le paquet rsyslog-pgsql (la table par défaut s'appelle Syslog). L'envoi d'un serveur vers Ragnarok se fera à l'aide du protocole RELP (une surcouche de TCP, plus fiable), il faut donc veiller à installer le paquet rsyslog-relp.
Une fois cela fait, on crée le répertoire rsyslog.d/ dans le dossier /etc/ s'il n'existe pas (a priori, il existe déjà, car rsyslog-psql crée un fichier psql.conf dans ce dossier). Et dedans, on va créer le fichier 52-listen_relp.conf, que l'on va remplir ainsi :
{{{
$ModLoad imrelp
$InputRELPServerRun 20514
}}}
La première ligne sert à charger le module imrelp, la seconde place Ragnarok en écoute sur le port 20514, en attente de logs. On déplace également /etc/rsyslog.d/pgsql.conf vers /etc/rsyslog.d/51-pgsql.conf Cela fait, on relance rsyslog via la commande "sudo /etc/init.d/rsyslog restart".
=== (Re)Configuration des serveurs ===
Parlons de la (re)configuration des serveurs clients, par exemple, whatsupdoc. On s'assure d'abord que le paquet gérant les logs est rsyslog. Par ailleurs, il faut installer rsyslog-relp, pour que l'envoi des informations puisse se faire. Dans /etc/rsyslog.d, nous allons créer le fichier 50-send_relp.conf, contenant les informations suivantes :
{{{
$ModLoad omrelp
*.* :omrelp:10.231.136.11:20514;RSYSLOG_ForwardFormat
}}}
La première ligne charge le module d'envoi des données en RELP, la seconde spécifie que tous les logs doivent être envoyés à Ragnarok (10.231.136.11), sur le port 20514, via le module omrelp, dans un format prédéfini (RSYSLOG_ForwardFormat). Il ne reste qu'à relancer rsyslog via la commande "sudo /etc/init.d/rsyslog restart".
=== Pour les switchs ===
Les logs des switchs sont envoyés vers {{{ragnarok}}} le protocole syslog (en UDP), via la directive de configuration:
{{{
logging 10.231.136.11
}}}
Ragnarok doit donc également autoriser l'envoi de log via UDP, ce qui se réalise à l'aide d'un fichier supplémentaire ( ./rsyslog.d/53-listen_switches.conf ):
{{{
$ModLoad imudp
$UDPServerRun 514
$AllowedSender UDP, 127.0.0.1, *.adm.crans.org, 10.231.136.0/24
}}}
On a quelques problèmes ouverts sur le champ fromhost enregistré dans la base pgsql: les ip des switchs sont utilisés au lieu de leur nom d'hôte. En désactivant, certaines directives de rsyslog, on arrive à enregistrer le nom d'hôte mais c'est alors les autres serveurs qui sont enregistrés par leur adresse IP !
NB: On utilise ici le protocole UDP, car c'est le seul disponible sur les switchs (probablement par soucis de légèreté).
== Généralisation de la configuration via bcfg2 ==
On supposera ici que les modifications de bcfg2 se font via darcs, on notera donc / comme étant la racine du répertoire darcs bcfg2. L'idée est de généraliser proprement à l'ensemble du réseau ce qu'on a vu au dessus. Cela va donc impliquer aussi plus de lignes de configuration, pour avoir un système fiable (en cas de crash de ragnarok, du réseau, ou de postgres).
Dans /Cfg/etc/rsyslog.d, créer le répertoire 50-send_relp.conf/, 51-pgsql.conf/, 52-listen_relp.conf/ et 53-listen_switches.conf/. Dans 50-send_relp.conf/, créer le fichier 50-send_relp.conf, et y mettre les lignes suivantes :
{{{
# Fichier géré par BCFG2. Ne pas modifier localement
$ModLoad omrelp # Module d'envoi des logs via le réseau, plus fiable que omtcp
$WorkDirectory /var/log/spool # Dossier de travail par défaut, pour les clients rsyslog
# En cas de plantage de la destination (ici ragnarok), on met en RAM (puis dans des fichiers
# temporaires, si la RAM est sollicitée au delà d'une limite "inconnue", placés dans le
# répertoire de travail /var/log/spool) ce qui doit être envoyé à ragnarok quand il sera
# joignable à nouveau
$ActionQueueType LinkedList # Mode de travail asynchrone pour la mise en attente
$ActionQueueFileName syslogfwd # Définit le nom des fichiers temporaires créés en cas de problème
$ActionResumeRetryCount -1 # Si l'envoi vers le destinataire standard foire, on réessaye un peu plus tard, indéfiniment.
$ActionQueueSaveOnShutdown on # Balance le contenu de la RAM dans un fichier en cas d'arrêt de rsyslog.
*.* :omrelp:ragnarok.adm.crans.org:20514;RSYSLOG_ForwardFormat
}}}
Dans 51-pgsql.conf/, créer le fichier 51-pgsql.conf, et y mettre :
{{{
# Fichier géré par BCFG2. Ne pas modifier localement
# On log tout dans la base pgsql, sauf si on plante, auquel cas on fait de la magie, comme proposé sur
# http://www.rsyslog.com/doc/rsyslog_reliable_forwarding.html
$ModLoad ompgsql # Module d'envoi des logs à la base de donnée postgresql
$WorkDirectory /var/spool/rsyslog/ # Dossier de travail pour le serveur.
# En cas de plantage de postgres, ou d'arrêt de rsyslog, on met en RAM (puis dans des fichiers
# temporaires, si la RAM est sollicitée au delà d'une limite "inconnue", placés dans le
# répertoire de travail /var/spool/rsyslog) ce qui doit être envoyé à postgres quand il sera
# joignable à nouveau
$ActionQueueType LinkedList # Mode de travail asynchrone pour la mise en attente
$ActionQueueFileName syslogfwd # Définit le nom des fichiers temporaires créés en cas de problème
$ActionResumeRetryCount -1 # Si l'envoi vers le destinataire standard foire, on réessaye un peu plus tard, indéfiniment.
$ActionQueueSaveOnShutdown on # Balance le contenu de la RAM dans un fichier en cas d'arrêt de rsyslog.
*.* :ompgsql:localhost,Syslog,rsyslog,otmLczDw0EeZ; # Balance la sauce dans postgres
#On ne loggue plus dans les fichiers ce qui ne concerne pas le serveur local.
:fromhost, !isequal, "ragnarok" ~
}}}
Dans 52-listen_relp.conf/ créer le fichier 52-listen_relp.conf, et y mettre les lignes suivantes :
{{{
# Fichier géré par BCFG2. Ne pas modifier localement
$ModLoad imrelp # Module de réception RELP
$InputRELPServerRun 20514 # Port d'écoute
}}}
Dans 53-listen_switches.conf/, créer le fichier 53-listen_switches.conf, et y mettre :
{{{
# Fichier géré par BCFG2. Ne pas modifier localement
# Réception en udp: pour les switchs seulement
$ModLoad imudp # Module de réception UDP
$UDPServerRun 514 # Port d'écoute
$AllowedSender UDP, 127.0.0.1, *.adm.crans.org, 10.231.136.0/24 # On fait la liste des domaines et ip autorisés à envoyer des logs.
}}}
Dans /Bundler/, créer le fichier rsyslog.xml, et le remplir comme suit :
{{{
<Bundle name="rsyslog" version="2.0">
<Service name="rsyslog"/>
<Group name="rsyslog-server">
<ConfigFile name="/etc/rsyslog.d/52-listen_relp.conf"/>
<ConfigFile name="/etc/rsyslog.d/53-listen_switches.conf"/>
<ConfigFile name="/etc/rsyslog.d/51-pgsql.conf"/>
<Package name="rsyslog-pgsql"/>
<Directory name="/var/spool/rsyslog"/>
</Group>
<Group name="rsyslog-client">
<Group name="rsyslog-server" negate="true">
<ConfigFile name="/etc/rsyslog.d/50-send_relp.conf"/>
<Action name="rsyslog-clean-sendrelp" />
<Directory name="/var/log/spool"/>
</Group>
</Group>
<Package name="rsyslog-relp"/>
</Bundle>
}}}
Dans /Metadata/, modifier le fichier groups.xml, on va modifier le groupe "ragnarok" pour commencer, chercher dans le fichier l'occurence 'Group name="ragnarok"', et y ajouter la ligne :
{{{
<Group name="rsyslog-server"/>
}}}
Maintenant, on modifie le groupe "crans-common", chercher l'occurrence 'Group name="crans-common"', et y ajouter la ligne (là où il faut, histoire que le fichier reste lisible...) :
{{{
<Group name="rsyslog-client"/>
}}}
Dans la portion services du fichier, dans la catégorie divers, rajouter deux nouveaux groupes :
{{{
<Group name="rsyslog-server"
comment="Serveur de centralisation des logs">
<Bundle name="rsyslog"/>
</Group>
<Group name="rsyslog-client"
comment="Serveurs qui ne centralisent pas les logs (cpt Obvious inside)">
<Bundle name="rsyslog"/>
</Group>
}}}
Enfin, dans /Rules/rules.xml, on rajoute ce qui suit :
{{{
<Group name="rsyslog-server">
<Directory name="/var/spool/rsyslog" owner="root" group="adm" perms="0750"/>
</Group>
<Group name="rsyslog-client">
<Group name="rsyslog-server" negate="true">
<Directory name="/var/log/spool" owner="root" group="adm" perms="750"/>
</Group>
</Group>
}}}
À partir de là normalement, on peut enregistrer la configuration, et c'est terminé !
Penser à faire add sur les nouveaux fichiers avant de faire un record et de pousser.
== Pour les bornes wifi ==
En raison de la limitation du firewall, les bornes wifi envoient leurs logs au routeur wifi {{{gordon}}}. Ceci se réalise en redémarrant {{{syslogd}}} sur les bornes via la commande:
{{{
killall syslogd; syslogd -R 138.231.148.1 -C16
}}}
Il serait envisageable, dans le futur, d'inclure cette configuration par défaut: en rajoutant les directives suivantes dans {{{/etc/config/system}}} (catégorie {{{config}}})
{{{
option log_ip 138.231.148.1
option log_type file
option log_file /dev/null
}}}
{{{gordon}}} doit de plus être configuré pour recevoir ces logs UDP:
{{{
$ModLoad imudp
$UDPServerRun 514
$AllowedSender UDP, 127.0.0.1, 138.231.148.0/24
}}}
Ce dernier les transmet alors à {{{ragnarok}}} de la même manière que ses propres logs.
----
CatégorieCrans CatégorieCrans/LesServeurs