J’ai le plaisir de vous souhaiter une bonne et heureuse année 2011 avec Kelio
Merci à tous pour votre confiance !

Et pour fêter cela, j’ai l’immense plaisir de vous informer que nous avons activement travaillé sur la plateforme d’hébergement depuis novembre 2010 pour la stabiliser un maximum.
Cela résulte d’un uptime de 100%* pour le mois de décembre ! C’est-à-dire que le serveur était accessible tout le temps !

Certains le savent, ces six derniers mois, nous avions de nombreux problèmes de crashs due à un manque de mémoire virtuelle (lors des pointes de visites) et cela occasionnait ces coupures pouvant atteindre plusieurs heures.

Que la santé soit avec vous !

* contrôle de l’accessibilité effectué toutes les 5 minutes.

Ce sujet n’a rien à voir avec Kelio à proprement parlé.
Toutefois certains le savent, nous souhaitons migrer de la solution de virtualisation « OpenVZ » à « VMware ESXi ».

Pour l’entreprise où Vinux et moi mêmes sommes employés, j’ai eu à écrire un script de sauvegarde de VM à chaud pour économiser le cout d’une licence « Sauvegarde VCB » du logiciel Bakbone NetVault.
Aussi, j’ai écris un script en BASH permettant de sauvegarder et compresser les VM avant de les envoyer dans un dossier, le tout sans interruption de service !

L’idée de base étant d’installer un agent NetVault sur le « service console » de ESX qui se chargera de sauvegarder le tout.
Toutefois, il est tout à fait possible de faire un montage NFS, CIFS dans un dossier ; Et donc de sauvegarder les données sur un autre serveur.

Commencez par créer /opt/backup-vm.sh

#!/bin/bash
 
#Copyright (C) 2010 Mercier Benjamin
#This program is free software; you can redistribute it and/or modify
#it under the terms of the GNU General Public License as published by
#the Free Software Foundation; either version 2 of the License, or
#(at your option) any later version.
#This program is distributed in the hope that it will be useful,
#but WITHOUT ANY WARRANTY; without even the implied warranty of
#MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
#GNU General Public License for more details.
#You should have received a copy of the GNU General Public License along
#with this program; if not, write to the Free Software Foundation, Inc.,
#51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA.
SOURCE=/vmfs/volumes/ISCSI-datastore
DESTINATION=/vmfs/volumes/ISCSI-datastore/backups
DATE=`date "+%F"`
SERVEUR=`hostname`
 
echo ""
echo "Script de backup des VM a chaud"
echo "Par Benjamin Mercier <bmercier@teclib.com>"
echo "Celui-ci fait une copie à chaud dans un dossier des VMs"
echo "Serveur : $SERVEUR"
echo "Datastore : $SOURCE"
echo "Datastore de backup : $DESTINATION"
echo
 
echo "Serveur ESX primaire. Suppression des VMs du répertoire de déstination" > /tmp/backup-vm.log
rm -Rfv $DESTINATION/* 2>&1 >> /tmp/backup-vm.log
echo "Suppression terminée" >> /tmp/backup-vm.log
echo "" >> /tmp/backup-vm.log
 
for MACHINE in $(ls $SOURCE)
do
        if [[ "$MACHINE" =~ 'srv-' ]]; then
                echo  -n "Backup de la machine $MACHINE "
                TEST_REGISTERED=$(vmware-cmd -l | grep $MACHINE | wc -l)
                if [ -e $SOURCE/$MACHINE/$MACHINE.vmx ] && [[ $TEST_REGISTERED -eq 1 ]]; then
                        echo "" >> /tmp/backup-vm.log
                        echo "Machine virtuelle : $MACHINE" >> /tmp/backup-vm.log
 
                        echo -n '. '
                        vmware-cmd $SOURCE/$MACHINE/$MACHINE.vmx createsnapshot "BackupScript" "Snapshot de backup." 1 1 2>&1 >> /tmp/backup-vm.log
                        echo -n '. '
 
                        echo -n '. '
                        tar czvf $DESTINATION/$MACHINE.tar.gz $SOURCE/$MACHINE --exclude '*.vswap*' --exclude '*.vmsn*' 2>&1 >> /tmp/backup-vm.log
                        echo -n '. '
 
                        echo -n '. '
                        vmware-cmd $SOURCE/$MACHINE/$MACHINE.vmx removesnapshots 2>&1 >> /tmp/backup-vm.log
                        echo -n '. '
 
                        echo '. [terminé]'
                else
                        echo '. [ESX non propriétaire de cette VM]'
                fi
        fi
done

Vous prendrez soin de renseigner changer vos chemins ; Et vous pourrez aussi ajouter un contrôle des points de montage si vous effectuez la sauvegarde sur un serveur distant.
Sachez aussi que la sauvegarde ne sera effective que pour les VMs gérés par le serveur. Si vous avez trois serveurs ESX, vous devrez avoir un agent par serveur.

Editez le fichier /etc/crontab :

vim /etc/crontab
 
# Rendez executable le script :
chmod +x /opt/backup-vm.sh
 
# Ajouter à la fin :
01 4 * * 2 root /opt/backup-vm.sh 2>1 > /dev/null
 
# Redémarrez Cron
/etc/init.d/cron restart

Cela pourra peut être rendre service à certains.

Depuis une semaine, notre hyperviseur « Lisa.loopiz.net » connait des soucis.
Cela impacte les envois par FTP ainsi que les uploads via PHP.

Nous travaillons activement pour résoudre ce soucis.

D’après nos premiers diagnostics, ces erreurs pourraient provenir d’une ram défectueuse ou d’un problème Kernel.

Vous serez tenu informé par ce ticket.

Attention ! Aucune validation de compte ne sera plus effectuée jusqu’à la résolution de ce bug.

Merci de votre compréhension

Edit  au 18 octobre : J’ai le plaisir de vous informer que vous avons résolu le problème, que vous pouvez désormais uploader vos données correctement et que les comptes en attente vont êtres validés

Nous avons envoyé les premiers emails d’avertissement de dépassement de quota hier soir.

Si vous avez reçu un email mais que vous ne pouvez pas revenir sous la barre des 200Mo d’espace utilisé, n’hésitez pas à prendre contact avec nous pour que nous vous mettions sur une offre temporaire permettant d’utiliser plus d’espace

En parlant d’emails.. On a aussi été touché chez Kelio

…

Ceci est un message envoyé par Kelio.org – Hébergeur indépendant et libre.
—————————————————————————
Bonjour,

Votre quota d’espace a été dépassé et votre site peut se voir suspendu si cette situation n’est pas corrigé rapidement.

Si vous avez besoin de plus d’espace, veuillez prendre contact avec nous afin d’étudier vos projets.

Veuillez prendre contact avec nous, si vous souhaitez avoir plus d’informations à ce sujet.
* Votre compte : kelio
* L’espace utilisé par votre compte : 271.97Mo
* L’espace auquel vous avez droit : 200 Mo
* Date d’envoi : 25-08-2010 à 21:21

—————-
Vous pouvez répondre directement à cet email.
Pensez à conserver la référence de ce message.
Info facultative :  - [Réf.1282764102]
—————-

Mais encore…

Ceci est un message envoyé par Kelio.org – Hébergeur indépendant et libre.
—————————————————————————
Bonjour,

Votre quota d’espace a été dépassé et votre site peut se voir suspendu si cette situation n’est pas corrigé rapidement.

Si vous avez besoin de plus d’espace, veuillez prendre contact avec nous afin d’étudier vos projets.

Veuillez prendre contact avec nous, si vous souhaitez avoir plus d’informations à ce sujet.
* Votre compte : mogui
* L’espace utilisé par votre compte : 2941.61Mo
* L’espace auquel vous avez droit : 200 Mo
* Date d’envoi : 25-08-2010 à 21:21

—————-
Vous pouvez répondre directement à cet email.
Pensez à conserver la référence de ce message.
Info facultative :  - [Réf.1282764103]
—————-

You are not alone

Aujourd’hui, j’écris un billet pour vous donner quelques informations concernant la validation des comptes.

Lors de mes recherches pour voir ce qui se dit sur Kelio, je suis tombé sur divers posts de gens ne souhaitant pas s’inscrire à cause de la description du projet.
Ou encore des gens « pleurant » car leurs sites se sont vu refusés.

Chez Kelio, nous ne jugeons pas les projets ! Ceux-ci peuvent avoir n’importe quel sujet, du moment que celui-ci est légal et qu’il ne nous fera pas fermer

J’ai validé beaucoup  de projets qui me semblaient sans avenir ; Je ne décide pas. Je ne suis pas là pour ça.
Chacun à droit d’avoir son espace personnel, même si le site web est ridicule.

Afin d’optimiser vos chances d’être accepté, donnez simplement une description complète, ou au moins une description que nous puissions comprendre et interpréter.
Mauvais exemples :

• C mon sit de voiture
• Je veux faire un site pour héberger un forum comme telechargementz et de films

Bon exemples :

• Bonjour, je souhaite héberger un site sur les photos de mon voyage à Los Angeles l’été dernier. Les photos seront lourdes (environ 20mo/pièce), j’éspère que cela ne vous dérangera pas. Merci, Bien cordialement Monsieur Gerard
• Mon site existe déja, c’est http://google.fr, j’ai besoin d’un nouvel hébergement car l’hébergeur ICG ne suffit plus, et je ne souhaite pas payer 25e par mois.
• Hébergement d’un site sur mon équipe de jeux, Counter Strüke 1.12. Ma team se nomme « Les bronzés font du Counter »
• Je veux créer un site personnel, il contiendra un portefolio, des photos, des scripts, des tutoriels
• Site de tutorials comme le site du zero
• J’veu créé un site sur la rancontrre de ma main et la main de jak chiraq

J’espère que ces exemples vous aideront à réaliser une description correcte.
Vous pouvez le voir, nous ne demandons pas de « vraies descriptions » complète comme certains hébergeur.

A présent, vous n’aurez plus de raisons pour voir votre projet refusé

PS : Merci aux gens qui ont mis un petit mot gentil pour l’équipe à la fin de la description du projet !

Encore un grand merci à Germain qui s’occupe des designs Kelio depuis le début de l’aventure !!

Notez que le visuel met en scène celui-ci sur le panel 0.9.0, mais il sera aussi sur notre site kelio.asso.fr

Nouveau design, sur le panel

]]> http://blog.kelio.asso.fr/2010/02/05/vous-y-croyez-vous/feed/ 3 http://blog.kelio.asso.fr/2010/01/09/08/ http://blog.kelio.asso.fr/2010/01/09/08/#comments Fri, 08 Jan 2010 23:20:43 +0000 Mogui http://blog.kelio.asso.fr/?p=80 Bonjour à tous !

L’ensemble de l’équipe Kelio vous souhaite tous ses meilleurs vœux !

Pour bien commencer l’année, voici une petite capture de la prochaine version du panel Kelio.
Celui-ci intègre une fonction qui manque depuis les débuts de Kelio. A vous de la trouver

Notez que vous pouvez deja retrouver les tables sur notre site de développement.

• Un redirecteur, qui se charge de rediriger les requêtes HTTP, FTP, MySQL, POP, IMAP SMTP vers les serveurs appropriés. Celui-ci aura l’adresse IP de Kelio actuelle,
• Deux serveurs WEB destinés exclusivement au traitement des requêtes HTTP (Apache pour les connaisseurs).
• Un serveur DNS, NFS (disque dur réseau), MySQL, Mail.

Par la suite seront rajoutés en plus :

• Deux serveurs DNS, un primaire, et un second pour prendre le relai du premier en cas de panne,
• Un serveur résersé au calcul des statistiques (et du trafic),
• Deux serveurs MySQL, un principal, et un second en cas de panne du premier (avec réplication),
• Deux serveurs NFS, un principal et un second en cas de panne du premier (aussi avec réplication).
• Un à deux serveurs MAIL (POP, IMAP, SMTP) en fonction de la charge de ceux-ci.

Bien sûr, cela dépendra de la santé des finances de l’association.

Le développement du KelioPanel V2 risque de prendre 1 a 2 ans si nous voulons le coder de manière sérieuse.
Seulement, nous ne désirons pas attendre autant de temps pour la mise en place de l’infrastructure.

La nouvelle infrastructure nous permettrait de désactiver le safe_mode de PHP, et éventuellement d’ajouter de nouveaux langages tels Python, Perl.
De plus, la charge serait répartie entre les serveurs, permettant ainsi d’assurer la pérennité des services.

Les adhérents de l’association auraient en plus droit à un accès SSH afin de gérer leurs fichiers.

Qu’en pensez-vous ? Cela vaut-il la peine d’être mis en place ? Cela vous arrangera t’il ?

Mise à jour : Le problème est résolu. Celui-ci provenait d’un bug du bios de la carte mère, corrigé avec le passage à la dernière version de celui-ci.

Vous avez surement dû le remarquer ces derniers temps, Kelio est devenu particulièrement instable.
Cela provient de la nouvelle machine que nous avons mis en production le 18 septembre.

Depuis environ 2 semaines, la machine tombe régulièrement et il est impossible d’y accéder.
Pour relancer la machine, il faut la redémarrer via une coupure de courant ou le bouton on/off de la carte mère.
Celle-ci plantait une fois par jour environ, mais cela s’intensifie avec maintenant 2 plantages chaque journée.

Bien sûr, nous ne gardons pas les bras croisés :

• Multiples réglages dans le bios de la carte mère,
• Mise à jour du bios pour le dernier en date,
• Vérification de la mémoire via Memtest V4,
• Changement des connexions sur la carte mère,
• Vérification de l’alimentation,
• quelques autres petits tests.

Lors de nos interventions au datacenter, l’écran restait simplement noir, ce qui laissait présager un problème de carte mère.
Seulement aujourd’hui, l’écran laissait voir un kernel panic.

Aussi, nous avons changé le kernel de la machine pour un autre.
Il n’y a plus qu’à espérer que cela règle le problème.

Kernel panic sur lisa (la machine hebergeant Kelio)

Nous vous remercions pour votre patience et votre compréhension.

P.S. : Le billet sera mis à jour au fur et à mesure de nos investigations.

Mais depuis le 28 septembre, un nouveau script est en place et répond parfaitement à la tâche !

Dans nos recherches, nous sommes tombé sur ce site qui proposait un petit script écrit en BASH permettant de créer une ou plusieurs sauvegardes par jour, le tout en minimisant l’espace grâce à l’utilisation des inodes, plutôt que de copier bêtement les fichiers.
Pour simplifier, plutôt que de copier simplement le fichier, il fait un « lien » hard vers celui-ci. Si le fichier venait à être supprimé depuis la première sauvegarde, il ne le serait pas réellement car un autre lien l’utilise.
Ainsi, on se retrouve avec plusieurs liens pour le même fichier.

Nous avons adapté celui-ci afin qu’il ne puisse fonctionner une seule fois simultanément par l’ajout d’un .lock.
Ce .lock est créé au début de l’exécution du script et supprimé à la fin.
Si une autre instance tombe dessus, cela veut dire que le premier script n’a pas terminé son exécution.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56

#!/bin/sh
# Source du backup
# Notez ici, qu'il est possible de faire un backup distant, il suffit simplement de faire de la manière suivante :
# SRV=utilisateur@serveur:/dossier/a/copier
SRC=/vz/private/103/var/www/web
# Destination du backup
DST=/var/backups/103/web
# Date de la forme année-mois-jour-timestamp
# (le timestamp %s sert si on veut faire plusieurs sauvegardes dans la même journée)
DATE=`date +%Y-%m-%d_%H-%M-%S_%s`
 
if [ -e $DST/web.lock ]; then
	echo "Sauvegarde deja lancée"
	exit 0;
fi
 
touch $DST/web.lock
 
# Création du répertoire temporaire
mkdir $DST/tmp
 
echo "Backup commencé le "`date "+%d/%m/%Y à %T"`
echo "Starting : "`date "+%Y-%m-%d %T"` >> $DST/log
echo "Copie de la dernière sauvegarde..."
 
# Si une sauvegarde a déjà été faite précédemment
if test -d $DST/today ; then
    # Et si le fichier contenant la date de la dernière sauvegarde existe
    if test -f $DST/last_date ; then
 
        LASTDATE=`cat $DST/last_date`
        # Alors on fait un copie en hardlinks de la sauvegarde d'hier
        cp -al $DST/today $DST/tmp/
        # Puis on renomme la copie pour qu'elle devienne la sauvegarde d'hier
        mv $DST/tmp/today $DST/$LASTDATE
 
    fi
 
# Sinon, on crée le premier dossier
else
    mkdir $DST/today
fi
 
rm -rf $DST/tmp
# On sauvegarde la date actuelle pour le prochain backup
echo $DATE > $DST/last_date
 
echo "Synchronisation de la sauvegarde du jour..."
 
# Synchronisation de la source avec le dossier du jour
rsync -az --delete --size-only $SRC/ $DST/today/
 
rm $DST/web.lock
 
echo "Backup terminé le "`date "+%d/%m/%Y à %T"`
echo "Done : "`date "+%Y-%m-%d %T"` >> $DST/log

Le script ci-dessus génère le résultat suivant :

lisa:/var/backups/103/web# l
total 752
drwxr-xr-x 2794 9500 9500 94208 sep 17 12:05 2009-09-28_20-52-59_1254163979
drwxr-xr-x 2794 9500 9500 94208 sep 17 12:05 2009-09-28_22-12-40_1254168760
drwxr-xr-x 2794 9500 9500 94208 sep 17 12:05 2009-09-28_23-30-02_1254173402
drwxr-xr-x 2794 9500 9500 94208 sep 17 12:05 2009-09-29_00-01-01_1254175261
drwxr-xr-x 2794 9500 9500 94208 sep 17 12:05 2009-09-29_06-01-01_1254196861
drwxr-xr-x 2794 9500 9500 94208 sep 17 12:05 2009-09-29_12-01-01_1254218461
drwxr-xr-x 2794 9500 9500 94208 sep 17 12:05 2009-09-29_18-01-01_1254240061
-rw-r--r--    1 root root    31 sep 30 00:17 last_date
-rw-r--r--    1 root root   464 sep 30 00:24 log
drwxr-xr-x 2794 9500 9500 69632 sep 17 12:05 today

Vous pouvez voir le dossier « today », qui contient la dernière sauvegarde ainsi que la date exacte et le timestamp pour les sauvegardes précédentes.

Attention, toutefois ce script ne supprime pas les anciennes sauvegardes, il faut le faire à la main (ou coder la fonction, ce que je ferai prochainement )
Cependant, le fait de faire des liens hard vous économisera au final une place non négligeable.
Exemple : Actuellement, nos données web pèsent 70Go, et pour 8 sauvegardes nous utilisons 75Go d’espace.

Au niveau du temps de copie, la première sauvegarde est longue, mais les suivantes sont plus rapide. Nous avons besoin de 14 minutes (pour les 70Go), le temps de créer l’ensemble des liens hard, et de rapatrier les nouvelles données.

En espérant que ce script puisse vous servir à vous aussi
Merci à Skreo pour le script original.