Cache de fichier multi serveur - gluster

8 réponses
AuteurMessage

krucial |
Administrateur

Photo de krucial

Inscrit le : 09/03/2005

# Le 11/12/2007 à 16:00

Saut a tous.

Voila je suis confronté a un petit probleme technique et je demande l'avis de vous tous pour essayer de choisir la meilleure solution.

J'ai un site que je veux load balancer entre plusieurs machines A, B, C et D. Les machines B, C et D seront des copies conformes de A, les fichiers seront mis a jour par rsync.

Seulement voila. Le site en question utilise beaucoup de cache "fichier". Lors d'une requete, on regarde si le fichier de cache de la page existe. Si oui, on l'affiche, sinon, on le genere.

Mon probleme est que ce systeme de cache prends pas mal de place sur le disque (750Mo) et donc, beaucoup de fichiers.

J'ai testé de dispatcher ce repertoire de cache sur les autres machines B, C et D via rsync. Vu la masse de fichier, ca charge un peu inutilement les machines. Et puis, si un jour j'ai 20 machines, je les vois mal faire toutes du rsync en meme temps ...

J'ai absolument besoin que ce systeme de cache soit centralisé. Je veux pouvoir supprimer n'importe quel fichier en cache et que celui-ci soit supprimé sur tous les serveurs dans la minute.

Avez-vous deja mis en place un tel systeme et si oui, comment avez-vous fait ? Que me conseillez vous ?

(Message édité le 14-12-2007 à 13h02 par krucial)

JC - Mes sitesOuvrir dans une nouvelle fenetre | Affiliation devis travauxOuvrir dans une nouvelle fenetre | Cotes voitures anciennesOuvrir dans une nouvelle fenetre

Bool | Olivier
Modérateur

Photo de Bool

Inscrit le : 09/05/2005

# Le 11/12/2007 à 16:10

Hello,

et bien "memcached" sert à ça justement ; je ne l'ai pas vraiment utilisé pour un système de cache jusqu'à maintenant (uniquement pour les sessions PHP) mais les quelques tests que j'ai fait sont assez bluffant.

Pour ce qui est du problème du volume, il y aurait deux solutions :
- la compression / décompression à la volée
- un autre projet dont j'ai oublié le nom, développé par/pour Wikipedia, qui est un "fork" de memcached mais qui gère également le stockage sur disque

A voir aussi les solutions du genre "GlusterFS", bien que je n'ai toujours pas testé. Dans tous les cas, pas NFS

S'il existe d'autres solutions, je suis également preneur...

daevel : infogérance et conseilOuvrir dans une nouvelle fenetre || moiOuvrir dans une nouvelle fenetre

krucial | Jean Christophe
Administrateur

Photo de krucial

Inscrit le : 09/03/2005

# Le 11/12/2007 à 16:33

Je viens de voir memcached. Ca a l'air sympa ! GlusterFS ca a l'air over simple aussi ...

Apres quelques tests, mon systeme de cache charge le machines plus qu'il ne les soulage ... a revoir donc

Je crois que deja, je vais tenter d'optimiser un peu mieux le cache SQL. Ensuite, pourquoi pas essayer memcached.

Pour NFS, j'ai tenté etant plus jeune. Non merci

Merci bool

JC - Mes sitesOuvrir dans une nouvelle fenetre | Affiliation devis travauxOuvrir dans une nouvelle fenetre | Cotes voitures anciennesOuvrir dans une nouvelle fenetre

MathieuC | Mathieu
Modérateur

Photo de MathieuC

Inscrit le : 15/07/2005

# Le 11/12/2007 à 16:40

Pareil, memcached, on l'utilise pas mal et c'est extremement performant

krucial | Jean Christophe
Administrateur

Photo de krucial

Inscrit le : 09/03/2005

# Le 14/12/2007 à 13:04

Je viens d'installer glusterfsd sur une machine, glusterfs sur une autre. Le daemon charge le cpu a 15% en moyenne. Le client varie avec des pointes a 15%. Le "serveur" load un peu je trouve. Je me demande ce que ca va donner avec 10 machines.

Berf, moyen.

JC - Mes sitesOuvrir dans une nouvelle fenetre | Affiliation devis travauxOuvrir dans une nouvelle fenetre | Cotes voitures anciennesOuvrir dans une nouvelle fenetre

Rano | Jean
Modérateur

Photo de Rano

Inscrit le : 13/04/2005

# Le 14/12/2007 à 13:25

Quelles différences entre memcache et eAccelerator ?

Chambres d'hote tavelOuvrir dans une nouvelle fenetre
Séjours en provenceOuvrir dans une nouvelle fenetre
Forum mariageOuvrir dans une nouvelle fenetre

Bool | Olivier
Modérateur

Photo de Bool

Inscrit le : 09/05/2005

# Le 14/12/2007 à 14:05

Ouki kru, pas glop quoi :/



Rano si tu parles de l'API d'eAccelerator permettant le stockage en mémoire, alors parmis les principales différences il y a :
- la possibilité d'accès via réseau pour memcache
- memcache est adapté aux gros volumes de données
- la gestion des verrous entre l'un et l'autre peut etre très différente => à voir

Et si tu ne parlais pas de cette API, bah... il n'y a rien en commun

daevel : infogérance et conseilOuvrir dans une nouvelle fenetre || moiOuvrir dans une nouvelle fenetre

Rano | Jean
Modérateur

Photo de Rano

Inscrit le : 13/04/2005

# Le 14/12/2007 à 14:24

Oui pardon, je parlais de l'API eAccelerator qui stocke en ram
Okay, pas mal l'accés réseau...

Merci

Chambres d'hote tavelOuvrir dans une nouvelle fenetre
Séjours en provenceOuvrir dans une nouvelle fenetre
Forum mariageOuvrir dans une nouvelle fenetre

Rano | Jean
Modérateur

Photo de Rano

Inscrit le : 13/04/2005

# Le 15/12/2007 à 09:16

Efficache memcache

Par contre, il me manque un truc que je ne trouve pas :/ Y a t'il un moyen d'interroger memcached pour obtenir la liste des clés ?

Edit : y a pasOuvrir dans une nouvelle fenetre

(Message édité le 15-12-2007 à 09h21 par Rano)

Chambres d'hote tavelOuvrir dans une nouvelle fenetre
Séjours en provenceOuvrir dans une nouvelle fenetre
Forum mariageOuvrir dans une nouvelle fenetre

Répondre

Vous ne pouvez pas participer au forum, car votre inscription n'a pas été validée. Pour vous faire valider en tant que Membre, cliquez ici.

© MHN - Tous droits réservés | CNIL N°844440 | 24/11/2024 14:24:26 | Généré en 6.33ms | Contacts | Mentions légales |