mySQL cluster : qqu a essayé ?

18 réponses
AuteurMessage

krucial |
Administrateur

Photo de krucial

Inscrit le : 09/03/2005

# Le 01/06/2006 à 10:49

Salut

Je voulais savoir si quelqu'un ici avait deja essayé de mettre en place un cluster mySQL, et si oui, si il a des astuces ou techniques sympas.

Merci

<hs>comment je suis poli, "salut" et "merci" et tout</hs>

JC - Mes sitesOuvrir dans une nouvelle fenetre | Affiliation devis travauxOuvrir dans une nouvelle fenetre | Cotes voitures anciennesOuvrir dans une nouvelle fenetre

Fred | Frédéric
Modérateur

Photo de Fred

Inscrit le : 09/05/2005

# Le 01/06/2006 à 10:58

"Salut" c'est un peu cavalier, quand même.

"Le bois ne rend pas les coups"

LePhasme | Guillaume
Membre

Photo de LePhasme

Inscrit le : 09/05/2005

# Le 01/06/2006 à 10:59

<mode HS>Comment je sens déja que le topic va partir en sucette...</mode HS>

Paris Apartments RentalsOuvrir dans une nouvelle fenetre Avertisseur Autonome de FumeeOuvrir dans une nouvelle fenetre ViadeoOuvrir dans une nouvelle fenetre

Limit | Cyril
Membre

Photo de Limit

Inscrit le : 11/05/2005

# Le 01/06/2006 à 11:01

Il faut que ta base soit petite étant donné que c'est stocké en ram. Il est prévu une version sur disque pour plus tard

Forum GratuitOuvrir dans une nouvelle fenetre - Blog gratuitOuvrir dans une nouvelle fenetre

MathieuC | Mathieu
Modérateur

Photo de MathieuC

Inscrit le : 15/07/2005

# Le 01/06/2006 à 11:51

Perso les ressource materielles necessaires me paraissent vraiment trop importantes.

Et ne l'ayant jamais vu fonctionner, je reste perplexe sur la capacite du truc a prendre 400 req / seconde (ce qu'on fait par exemple en moyenne, alors en pointe...) tout en restant coherent sur tous les nodes du cluster, et le tout en transactionnel Je serais curieux de voir ca un jour

krucial | Jean Christophe
Administrateur

Photo de krucial

Inscrit le : 09/03/2005

# Le 01/06/2006 à 12:03

Je vais essayer de voir de mon coté.

JC - Mes sitesOuvrir dans une nouvelle fenetre | Affiliation devis travauxOuvrir dans une nouvelle fenetre | Cotes voitures anciennesOuvrir dans une nouvelle fenetre

Bool | Olivier
Modérateur

Photo de Bool

Inscrit le : 09/05/2005

# Le 01/06/2006 à 12:31

d'après ce que j'ai lu il y a une forte latence, dépendant surtout du matos réseau : genre toutes les requètes mettraient minimum 500ms... Par contre en théorie le gros avantage c'est que même avec 10'000 req/s elles mettent le même temps.... enfin... en théorie hein.

En tous cas je ne suis pas encore séduit, ne serait ce qu'à cause des incompatibilités techniques.

Sinon pour répondre à la question, dans les dernières news de Nexen.net, il y a quelques conseils de Mr Wikipedia sur MySQL Cluster.

daevel : infogérance et conseilOuvrir dans une nouvelle fenetre || moiOuvrir dans une nouvelle fenetre

krucial | Jean Christophe
Administrateur

Photo de krucial

Inscrit le : 09/03/2005

# Le 01/06/2006 à 13:31

Les latences, c'est juste pour les insert/update ou aussi pour les select ?

Vous verriez d'autres solutions ?

JC - Mes sitesOuvrir dans une nouvelle fenetre | Affiliation devis travauxOuvrir dans une nouvelle fenetre | Cotes voitures anciennesOuvrir dans une nouvelle fenetre

Bool | Olivier
Modérateur

Photo de Bool

Inscrit le : 09/05/2005

# Le 01/06/2006 à 13:50

Les données étant déportées sur d'autres machines, c'est aussi pour les SELECT.

Afin d'optimiser le cache des serveurs frontaux, ils conseillent d'ailleurs de ne pas faire de load balancing mais plutôt d'essayer de séparer les frontaux par groupes... Dans le cas de wikipedia, ils ont séparé par langue, par exemple.

daevel : infogérance et conseilOuvrir dans une nouvelle fenetre || moiOuvrir dans une nouvelle fenetre

Rano | Jean
Modérateur

Photo de Rano

Inscrit le : 13/04/2005

# Le 01/06/2006 à 13:52

C'est ce que j'avais prévu aussi pour ClickInText. Là ca tient bien encore avec 2Go de ram et 600 req / secondes sur P4 3Ghz. Et quand ca tiendra plus, au lieu de prendre un serveur plus gros, je pense qu'on en prendra un équivalent et que je dédierai chaque serveur pour certaines tables / taches.

Chambres d'hote tavelOuvrir dans une nouvelle fenetre
Séjours en provenceOuvrir dans une nouvelle fenetre
Forum mariageOuvrir dans une nouvelle fenetre

MathieuC | Mathieu
Modérateur

Photo de MathieuC

Inscrit le : 15/07/2005

# Le 01/06/2006 à 14:01

rano> c'est aussi la solution que j'ai retenu, je partitionne au fur et a mesure de la montee en charge, et ca marche tres bien. Moi j'ai juste la contrainte du transactionnel en plus qui fait que TOUTES les tables transactionnelles doivent etre sur le meme serveur...

Bool> merci pour ces complements d'info, donc en pratique, le cluster Mysql est meme pas immaginable si tu ne peux pas mettre tes resultats de requettes en cache Ce qui est contradictoire, car si tu peux faire du cache, je vois pas pourquoi tu serais amene a utiliser un cluster Mysql

flush | Jean-Philippe
Modérateur

Photo de flush

Inscrit le : 09/05/2005

# Le 01/06/2006 à 14:40

Savez que donne les clusters postgresql ? Ca marche ?

Sinon vous pouvez toujours vous tournez vers oracle ^^ (bonne chance ...)

@+ Jean-Philippe

Bool | Olivier
Modérateur

Photo de Bool

Inscrit le : 09/05/2005

# Le 01/06/2006 à 14:45

Je n'ai pas précisé, mais il s'agit du cache de données des serveurs MySQL frontaux, pour éviter qu'ils aient à "télécharger" systématiquement les données (ce qui éliminerait les problèmes de latence).

Le soucis c'est que dès qu'il y a la moindre modif dans une table, si un SELECT doit être fait sur un des serveurs, il y a des chances pour qu'ils doivent télécharger un gros volume de données depuis un des nodes de stockage. Et si tous les serveurs "trifouillent" sans arrêt cette même table, ils doivent sans arrêt se resynchroniser, ce qui introduit une "forte" latence.


Après tout ça pour moi ce n'est que de la théorie, c'est ce que j'ai cru comprendre des divers docs et articles en anglais que j'ai lu. J'ai donc très bien pu mal interpréter.


Sinon dans les solutions "mono machines" :
- passer sur une distribution 64bits, et avec de l'opteron (pas du Xeon, même EMT64)
- beaucoup de mémoire, pour augmenter les différents buffers de mysql
- passer à MySQL 5.1 et son partitionnement de table
- InnoDB pour les tables avec beaucoup d'écriture
- remplacer ext3 par un système de fichier plus adapté
- prendre des disques très rapides, avec une latence très faible (raptor, sata 2, ou carrément scsi 15'000 tr/min)


L'idéal étant d'identifier le problème...

daevel : infogérance et conseilOuvrir dans une nouvelle fenetre || moiOuvrir dans une nouvelle fenetre

Bool | Olivier
Modérateur

Photo de Bool

Inscrit le : 09/05/2005

# Le 01/06/2006 à 14:49

Note au passage : des sociétés proposent des solutions de clustering MySQL depuis des années hein. Il parait que ça marche très bien, mais c'est minimum 1500$ la license je crois.

- http://www.continuent.com/index.php?option=com_con...Ouvrir dans une nouvelle fenetre (la plus connue, précédemment nommée EMIC)

- http://www.goldengate.com/solutions/hpdc.htmlOuvrir dans une nouvelle fenetre (ce serait la solution adoptée par Sabre : cluster MySQL composé de 45 serveurs quadriprocesseurs 64 bits Itanium 2, équipés de 32 Go de mémoire vive chacun... )

daevel : infogérance et conseilOuvrir dans une nouvelle fenetre || moiOuvrir dans une nouvelle fenetre

Geo 113 | Geoffrey
Modérateur

Photo de Geo 113

Inscrit le : 04/05/2005

# Le 01/06/2006 à 14:56

wo

CosmixOuvrir dans une nouvelle fenetre
Rendez imprévisible l'Economie; Mentez aux sondages

krucial | Jean Christophe
Administrateur

Photo de krucial

Inscrit le : 09/03/2005

# Le 01/06/2006 à 16:45

Je crois que je vais utiliser la replication en fait, pour ce que je cherche a faire, ca va etre plus simple.

JC - Mes sitesOuvrir dans une nouvelle fenetre | Affiliation devis travauxOuvrir dans une nouvelle fenetre | Cotes voitures anciennesOuvrir dans une nouvelle fenetre

MathieuC | Mathieu
Modérateur

Photo de MathieuC

Inscrit le : 15/07/2005

# Le 01/06/2006 à 16:49

En fait comme tu nous a pas explique la problematique, nous on papotte

erwinol | Erwin
Membre

Photo de erwinol

Inscrit le : 09/05/2005

# Le 02/06/2006 à 21:00

Bool a dit :
Sinon dans les solutions "mono machines" :
- passer sur une distribution 64bits, et avec de l'opteron (pas du Xeon, même EMT64)


Pourquoi Opteron et pas Xeon ?

Bool | Olivier
Modérateur

Photo de Bool

Inscrit le : 09/05/2005

# Le 03/06/2006 à 02:05

Pour MySQL, d'après les quelques benchs que j'ai vu il y a une "énorme" différence de perfs entre l'Opteron et le Xeon EMT64 (celui ci faisant à peine mieux que la version 32bit).

Mais ceci n'est valable que dans un environnement 64bit. En 32bit je ne me suis pas vraiment renseigné, mais la différence ne doit pas être énorme.

daevel : infogérance et conseilOuvrir dans une nouvelle fenetre || moiOuvrir dans une nouvelle fenetre

Répondre

Vous ne pouvez pas participer au forum, car votre inscription n'a pas été validée. Pour vous faire valider en tant que Membre, cliquez ici.

© MHN - Tous droits réservés | CNIL N°844440 | 24/11/2024 7:03:32 | Généré en 4.62ms | Contacts | Mentions légales |