Hadoop

Hello,

pas testé non, mais intéressé par un retour d'expérience. Pour ma part j'ai commencé à jouer avec l'aspect stockage du «Big Data» via RadosGW essentiellement.
Coté BDD, je commence tout juste à jouer avec CouchBase (CouchDB), mais il n'y a pas de sharding. T'as la réplication, une très forte tolérance aux pannes, le côté MapReduce, mais en l'absence de sharding j'ai un doute sur les gros volumes de données.

Pour moi c'est un ensemble de technos / tendances qui s'orientent faire la «scalabilité extrême». C'est à dire des technos qui sont pensées avant tout pour tourner sur des dizaines / centaines de serveurs (voir plus), afin de s'affranchir des problèmes de capacité / puissance des solutions habituelles.

Coté stockage par exemple, avec RadosGW tes fichiers sont éparpillés sur des dizaines de disques différents, pour permettre d'encaisser n'importe quel trafic (tant que le portefeuille suit), et l'accès se fait via une simple API Rest.
Avec ça, tu stockes facilement des To et des To, sans te poser de question.

Coté BDD du coup ça tourne beaucoup autour de principes comme MapReduce qui permet de répartir le travail d'un "SELECT" sur des dizaines de process/CPU/serveurs, afin d'avoir des temps de réponse de dingue, alors que tu interroges une BDD de plusieurs centaines de To quoi.

C'est le genre de technos qu'on retrouve derrière Google, Twitter, Amazon (AWS), Facebook, ou Qwant . Et OVH mise tout là dedans ces derniers temps.

C'est aussi une autre approche au problème de tolérance aux pannes, qui du coup concerne beaucoup plus de monde.

Maintenant en plus petit, sur Oogolo avec quelques dizaines de Go de BDD on a certaines requêtes SQL qui prennent 1 à 2 secondes, et qui profiteraient probablement de ce genre de technos.

Oui, c'est ça, je pense que c'est profitable a partir de quelques dizaines ou centaines de Go déjà. Le gros avantage c'est vraiment la scalabilité sans se poser les questions qui arrivent quand tu dois par toi meme aller répartir dans 2, 3 ou 10 serveurs tes données pour que ça tienne. C'est bien gentil de scinder les tables par centaines mais on peut pas le faire pour tout selon ce qu'on fait avec et quand on peut c'est chiant

Avec Hadoop par exemple, apparemment tu te fais vraiment plus du tout chier avec ça. Tu manques de place ? T'ajoutes une machine et hadoop s'occupe de répartir toutes les données sur toutes les machines actives, avec redondances. Les requetes sont trop longues ? Pareil t'ajoute une machine. Et coté dev, tu changes rien, tu interroges le serveur master qui sait ou sont stockées les données et fait faire les calculs aux bons endroits.

Pour l'instant, ça me semble assez abstrait avec un petit côté "magique", mais pourquoi pas, il y en a qui ont du réussir à faire les choses comme il faut !

As-tu demandé conseil sur Hadoop auprès de quelques acteurs du domaine comme Pivotal par exemple ?
http://www.gopivotal.com/big-data/pivotal-hd