L’exploitation du Big Data requiert des compétences spécifiques en traitement de données, mais aussi en informatique et en statistiques (pour les Data Scientist). Ainsi, les entreprises désirant en profiter sont obligées de recruter des professionnels maîtrisant les différentes facettes de...
Le Big Data est devenu incontournable avec l’utilisation massive du numérique, le Big Data représente en 2014 un marché de près de 183 milliards de dollars. Tour d’horizon des différents secteurs qui tirent profit de ce marché colossal. 1....
Les données sont partout dans notre vie. Nous les créerons et nous les collectons de partout. Face à cette énorme quantité de données, il est devenu nécessaire de développer de nouveaux systèmes et de nouvelles architectures capables de les gérer...
La sortie de Hadoop 3 en décembre 2017 a marqué le début d’une nouvelle ère pour la science des données. Le framework Hadoop est au cœur de tout l’écosystème Hadoop, et diverses autres librairies en dépendent fortement. Dans cet article,...
Qu’est ce que Apache Pig? Pig est une plateforme haut niveau pour la création de programme MapReduce utilisé avec Hadoop. Apache Pig intègre un langage propre à lui. Le Pig Latin. Pig Latin est un langage script de type ‘data...
Cet article est la deuxième partie de l’article autour de MapReduce. La première partie peut être consultée ici.
MapReduce est un modèle de calcul distribué sur de gros volumes de données. Il s’agit d’un modèle de programmation parallèle dont les fonctions Map et Reduce sont inspirées du langage fonctionnel Lisp.
Dans l’article précédent j’ai brièvement présenté le concept de HDFS (Hadoop Distributed Filesystem). Dans cet article nous allons le présenter un peu plus en détail. Dans ce deuxième article de la série, nous reviendrons sur le concept déjà introduit des...
Cet article sera le premier d’une série de deux qui présentent la mise en oeuvre de ce système ainsi que ses capacités adapté à de grands volumes de données (Big Data). Dans cette une introduction je vais expliquer les principes...