Big Data : intégration SQL, Hive, Impala, Phoenix, Spark

Combien de temps dure la formation ?

2,00 jour(s)

Dans quelle(s) langue(s) la formation est-elle donnée ?

EN FR

Quand a lieu la prochaine session ?

Qui organise cette formation ?

OXiane est spécialisé dans la conception et la réalisation de formations informatiques et de supports de cours pédagogiques sur les dernières technologies. Nos différentes filières permettent de couvrir tous les besoins en formation que ce soit en IT au sens large, mais également "Utilisateurs" et "Soft Skills" en Management, Communication & leadership.

À qui s’adresse la formation ?

Experts en bases de données
Chefs de projet
Toute personne souhaitant comprendre le fonctionnement et les apports des bases NoSQL

Quels sont les objectifs poursuivis ou les compétences visées ?

Comprendre les connexions existantes entre les mondes relationnels et NoSQL en environnement Big Data
Savoir mettre en oeuvre Hive et Impala, Phoenix, les Spark Dataframes.

Quel est le contenu de la formation ?

Présentation

Besoin
Adéquation entre les objectifs et les outils.
Faciliter la manipulation de gros volumes de données en conservant une approche utilisateurs.
Rappels sur le stockage : HDFS, Cassandra, HBase et les formats de données : parquet, orc, raw, clés/valeurs
Les outils : Hive, Impala, Tez, Presto, Drill, Phoenix, Spark-sql, Spark Dataframe

Hive et Pig

Présentation Hive. Mode de fonctionnement. Rappel sur map/reduce.
Hive : le langage HiveQL. La surcouche Tez.
- Atelier : création de tables, requêtage, connexion avec Hbase.

Impala et Phoenix

Présentation Impala. Cadre d'utilisation. Contraintes. Liaison avec le métastore Hive.
- Atelier : mise en évidence des performances.
Présentation Phoenix. Cadre d'utilisation. Contraintes.
- Atelier : connexion et requêtage sur une table Hbase.

Presto

Cadre d'utilisation
Sources de données utilisables
- Atelier : mise en œuvre d'une requête s'appuyant sur Cassandra et PostgreSQL

Spark-sql et Spark DataFrame

Les différentes approches. Syntaxe Spark-sql, Spark/SQl. APIs QL.
Utilisation du métastore Hive.
- Atelier : mise en oeuvre d'une requête s'appusant sur une table HBase et sur HDFS. Requêtage en spark-sql sur un fichier csv.

Drill

Utilisation d'APIs JDBC, ODBC. Indépendance Hadoop.
Contraintes d'utilisation. Performances.
- Atelier : lecture de fichiers Parquets dans du HDFS, jointures, connexion et requêtage sur une table Hbase.

Comparatifs