Big Data : intégration SQL, Hive, Impala, Phoenix, Spark

Wie lange dauert die Weiterbildung?

2,00 Tag(e)

In welcher/n Sprache(n) wird die Weiterbildung angeboten?

EN FR

Wann findet der nächste Termin statt?

Wer bietet diese Weiterbildung an?

OXiane est spécialisé dans la conception et la réalisation de formations informatiques et de supports de cours pédagogiques sur les dernières technologies. Nos différentes filières permettent de couvrir tous les besoins en formation que ce soit en IT au sens large, mais également "Utilisateurs" et "Soft Skills" en Management, Communication & leadership.

Der Inhalt dieser Seite ist nicht auf Deutsch verfügbar

An wen richtet sich die Weiterbildung?

Experts en bases de données
Chefs de projet
Toute personne souhaitant comprendre le fonctionnement et les apports des bases NoSQL

Welche Ziele werden verfolgt bzw. welche Kompetenzen sollen erworben werden?

Comprendre les connexions existantes entre les mondes relationnels et NoSQL en environnement Big Data
Savoir mettre en oeuvre Hive et Impala, Phoenix, les Spark Dataframes.

Wie sieht der Inhalt der Weiterbildung aus?

Présentation

Besoin
Adéquation entre les objectifs et les outils.
Faciliter la manipulation de gros volumes de données en conservant une approche utilisateurs.
Rappels sur le stockage : HDFS, Cassandra, HBase et les formats de données : parquet, orc, raw, clés/valeurs
Les outils : Hive, Impala, Tez, Presto, Drill, Phoenix, Spark-sql, Spark Dataframe

Hive et Pig

Présentation Hive. Mode de fonctionnement. Rappel sur map/reduce.
Hive : le langage HiveQL. La surcouche Tez.
- Atelier : création de tables, requêtage, connexion avec Hbase.

Impala et Phoenix

Présentation Impala. Cadre d'utilisation. Contraintes. Liaison avec le métastore Hive.
- Atelier : mise en évidence des performances.
Présentation Phoenix. Cadre d'utilisation. Contraintes.
- Atelier : connexion et requêtage sur une table Hbase.

Presto

Cadre d'utilisation
Sources de données utilisables
- Atelier : mise en œuvre d'une requête s'appuyant sur Cassandra et PostgreSQL

Spark-sql et Spark DataFrame

Les différentes approches. Syntaxe Spark-sql, Spark/SQl. APIs QL.
Utilisation du métastore Hive.
- Atelier : mise en oeuvre d'une requête s'appusant sur une table HBase et sur HDFS. Requêtage en spark-sql sur un fichier csv.

Drill

Utilisation d'APIs JDBC, ODBC. Indépendance Hadoop.
Contraintes d'utilisation. Performances.
- Atelier : lecture de fichiers Parquets dans du HDFS, jointures, connexion et requêtage sur une table Hbase.

Comparatifs