Big Data : intégration SQL, Hive, Impala, Phoenix, Spark

Wéi laang dauert d'Formatioun?

2,00 Dag(Deeg)

A wéi enger/n Sprooch(en) gëtt d'Formatioun gehalen?

EN FR

Wéini ass déi nächst Sessioun?

Wien organiséiert dës Formatioun?

OXiane est spécialisé dans la conception et la réalisation de formations informatiques et de supports de cours pédagogiques sur les dernières technologies. Nos différentes filières permettent de couvrir tous les besoins en formation que ce soit en IT au sens large, mais également "Utilisateurs" et "Soft Skills" en Management, Communication & leadership.

Méi gesinn

Den Inhalt vun dëser Säit ass net op Lëtzebuergesch verfügbar

U wie riicht sech d'Formatioun?

Experts en bases de données
Chefs de projet
Toute personne souhaitant comprendre le fonctionnement et les apports des bases NoSQL

Wéi eng Ziler gi verfollegt bzw. wéi eng Kompetenzen ugestrieft?

Comprendre les connexions existantes entre les mondes relationnels et NoSQL en environnement Big Data
Savoir mettre en oeuvre Hive et Impala, Phoenix, les Spark Dataframes.

Wéi gesäit den Inhalt vun der Formatioun aus?

Présentation

Besoin
Adéquation entre les objectifs et les outils.
Faciliter la manipulation de gros volumes de données en conservant une approche utilisateurs.
Rappels sur le stockage : HDFS, Cassandra, HBase et les formats de données : parquet, orc, raw, clés/valeurs
Les outils : Hive, Impala, Tez, Presto, Drill, Phoenix, Spark-sql, Spark Dataframe

Hive et Pig

Présentation Hive. Mode de fonctionnement. Rappel sur map/reduce.
Hive : le langage HiveQL. La surcouche Tez.
- Atelier : création de tables, requêtage, connexion avec Hbase.

Impala et Phoenix

Présentation Impala. Cadre d'utilisation. Contraintes. Liaison avec le métastore Hive.
- Atelier : mise en évidence des performances.
Présentation Phoenix. Cadre d'utilisation. Contraintes.
- Atelier : connexion et requêtage sur une table Hbase.

Presto

Cadre d'utilisation
Sources de données utilisables
- Atelier : mise en œuvre d'une requête s'appuyant sur Cassandra et PostgreSQL

Spark-sql et Spark DataFrame

Les différentes approches. Syntaxe Spark-sql, Spark/SQl. APIs QL.
Utilisation du métastore Hive.
- Atelier : mise en oeuvre d'une requête s'appusant sur une table HBase et sur HDFS. Requêtage en spark-sql sur un fichier csv.

Drill

Utilisation d'APIs JDBC, ODBC. Indépendance Hadoop.
Contraintes d'utilisation. Performances.
- Atelier : lecture de fichiers Parquets dans du HDFS, jointures, connexion et requêtage sur une table Hbase.

Comparatifs