ISTQB : Test d'IA (CT-AI)

Notions en agilité - Avoir suivi la formation ISTQB Foundation ou connaissances équivalentes

• Démontrer le sous-ajustement et le sur-ajustement
• Effectuer la préparation des données en vue de la création d'un modèle ML
• Identifier les ensembles de données d'apprentissage et de test et créer un modèle ML.
• Évaluer le modèle ML créé à l'aide de métriques de performance fonctionnelle ML sélectionnées.
• Expérience de l'implémentation d'un perceptron (H1).
• Utiliser un outil pour montrer comment l'explicabilité peut être utilisée par les testeurs (H2).
• Appliquer le test par paire pour dériver et exécuter des cas de test pour un système basé sur l'IA.

Découvrir l'IA

Définition de l'IA et de l'effet de l'IA
IA étroite, générale et super IA
Systèmes basés sur l'IA et systèmes conventionnels
Technologies d'IA
Frameworks de développement IA
Matériel pour les systèmes basés sur l'IAAI as a Service (AIaaS)
Modèles pré-entraînés
Normes, règles et IA

Apprendre les caractéristiques de qualité des systèmes basés sur l'IA

Flexibilité et adaptabilité
Autonomie
Evolution
Biais
Ethique
Effets secondaires et Piratage de récompense
Transparence, interprétabilité et explicabilité
Sûreté et IA

Avoir un aperçu du Machine Learning (ML)

Formes de ML
Workflow ML
Sélectionner une forme de ML
Facteurs impliqués dans la sélection de l'algorithme ML
Surajustement et sous-ajustement

ML - Data

Préparation des données dans le cadre du workflow ML
Ensembles de données d'apprentissage, de validation et de test dans le workflow du ML
Problèmes de qualité des ensembles de données
La qualité des données et son effet sur le modèle ML
Étiquetage des données pour l'apprentissage supervisé

ML: Métriques de performance fonctionnelle

Matrice de confusion
Métriques supplémentaires de performance fonctionnelle ML pour la classification, la régression et le clustering
Limites des métriques de performance fonctionnelle ML
Sélection des métriques de performance fonctionnelle ML
Suites de Benchmark pour ML

ML – Réseaux neuronaux et test

Réseaux neuronaux
Mesures de couverture pour les réseaux neuronaux

Tester les systèmes basés sur l'IA

Spécification des systèmes basés sur l'IA
Niveaux de test pour les systèmes basés sur l'IA
Données de test pour tester les systèmes basés sur l'IA
Test des biais d'automatisation dans les systèmes basés sur l'IA
Documenter un composant IA
Test de dérive du concept
Sélection d'une approche de test pour un système ML

Tester les caractéristiques de qualité spécifiques à l'IA

Les défis du test des systèmes d'auto-apprentissage
Test des systèmes autonomes basés sur l'IA
Test pour le biais algorithmique, le biais d'échantillonnage et le biais inapproprié
Les défis du test des systèmes probabilistes et non-déterministes basés sur l'IA
Les défis du test des systèmes complexes basés sur l'IA
Test de la transparence, de l'interprétabilité et de l'explicabilité des systèmes basés sur l'IA
Oracles de test pour les systèmes basés sur l'IA
Objectifs de test et critères d'acceptation

Méthodes et techniques pour le test des systèmes basés sur l'IA

Attaques adverses et empoisonnement des données
Test par paires
Test dos à dosTest A/BTest métamorphique (MT)Test basé sur l'expérience des systèmes basés sur l'IA
Sélection des techniques de test pour les systèmes basés sur l'IA

Environnements de test pour les systèmes basés sur l'IA

Environnements de test pour les systèmes basés sur l'IA
Environnements de test virtuels pour le test des systèmes basés sur l'IA

Utilisation de l'IA pour les tests

Technologies d'IA pour les tests
Utiliser l'IA pour analyser le reporting des défauts
Utilisation de l'IA pour la génération de cas de test
Utilisation de l'IA pour l'optimisation des suites de tests de régression
Utilisation de l'IA pour la prédiction des défauts
Utiliser l'IA pour tester les interfaces utilisateur

Méthodologie basée sur l'Active Learning : 75% de pratique minimum. Chaque point théorique est systématiquement suivi d'exemples et exercices.

Contrôle continu

Attestation de fin de stage mentionnant le résultat des acquis

Sources + Supports