Un système conventionnel est programmé avec des instructions explicites (if-then-else, boucles). Son comportement est déterministe, prévisible et transparent : mêmes entrées → mêmes sorties.

Un système à base d'IA (surtout s'il repose sur le ML) ne suit pas de règles prédéfinies : il apprend des motifs (patterns) dans les données pour répondre à de nouvelles entrées.

Hiérarchie à connaître : IA ⊃ ML ⊃ Deep Learning. L'IA est le domaine le plus large ; l'apprentissage automatique (ML) en est une branche centrale ; le deep learning (DL) est un sous-ensemble du ML utilisant des réseaux de neurones profonds.

Les 3 formes d'apprentissage automatique :

• Apprentissage supervisé (supervised learning) — données étiquetées (labeled). Algorithmes : régression linéaire, arbres de décision. Tâches : prédiction, classification.
• Apprentissage non supervisé (unsupervised learning) — données non étiquetées. Techniques : algorithmes de clustering. Tâches : clustering (regroupement), association.
• Apprentissage par renforcement (reinforcement learning) — un agent apprend par essai-erreur avec récompenses/pénalités. Applications : robotique, véhicules autonomes, chatbots.

Technologies ML clés : réseaux de neurones, modèles bayésiens, machines à vecteurs de support (SVM), forêts aléatoires (random forests).

Deep learning (DL) — réseaux de neurones profonds :

• CNN (réseaux convolutifs) — reconnaissance d'images, détection d'objets ;
• RNN (réseaux récurrents) — données séquentielles (texte, séries temporelles) ;
• Transformers — dépendances à longue portée ; au cœur des modèles de NLP et de vision.

Autres technologies d'IA spécialisées : NLP (analyse de sentiment, traduction automatique), vision par ordinateur, logique floue (fuzzy logic — raisonnement sous incertitude), algorithmes de recherche (navigation, décision stratégique), systèmes experts / à base de règles, et IA agentique (agentic AI) — agents autonomes qui planifient, raisonnent et agissent indépendamment.

La GenAI crée du contenu nouveau (texte, images, vidéo, musique, données complexes) ; beaucoup de systèmes GenAI font aussi de la classification et de la prédiction. Ils apprennent sur d'immenses volumes de données pour produire des sorties ressemblant aux données d'entraînement.

Préoccupations sociétales et éthiques : mésusage (deepfakes, désinformation, contenus frauduleux) ; impact sur l'emploi (automatisation de l'écriture, du design, du code, de la documentation juridique/médicale) ; durabilité (consommation d'énergie et empreinte carbone élevées).

Tendances actuelles : modèles de fondation (foundation models) affinés pour des applications spécifiques ; modèles multimodaux ; cadres réglementaires (EU AI Act).

Besoins du ML : grandes structures de données, traitement massivement parallèle, arithmétique en faible précision (quantization — p. ex. 4 bits au lieu de 32).

Le matériel peut différer entre entraînement et inférence : un modèle de reconnaissance vocale tourne sur smartphone mais a été entraîné dans le cloud.

Options d'acquisition :

• Tiers / AIaaS (AI as a Service) — modèles préentraînés, déploiement plus rapide, mise sur le marché accélérée ;
• Privé (on-premises ou cloud sur mesure) — mieux adapté aux exigences ; demande des compétences spécialisées.

Le choix optimal dépend de : taille et complexité du modèle, exigences de performance, budget, sécurité/confidentialité, besoins de déploiement, exigences réglementaires.

Fonctionnalités typiques d'un framework ML (p. ex. TensorFlow, PyTorch) :

Critères de sélection : domaine d'application, interface conviviale, configurabilité, expertise des utilisateurs, contraintes de déploiement, support de la communauté, maturité de l'écosystème.

Objectif : instaurer la confiance, promouvoir les bénéfices et atténuer les risques (usage sûr, équitable, transparent, durable, responsable et éthique).

Beaucoup de pays hors UE préfèrent des réglementations plus légères pour encourager l'innovation. Des réglementations sectorielles émergent (santé, finance).

La norme ISO/IEC 25059 étend ISO/IEC 25010 pour couvrir les spécificités de l'IA. Elle évalue les systèmes selon deux perspectives : qualité produit (product quality) et qualité à l'usage (quality in use).

Les systèmes IA liés à la sécurité (safety-related) posent des défis supplémentaires par rapport aux systèmes de sécurité non-IA :

Pour les systèmes IA, les critères d'acceptation sont souvent statistiques, probabilistes ou à base de seuils plutôt que binaires (réussite/échec).

Apprentissage supervisé — données étiquetées ; le modèle apprend à associer entrées → sorties :

• Classification — affecter les entrées à des classes prédéfinies (spam / non-spam, reconnaissance d'images) ;
• Régression ML — prédire une valeur numérique continue (estimation d'âge, cours de bourse).

Apprentissage non supervisé — données non étiquetées ; déduction de motifs :

• Clustering — regrouper les points de données par similarité (segmentation client) ;
• Association — identifier des relations/dépendances (recommandation de produits selon les achats).

Apprentissage par renforcement — un agent apprend en interagissant avec l'environnement via récompenses/pénalités. Défis : mise en place de l'environnement, conception de la fonction de récompense (reward function), choix de la stratégie. Applications : robotique, véhicules autonomes, chatbots adaptatifs.

Ordre à connaître par cœur :

Un modèle ML ne se déploie généralement pas isolément : son intégration avec des composants non-ML exige des tests de composants, système et acceptation.

Fine-tuning (affinage) :

• Part d'un réseau de neurones préentraîné et l'adapte à une nouvelle tâche ;
• Demande beaucoup moins de données qu'un entraînement complet ;
• Peut s'appliquer au réseau entier, à certaines couches (proches de la sortie) ou à des couches ajoutées ;
• Le succès dépend de la similarité entre la tâche d'origine et la nouvelle : adapter un classifieur de races de chats aux races de chiens → efficace ; l'adapter à des accents parlés → peu efficace.

RAG (retrieval-augmented generation, génération augmentée par récupération) :

• Fournit au LLM des sources de données spécifiques à la tâche ;
• Les sources sont transformées en format interrogeable et comparées au prompt ;
• Les documents pertinents sont incorporés dans un prompt enrichi → réponses plus précises ;
• Le modèle préentraîné n'est PAS modifié.

Un modèle préentraîné peut utiliser RAG, fine-tuning ou les deux. Les biais et vulnérabilités du modèle préentraîné sont hérités — il faut donc les tester.

La préparation des données est l'une des activités les plus cruciales et les plus coûteuses en ressources du workflow ML. Elle est intrinsèquement liée au pipeline de données (data pipeline).

En parallèle — l'analyse exploratoire des données (EDA) : découvrir tendances, motifs, anomalies ; visualiser les données (graphiques, diagrammes).

La préparation des données est itérative et souvent manuelle. Les données opérationnelles doivent correspondre aux caractéristiques des données d'entraînement.

Quand les données sont limitées : une division en trois risque le sous-apprentissage (underfitting). Stratégie : petit jeu de test (holdout) + validation croisée k-fold sur le reste (k = 5 ou 10 en général) :

• Données divisées en k plis (folds) ; modèle entraîné sur k−1 plis, validé sur le pli restant ; répété k fois ;
• Les métriques sont moyennées sur les k itérations → estimation fiable de la généralisation ;
• Modèle final entraîné sur toutes les données sauf le holdout ; évalué une seule fois sur le holdout.

La quantité de données nécessaire dépend de : la complexité attendue du modèle, l'algorithme utilisé, les ressources disponibles (RAM, disque, calcul, réseau, temps), la confiance souhaitée dans le modèle.

La matrice de confusion résume les résultats d'un classifieur binaire :

Moyens mnémotechniques :

• Precision : dénominateur = tout ce qui est Prédit positif (TP+FP). « P comme Prédit ».
• Recall : dénominateur = tout ce qui est Réellement positif (TP+FN). « R comme Réel ».
• Diagnostic médical : rater un malade = FN grave → on veut un recall élevé. Alerte spam : accuser à tort = FP gênant → on veut une precision élevée.

Perceptron (monocouche) : une couche, un neurone ; apprentissage supervisé pour des classifieurs binaires sur des problèmes linéairement séparables (ex. spam / non-spam).

Réseau de neurones profond (DNN) = perceptron multicouche : couche d'entrée → plusieurs couches cachées → couche de sortie.

Calcul effectué par chaque neurone :

1. Somme pondérée des valeurs d'activation des neurones connectés de la couche précédente ;
2. Ajout du biais (bias) propre au neurone ;
3. Passage dans une fonction d'activation non linéaire → produit la valeur d'activation.

Processus d'entraînement :

1. Poids et biais initialisés à de petites valeurs aléatoires ;
2. Les données d'entraînement traversent le réseau (passe avant / forward pass) → sortie générée ;
3. Sortie comparée au résultat correct connu → calcul de l'erreur (loss) ;
4. L'erreur est propagée en arrière (rétropropagation / backpropagation) → ajustement des poids et biais ;
5. Un passage complet sur les données d'entraînement = une epoch ;
6. On continue jusqu'à ce que la sortie soit suffisamment bonne.

Un réseau de neurones n'a pas de chemins codés explicitement (le comportement vient des poids, biais et activations appris) → il faut des mesures de couverture spécialisées :

Limites : la couverture structurelle seule ne garantit pas la généralisation ; les réseaux peuvent apprendre des corrélations fallacieuses (spurious). À compléter par du test adversarial et du test métamorphique.

Beaucoup de systèmes GenAI (chatbots LLM) sont déployés comme modèles verrouillés mais mis à jour périodiquement → entre les deux catégories.

⚠ Même un système verrouillé peut être non déterministe en pratique (précision en virgule flottante, calcul parallèle GPU).

Tester un système adaptatif : tests rigoureux avant déploiement (simulation des changements d'environnement, test des mécanismes d'apprentissage) ; les comportements nouveaux imprévisibles ne peuvent pas être testés à l'avance ; suite de tests automatisée pour les fonctions cœur, exécutée à chaque changement significatif ; surveillance continue de la dégradation des performances.

Le problème de l'oracle de test (test oracle problem) : déterminer si la sortie est correcte pour une entrée donnée.

Pourquoi c'est difficile avec l'IA :

• Sorties probabilistes et non déterministes — un verdict strict exige des seuils / plages de tolérance ;
• Développement exploratoire, spécifications incomplètes ou évolutives ;
• Complexité des tâches — trop complexes pour une vérification humaine ;
• Subjectivité — les attentes utilisateurs varient (assistants virtuels) ;
• Systèmes auto-apprenants — le comportement « correct » change avec le temps ; les résultats attendus initiaux deviennent invalides.

Le test de la GenAI évalue : exactitude, cohérence, créativité, originalité, exigences fonctionnelles et non fonctionnelles.

Approche courante : test boîte noire — soumettre des entrées variées (prompts, images, données partielles) et évaluer les sorties (clarté, originalité, respect des règles du domaine).

Le problème de l'explosion des entrées (input explosion problem) — les entrées sont très diverses et difficiles à contrôler :

• System prompts optionnels + prompt utilisateur (données énormes et disparates) ;
• Accès par API ;
• Multiples paramètres (température, max tokens) ;
• Fenêtre de contexte (context window) qui retient la conversation précédente.

Évaluation des sorties : revue manuelle avec critères qualitatifs ; ou un second système GenAI qui détermine automatiquement le verdict (à utiliser avec prudence — il peut reproduire des biais/erreurs similaires).

Tests non fonctionnels : utilisation des ressources (CPU/GPU, mémoire, bande passante, temps de réponse).

Suites de benchmark : cadres d'évaluation standardisés ; datasets et tâches organisés pour des comparaisons cohérentes (compréhension du langage, raisonnement, capacités de codage).

Le red teaming (RT) est une attaque de défauts systématique, souvent en boîte noire, qui sonde un système IA pour identifier ses capacités nuisibles, en particulier dans ses sorties. Origine : jeux de guerre militaires, « tiger teams » de la NASA.

But : provoquer délibérément des résultats nuisibles/indésirables — violations de vie privée, propos racistes, instructions d'attaques CBRN… Les sorties nuisibles identifiées servent à mettre à jour et renforcer le système.

Stratégies de couverture : manuelle (génération de prompts par crowdsourcing) ; automatisée (un LLM génère les prompts d'attaque, un autre vérifie les sorties) ; hybride (créativité humaine + passage à l'échelle automatisé).

Quand : le plus efficace avant le déploiement, après les premières évaluations qualité. Activité cœur : prompting interactif (dialogues multi-tours de 15 à 20 échanges).

Blue teaming : surveillance défensive en temps réel et filtrage des entrées des systèmes IA opérationnels. Les enseignements du RT améliorent les filtres du blue teaming.

Le RT couvre safety et security, mais aussi fiabilité, vie privée, équité, biais et détection de désinformation. C'est de plus en plus une attente réglementaire (EU AI Act).

Deux niveaux de test spécifiques au ML :

Les niveaux de test conventionnels restent nécessaires :

La plupart des cadres réglementaires exigent une approche basée sur les risques. Les risques spécifiques au ML se catégorisent selon le workflow ML :

Les risques peuvent aussi être catégorisés selon les caractéristiques qualité ISO/IEC 25059.

Biais = différences de traitement non aléatoires et injustes fondées sur des attributs sensibles (genre, âge, origine) — souvent illégal, rend le système discriminatoire.

Deux sources :

• Biais des données (data bias) — données d'entraînement non représentatives, historiquement faussées, ou délibérément empoisonnées ;
• Biais algorithmique (algorithmic bias) — défauts dans l'algorithme, le modèle ou le framework (ex. seuil de décision pour un score de crédit).

Approche en couches :

Détermine à quel point les caractéristiques du dataset correspondent aux données réelles que le modèle rencontrera. Adresse : datasets faussés (skewed), données manquantes, distributions de features disproportionnées, couverture insuffisante des scénarios opérationnels, classes déséquilibrées.

À réaliser avant l'entraînement du modèle. Après déploiement, surveiller en continu la dérive des données (data drift).

Vérifie que les données respectent des règles ou contraintes prédéfinies — confirme intégrité et cohérence. Généralement automatisé dans le pipeline de données (gros volumes) ; rapports fournis aux data scientists (entraînement) ou aux équipes d'exploitation (production).

Des étiquettes inexactes ou incohérentes sapent directement la performance et la généralisation du modèle ML.

Meilleurs résultats en combinant : revues d'experts → scores IAA → approches basées modèle au fil du développement.

La documentation est critique pour les systèmes IA — défis uniques : code généré par la machine difficile à comprendre, nature boîte noire, dépendance aux données, mises à jour fréquentes. Elle soutient : communication, décisions éclairées, vérification de la qualité/maintenabilité, conformité réglementaire (obligations de transparence de l'EU AI Act).

Sections de la checklist de documentation : Général · Conception · Usage · Datasets · Test · Fonctionnel · Non-fonctionnel · Opérationnel.

Objectifs de la revue : repérer informations manquantes/inexactes/incohérentes ; améliorer clarté et lisibilité ; renforcer la maintenabilité ; fournir assez d'informations pour test et déploiement ; vérifier que toutes les exigences réglementaires sont satisfaites.

Évalue à quel point le modèle remplit ses fonctions en mesurant les métriques (accuracy, recall, precision, F1) contre les critères d'acceptation. Pour un système probabiliste, on va au-delà d'un simple réussite/échec vers une mesure statistique.

Deux options quand le nombre de tests augmente : fixer le CL → la MoE diminue (résultat plus précis) ; ou fixer la MoE → le CL augmente (résultat plus certain).

Test séquentiel (sequential testing) : cadre statistique formel d'arrêt anticipé — on s'arrête dès que les preuves suffisent, sans épuiser tout l'échantillon.

Systèmes critiques (safety) : exigences plus strictes (ex. « 99 % de fiabilité avec 95 % de confiance » → 299 cas de test, tous doivent réussir).

Test adversarial : fournir délibérément au modèle des perturbations des données d'entrée, souvent imperceptibles à l'humain, conçues pour provoquer des prédictions incorrectes.

Exemples adversariaux (adversarial examples) : les entrées de test qui réussissent à causer une mauvaise classification (souvent des versions légèrement modifiées d'entrées légitimes).

But : identifier les vulnérabilités → ajouter des garde-fous → améliorer la robustesse du modèle.

Deux types : exemples adversariaux accidentels (naturels) · attaques adversariales (usage malveillant des exemples adversariaux).

Test métamorphique (MT) : technique où de nouveaux cas de test (dits de suivi / follow-up) sont dérivés d'un cas de test source déjà réussi, au moyen d'une relation métamorphique (MR).

Relation métamorphique (MR) : fondée sur une propriété de la fonction requise ; décrit comment un changement des entrées se reflète dans les résultats attendus.

Quand utiliser le MT (préféré au test classique par oracle) : pas de sorties attendues fiables (opacité du modèle, échelle des données) ; système en boîte noire ; des propriétés relationnelles (et non des valeurs absolues) suffisent.

Applications : reconnaissance d'images, moteurs de recherche, optimisation d'itinéraire, reconnaissance vocale. Dériver les MR depuis la connaissance du domaine, les exigences ou des propriétés (lois physiques) ; les valider par revue d'experts, modèles de référence, couverture des cas limites.

Limites : des MR incorrectes/incomplètes → fausse confiance ; le MT détecte des défauts relationnels mais pas toutes les erreurs absolues ; à combiner avec d'autres techniques.

Trois résultats possibles : surapprentissage (overfitting), sous-apprentissage (underfitting), bon ajustement (right-fitting). À tester pendant l'entraînement, l'évaluation et l'ajustement.

Compare les réponses de deux variantes (A et B) aux mêmes entrées pour déterminer laquelle est meilleure. Approche statistique : compare les résultats de plusieurs exécutions.

Caractéristiques : ne génère pas de cas de test ; ne donne aucune guidance sur la conception des tests ; utilise souvent des entrées opérationnelles ; adresse le problème de l'oracle (le système existant = oracle partiel).

Applications : tester les mises à jour (la nouvelle variante fait aussi bien ou mieux) ; du simple classifieur au système complexe (ex. routage de transport en ville intelligente) ; systèmes auto-apprenants (tests automatisés à chaque changement ; accepter si amélioré, revenir en arrière sinon).

Techniques statistiques courantes : test t, test z, test du chi-deux, test U de Mann-Whitney.

Back-to-back testing : utilise une version alternative du système comme point de référence (pseudo-oracle) et compare ses sorties à celles du système sous test pour les mêmes entrées.

Pseudo-oracle : un système existant ou développé spécifiquement pour le test. Idéalement, il ne partage pas de composants logiciels communs avec le système sous test (risque : le même défaut dans les deux).

Bonnes pratiques : développé par une équipe différente, idéalement indépendante ; frameworks ML, algorithmes ou réglages différents ; un logiciel conventionnel peut servir de pseudo-oracle s'il résout le même problème.

Caractéristiques : ne nécessite de générer que des entrées de test (pas de résultats attendus) ; entrées issues de cas existants, de suites de régression, ou auto-générées depuis les données d'entraînement ; un pseudo-oracle fonctionnel n'a pas besoin de satisfaire les mêmes exigences non fonctionnelles.

Utile pour : migration d'un système ML vers de nouveaux environnements (dev → prod) ; comparaison de résultats entre environnements ; révélation de défauts subtils ; cas limites et entrées inhabituelles.