diff --git a/slides/01-choisir.md b/slides/01-choisir.md
index bb88b07..1de5f78 100644
--- a/slides/01-choisir.md
+++ b/slides/01-choisir.md
@@ -66,7 +66,7 @@ $$ f(\mathbf{x}) = \begin{cases}1 & \text{if }\ \mathbf{w} \cdot \mathbf{x} + b
---
-# Intuition: apprentissage d'un Perceptron
+### Intuition: apprentissage d'un Perceptron
<!-- _backgroundColor:
_color: -->
@@ -152,10 +152,15 @@ co-founded Distill, a scientific journal focused on outstanding communication.
Encoder Representations from Transformers](https://arxiv.org/pdf/1810.04805v2.pdf)
---
-### Genetic Algorithms
----
+<!-- _backgroundColor:
+_color: -->
### Reinforcement Agents
+
+<!-- Image Credit: [Megajuice](https://en.wikipedia.org/wiki/Reinforcement_learning#/media/File:Reinforcement_learning_diagram.svg) -->
+
+- [Exemple d'AlphaZero](https://arxiv.org/pdf/1712.01815.pdf)
+
---
# Pratique : Choisir un Modèle
@@ -182,4 +187,22 @@ Encoder Representations from Transformers](https://arxiv.org/pdf/1810.04805v2.pd
### Selon le tooling à disposition
+<!--
+Target:
+
+Learning and deploy, or continuous learning?
+GPU? CPU? Embarqué ?
+Mobile ?
+
+
+Language/frameworks:
+CUDA
+PyTorch
+etc
+
+Deployment/ops:
+Own model deployed and monitored ?
+ML as a Service, e.g. HuggingFace inference API
+ -->
+
diff --git a/slides/02-entrainer.md b/slides/02-entrainer.md
index 462876c..2372374 100644
--- a/slides/02-entrainer.md
+++ b/slides/02-entrainer.md
@@ -9,7 +9,18 @@ paginate: true
# Entrainer son Modèle
-## Comment setup
+<!-- https://developers.google.com/machine-learning/crash-course/descending-into-ml/training-and-loss -->
+
+---
+
+## Comment setup le training
+
+- Loss Function
+- Training Loop
+- [Exemple avec TensorFlow](https://www.tensorflow.org/guide/basic_training_loops)
+
+
+---
## Quand s'arrêter
diff --git a/slides/03-tester.md b/slides/03-tester.md
index d8af1bc..3c393cb 100644
--- a/slides/03-tester.md
+++ b/slides/03-tester.md
@@ -7,29 +7,95 @@ backgroundColor: #111
paginate: true
---
+<style>
+li {
+ font-size: 0.8em;
+}
+</style>
+
# Tester son Modèle
---
-## À la main
+## 1. À la main
+
+---
+## Outils d'introspection:
+ - [What If Tool](https://pair-code.github.io/what-if-tool/) - see [Iris demo](https://pair-code.github.io/what-if-tool/demos/iris.html)
+ - [TensorFlow Playground](http://playground.tensorflow.org/)
+ - [TensorFlow Embedding Projector](https://projector.tensorflow.org/)
+
---
-## Pour éviter des régressions
+## 2. Pour éviter des régressions
+
+<!--
+Comparer aux précédentes métriques
+Comparer aux précédentes datas
+-->
---
## De manière continue
+<!--
+In your CI!
+ -->
+
---
### Quand la data change
+> The tricky part is making the new dataset “compliant” with what the model expects.
+> ~Jacek Podlewski, [Quora](https://www.quora.com/How-can-I-test-my-trained-model-on-a-completely-new-dataset)
+
---
### Quand le modèle évolue
---
### Dans ta CI/CD
+
+
+_CircleCI, a continuous integration platform_
+
+- Ref: [CircleCI ML Guide](https://circleci.com/blog/increase-reliability-in-data-science-and-machine-learning-projects-with-circleci/)
+- Ref: [Valohai's Colecting User Feedback](https://valohai.com/blog/cicd-for-machine-learning/)
+
+
---
# Évaluer un modèle
+
Sur les métriques visées
+
+---
+
Sur ses biais éventuels
-- Avec CHECKLIST
-- Avec des users différents
+- [TDS: 3 common strategies to measure bias in NLP models](https://towardsdatascience.com/3-common-strategies-to-measure-bias-in-nlp-models-2022-b948a671d257)
+
+- Par perturbation/permutation: e.g. [Reducing Sentiment Bias in Language Models
+via Counterfactual Evaluation](https://arxiv.org/pdf/1911.03064.pdf)
+ - [CHECK LIST!](https://aclanthology.org/2020.acl-main.442.pdf)
+ - https://github.com/marcotcr/checklist
+
+---
+
+### Adversarial perturbations
+
+
+
+- [See Christophm's Interpretable Machine Learning: Something is Wrong With my Dog](https://christophm.github.io/interpretable-ml-book/adversarial.html)
+
+- Pour Aller plus loin : [Adversarial Robustness - Theory and Practice](https://adversarial-ml-tutorial.org/)
+
+
+---
+
+## Avec des users différents
+
+
+<!-- Image credit: UX Indonesia, Unsplash.com -->
+
+- [Case Study by _dscout_: User Research for ML Systems](https://dscout.com/people-nerds/user-research-for-machine-learning)
+
+---
+
+<!-- Image credit: BoxUK | https://www.boxuk.com/insight/unboxing-guerrilla-usability-testing/ -->
-## Adversarial perturbations
-## Méthodes
-### Train/test/val split
+### Avec du
+### Guerrilla Testing
+- [How to do Guerrilla Testing](https://medium.com/one-more-thing-studio/how-to-do-guerrilla-testing-right-f36beb186ca)
+- [Designing a Chatbot Personality](https://chatbotsmagazine.com/designing-a-chatbots-personality-52dcf1f4df7d)
\ No newline at end of file
diff --git a/tp/01-tp-choisir.md b/tp/01-tp-choisir.md
index 631350e..f9a4d10 100644
--- a/tp/01-tp-choisir.md
+++ b/tp/01-tp-choisir.md
@@ -51,7 +51,7 @@ Sur l'intranet ou à formation@nech.pl
- "Apprentissage Supervisé"
- "Apprentissage Non Supervisé"
- "Layer"
-- ""
+- "Métrique"
---
@@ -85,7 +85,7 @@ Exemple:
**Terminez les sections jusqu'à "_Call the functions to build and train a deep neural net_"**
<br />
-- Partagez les premières métriques `loss` et `mean_squared_error` obtenues avec votre modèle de réseau de neurones
+- Partagez les premières métriques `loss` et `mean_squared_error` obtenues avec votre modèle de réseau de neurones - faites mieux que la régression linéaire :smirk:
Exemple:
```
diff --git a/tp/02-tp-entrainer.md b/tp/02-tp-entrainer.md
index c8d2bf8..420eb4c 100644
--- a/tp/02-tp-entrainer.md
+++ b/tp/02-tp-entrainer.md
@@ -5,7 +5,7 @@ color: #eee
colorSecondary: #333
backgroundColor: #111
paginate: true
-footer: "ML101 | TP1: Choisir un modèle | Paul-Louis Nech | INTECH 2022-2023"
+footer: "ML101 | TP2: Entrainer un modèle | Paul-Louis Nech | INTECH 2022-2023"
---
<style>
@@ -14,7 +14,7 @@ li {
}
</style>
-# <!-- fit --> TP1: Choisir un modèle
+# <!-- fit --> TP2: Entrainer un modèle
<!--
Théorie : méthodes
fondamentales
@@ -54,5 +54,3 @@ FOO BAR BAZ
## Lvl 1: Multi-class classification with MNIST
- [Google Colab: Exercises - Multi-Class Classification with MNIST](https://colab.research.google.com/github/google/eng-edu/blob/main/ml/cc/exercises/multi-class_classification_with_MNIST.ipynb?hl=en#scrollTo=XuKlphuImFSN)
-
-:rocket: simple linear regression model VS Neural network :rocket:
diff --git a/tp/03-tp-tester.md b/tp/03-tp-tester.md
new file mode 100644
index 0000000..f1bce47
--- /dev/null
+++ b/tp/03-tp-tester.md
@@ -0,0 +1,62 @@
+---
+marp: true
+theme: uncover
+color: #eee
+colorSecondary: #333
+backgroundColor: #111
+paginate: true
+footer: "ML101 | TP3: Tester un modèle | Paul-Louis Nech | INTECH 2022-2023"
+---
+
+<style>
+li {
+ font-size: 0.8em;
+}
+</style>
+
+# <!-- fit --> TP3: Tester un modèle
+<!--
+Théorie : méthodes
+fondamentales
+Pratique : choisir un modèle
+adapté à son problème
+-->
+
+---
+
+Objectifs :
+- Théorie : outils fondamentaux
+- Pratique : entrainer un modèle
+---
+
+Format: Rendu écrit (fichier Markdown ou Doc avec une section par _Level_)
+Sur l'intranet ou à formation@nech.pl
+
+<br />
+
+**DEADLINE : 24 Janvier 23:59:59**
+
+<br />
+
+> _Le cachet de mon mailserver faisant foi_.
+
+---
+
+## Lvl 0: La base
+
+
+<!-- Image credit: World of Warcraft Tutorial boar -->
+
+###### Faites une phrase avec vos propres mots pour définir ce que veut dire:
+FOO BAR BAZ
+
+---
+
+## Lvl 1 : Utiliser checklist pour évaluer un modèle
+
+---
+
+
+## Lvl 2 : Break neural networks in your browser :fire:
+
+https://kennysong.github.io/adversarial.js/
\ No newline at end of file
diff --git a/tp/04-tp-utiliser.md b/tp/04-tp-utiliser.md
index e69de29..3ef0cf7 100644
--- a/tp/04-tp-utiliser.md
+++ b/tp/04-tp-utiliser.md
@@ -0,0 +1,32 @@
+---
+marp: true
+theme: uncover
+color: #eee
+colorSecondary: #333
+backgroundColor: #111
+paginate: true
+footer: "ML101 | TP4: Utiliser un modèle | Paul-Louis Nech | INTECH 2022-2023"
+---
+
+<style>
+li {
+ font-size: 0.8em;
+}
+</style>
+
+# <!-- fit --> TP4: Utiliser un modèle
+<!--
+Théorie : méthodes
+fondamentales
+Pratique : choisir un modèle
+adapté à son problème
+-->
+
+
+
+https://github.com/TheLastBen/fast-stable-diffusion
+
+
+https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/sd_dreambooth_training.ipynb#scrollTo=rscg285SBh4M
+
+https://github.com/huggingface/diffusers
\ No newline at end of file