From d4bdc4e349e45e045022495559cf2233c40826d4 Mon Sep 17 00:00:00 2001 From: Paul-Louis NECH Date: Thu, 19 Jan 2023 12:09:40 +0100 Subject: [PATCH] ML101: TP2++ --- slides/01-choisir.md | 29 ++++++++++++++++++++++++++--- slides/02-entrainer.md | 13 ++++++++++++- slides/03-tester.md | 80 +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++------- tp/01-tp-choisir.md | 4 ++-- tp/02-tp-entrainer.md | 6 ++---- tp/03-tp-tester.md | 62 ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ tp/04-tp-utiliser.md | 32 ++++++++++++++++++++++++++++++++ 7 files changed, 209 insertions(+), 17 deletions(-) create mode 100644 tp/03-tp-tester.md diff --git a/slides/01-choisir.md b/slides/01-choisir.md index bb88b07..1de5f78 100644 --- a/slides/01-choisir.md +++ b/slides/01-choisir.md @@ -66,7 +66,7 @@ $$ f(\mathbf{x}) = \begin{cases}1 & \text{if }\ \mathbf{w} \cdot \mathbf{x} + b --- -# Intuition: apprentissage d'un Perceptron +### Intuition: apprentissage d'un Perceptron @@ -152,10 +152,15 @@ co-founded Distill, a scientific journal focused on outstanding communication. Encoder Representations from Transformers](https://arxiv.org/pdf/1810.04805v2.pdf) --- -### Genetic Algorithms ---- + ### Reinforcement Agents +![bg right 90%](./img/01-reinforcement.png) + + +- [Exemple d'AlphaZero](https://arxiv.org/pdf/1712.01815.pdf) + --- # Pratique : Choisir un Modèle @@ -182,4 +187,22 @@ Encoder Representations from Transformers](https://arxiv.org/pdf/1810.04805v2.pd ### Selon le tooling à disposition + + diff --git a/slides/02-entrainer.md b/slides/02-entrainer.md index 462876c..2372374 100644 --- a/slides/02-entrainer.md +++ b/slides/02-entrainer.md @@ -9,7 +9,18 @@ paginate: true # Entrainer son Modèle -## Comment setup + + +--- + +## Comment setup le training + +- Loss Function +- Training Loop +- [Exemple avec TensorFlow](https://www.tensorflow.org/guide/basic_training_loops) + + +--- ## Quand s'arrêter diff --git a/slides/03-tester.md b/slides/03-tester.md index d8af1bc..3c393cb 100644 --- a/slides/03-tester.md +++ b/slides/03-tester.md @@ -7,29 +7,95 @@ backgroundColor: #111 paginate: true --- + + # Tester son Modèle --- -## À la main +## 1. À la main + +--- +## Outils d'introspection: + - [What If Tool](https://pair-code.github.io/what-if-tool/) - see [Iris demo](https://pair-code.github.io/what-if-tool/demos/iris.html) + - [TensorFlow Playground](http://playground.tensorflow.org/) + - [TensorFlow Embedding Projector](https://projector.tensorflow.org/) + --- -## Pour éviter des régressions +## 2. Pour éviter des régressions + + --- ## De manière continue + + --- ### Quand la data change +> The tricky part is making the new dataset “compliant” with what the model expects. +> ~Jacek Podlewski, [Quora](https://www.quora.com/How-can-I-test-my-trained-model-on-a-completely-new-dataset) + --- ### Quand le modèle évolue --- ### Dans ta CI/CD +![](https://air.imag.fr/images/5/55/Demo_2.PNG) + +_CircleCI, a continuous integration platform_ + +- Ref: [CircleCI ML Guide](https://circleci.com/blog/increase-reliability-in-data-science-and-machine-learning-projects-with-circleci/) +- Ref: [Valohai's Colecting User Feedback](https://valohai.com/blog/cicd-for-machine-learning/) + + --- # Évaluer un modèle + Sur les métriques visées + +--- + Sur ses biais éventuels -- Avec CHECKLIST -- Avec des users différents +- [TDS: 3 common strategies to measure bias in NLP models](https://towardsdatascience.com/3-common-strategies-to-measure-bias-in-nlp-models-2022-b948a671d257) + +- Par perturbation/permutation: e.g. [Reducing Sentiment Bias in Language Models +via Counterfactual Evaluation](https://arxiv.org/pdf/1911.03064.pdf) + - [CHECK LIST!](https://aclanthology.org/2020.acl-main.442.pdf) + - https://github.com/marcotcr/checklist + +--- + +### Adversarial perturbations + +![bg right:40% fit](https://i0.wp.com/bdtechtalks.com/wp-content/uploads/2020/11/adversarial-js.jpg?resize=1024%2C568&ssl=1) + +- [See Christophm's Interpretable Machine Learning: Something is Wrong With my Dog](https://christophm.github.io/interpretable-ml-book/adversarial.html) + +- Pour Aller plus loin : [Adversarial Robustness - Theory and Practice](https://adversarial-ml-tutorial.org/) + + +--- + +## Avec des users différents + +![bg right fit](https://images.unsplash.com/photo-1587440871875-191322ee64b0?ixlib=rb-4.0.3&ixid=MnwxMjA3fDB8MHxwaG90by1wYWdlfHx8fGVufDB8fHx8&auto=format&fit=crop&w=1771&q=80) + + +- [Case Study by _dscout_: User Research for ML Systems](https://dscout.com/people-nerds/user-research-for-machine-learning) + +--- +![bg right fit](https://www.boxuk.com/wp-content/uploads/2019/09/blog-post-teaser-guerrilla-testing-square.jpg) + -## Adversarial perturbations -## Méthodes -### Train/test/val split +### Avec du +### Guerrilla Testing +- [How to do Guerrilla Testing](https://medium.com/one-more-thing-studio/how-to-do-guerrilla-testing-right-f36beb186ca) +- [Designing a Chatbot Personality](https://chatbotsmagazine.com/designing-a-chatbots-personality-52dcf1f4df7d) \ No newline at end of file diff --git a/tp/01-tp-choisir.md b/tp/01-tp-choisir.md index 631350e..f9a4d10 100644 --- a/tp/01-tp-choisir.md +++ b/tp/01-tp-choisir.md @@ -51,7 +51,7 @@ Sur l'intranet ou à formation@nech.pl - "Apprentissage Supervisé" - "Apprentissage Non Supervisé" - "Layer" -- "" +- "Métrique" --- @@ -85,7 +85,7 @@ Exemple: **Terminez les sections jusqu'à "_Call the functions to build and train a deep neural net_"**
-- Partagez les premières métriques `loss` et `mean_squared_error` obtenues avec votre modèle de réseau de neurones +- Partagez les premières métriques `loss` et `mean_squared_error` obtenues avec votre modèle de réseau de neurones - faites mieux que la régression linéaire :smirk: Exemple: ``` diff --git a/tp/02-tp-entrainer.md b/tp/02-tp-entrainer.md index c8d2bf8..420eb4c 100644 --- a/tp/02-tp-entrainer.md +++ b/tp/02-tp-entrainer.md @@ -5,7 +5,7 @@ color: #eee colorSecondary: #333 backgroundColor: #111 paginate: true -footer: "ML101 | TP1: Choisir un modèle | Paul-Louis Nech | INTECH 2022-2023" +footer: "ML101 | TP2: Entrainer un modèle | Paul-Louis Nech | INTECH 2022-2023" --- -# TP1: Choisir un modèle +# TP2: Entrainer un modèle TP3: Tester un modèle + + +--- + +Objectifs : +- Théorie : outils fondamentaux +- Pratique : entrainer un modèle +--- + +Format: Rendu écrit (fichier Markdown ou Doc avec une section par _Level_) +Sur l'intranet ou à formation@nech.pl + +
+ +**DEADLINE : 24 Janvier 23:59:59** + +
+ +> _Le cachet de mon mailserver faisant foi_. + +--- + +## Lvl 0: La base + +![bg right:35% w:300](https://www.meme-arsenal.com/memes/a6effdba5a540560c7b5ee616ee0f1f3.jpg) + + +###### Faites une phrase avec vos propres mots pour définir ce que veut dire: +FOO BAR BAZ + +--- + +## Lvl 1 : Utiliser checklist pour évaluer un modèle + +--- + + +## Lvl 2 : Break neural networks in your browser :fire: + +https://kennysong.github.io/adversarial.js/ \ No newline at end of file diff --git a/tp/04-tp-utiliser.md b/tp/04-tp-utiliser.md index e69de29..3ef0cf7 100644 --- a/tp/04-tp-utiliser.md +++ b/tp/04-tp-utiliser.md @@ -0,0 +1,32 @@ +--- +marp: true +theme: uncover +color: #eee +colorSecondary: #333 +backgroundColor: #111 +paginate: true +footer: "ML101 | TP4: Utiliser un modèle | Paul-Louis Nech | INTECH 2022-2023" +--- + + + +# TP4: Utiliser un modèle + + + + +https://github.com/TheLastBen/fast-stable-diffusion + + +https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/sd_dreambooth_training.ipynb#scrollTo=rscg285SBh4M + +https://github.com/huggingface/diffusers \ No newline at end of file -- libgit2 0.27.0