diff --git a/slides/00-intro.md b/slides/00-intro.md index e614a3c..59dbf1f 100644 --- a/slides/00-intro.md +++ b/slides/00-intro.md @@ -104,6 +104,8 @@ $$ I_{xx}=\int\int_Ry^2f(x,y)\cdot{}dydx $$ ##### - [DeepDream](https://en.wikipedia.org/wiki/DeepDream) +- [Pareidolia](https://en.wikipedia.org/wiki/Pareidolia) + ![bg left 100%](../tp/img/intech_dream.png) ---- @@ -159,6 +161,12 @@ _color: black - #### Senior ML Engineer @Algolia ![bg right](./img/01-me2.jpg) +--- + +## Et vous ? + + + --- ## C'est quoi ce cours ? @@ -327,6 +335,13 @@ This signifies, with successive layers, there is loss of information about the i --- Comment je sais ce que je sais pas ? + + + + + + + --- ## Underfitting @@ -340,6 +355,7 @@ Comment je sais ce que je sais pas ? + --- # Failures of ML @@ -385,6 +401,37 @@ REPLICATION CRISIS! Probleme commun dans toute la science, incentives, game theo + +--- + +Generative models + +https://thisxdoesnotexist.com/ + +--- + +# FaceApp + +![](https://cdn-images-1.medium.com/max/1024/1*XBEpvGfjv_xo7ebBYNVDNA.png) + + + +--- + +# GANs + +
+
+
+
+
+
+
+
+ +![bg 80%](https://www.pianshen.com/images/242/e94f2e3824d178f110112d865fbda65a.png) + + --- @@ -443,46 +490,72 @@ https://huggingface.co/spaces?sort=modified&search=galactica --- ChatGPT: + [Linda Problem](https://twitter.com/dggoldst/status/1598317411698089984) --- - + [Assumptions?](https://twitter.com/dggoldst/status/1598737445780164635) + --- + [Computing, Fast & Slow](https://twitter.com/stefanmherzog/status/1598397009161060359) --- + + [Math is hard tho](https://twitter.com/batwood011/status/1598389323979800576/photo/1) --- + [Risk preferences](https://twitter.com/mdahardy/status/1598139462122622976/photo/1) --- + [Conjuction fallacy](https://twitter.com/mdahardy/status/1598139470641262592/photo/1) --- -- See more: https://www.alignmentforum.org/posts/fFF3G4W8FbXigS4gr/cognitive-biases-in-large-language-models + +[Meta-cognition](https://twitter.com/mdahardy/status/1598139475451817984) --- + [Physical Reasoning: Windows](https://twitter.com/mdahardy/status/1598139488873897984/photo/1) -- But https://twitter.com/mdahardy/status/1598139493856743424 +- Yet [ordering lol](https://twitter.com/mdahardy/status/1598139493856743424) --- + [Physical Reasoning: Big Macs](https://twitter.com/mdahardy/status/1598139498357231616/photo/1) --- - + [Physical Reasoning: Napoleon](https://twitter.com/mdahardy/status/1598139507559518208) + + +--- +- See more: [AI Alignment Forum | Cognitive Biases in Large Language Models](https://www.alignmentforum.org/posts/fFF3G4W8FbXigS4gr/cognitive-biases-in-large-language-models) + --- TAY --> Interface problems! +![bg right fit vertical](https://mmp483.p3cdn1.secureserver.net/wp-content/uploads/2016/03/Tay-AI-Feature-Image-03232016.jpg?time=1670290595) +![bg right fit vertical invert](https://mmp483.p3cdn1.secureserver.net/wp-content/uploads/2016/03/Tay-AI-Feature-Image-03232016.jpg?time=1670290595) + +-> Interface matters! --- @@ -496,30 +569,80 @@ TAY --- ### Short-term goals vs long-term goals + + + + + + +--- + + +### Dangerous goals : +### L'histoire du _Paperclip maximizer_ + +- [Try it yourself](https://www.decisionproblem.com/paperclips/index2.html) with a Clicker game :P + + + +![bg crop blur](./img/00-paperclips.png) --- -### Dangerous goals : Paperclip maximizer? + +> ##### _Rare photographie d'un humain après déploiement du Paperclip Maximizer_ + + + + + + +![bg right crop](https://www.sunnyskyz.com/uploads/2020/05/tqz1n-clippy-office-prank-2.jpg) + --- + # C'est quoi du ML ? --- Un thermostat ? +![bg fit right 90%](https://www.simulace.info/images/NegativeF.jpg) + + --- -Sacs de ifs +ET un sac de ifs? + +![bg right fit](https://upload.wikimedia.org/wikipedia/commons/e/eb/Decision_Tree.jpg) + + --- Amazon mechanical turk + + + + +![bg right fit](https://upload.wikimedia.org/wikipedia/commons/thumb/6/6e/Racknitz_-_The_Turk_3.jpg/1920px-Racknitz_-_The_Turk_3.jpg) + + + --- -Eliza? Turing test ? -http://psych.fullerton.edu/mbirnbaum/psych101/Eliza.htm +[Eliza](http://psych.fullerton.edu/mbirnbaum/psych101/Eliza.htm)? Turing test ? + + + --- -Akinator ? -https://fr.akinator.com/game +Et [Akinator](https://fr.akinator.com/game) ? + --- Quelles limites aux possibilités du ML ? @@ -531,6 +654,7 @@ https://hbr.org/2016/11/what-artificial-intelligence-can-and-cant-do-right-now > **less than one second of thought**, > we can probably automate it using AI > either now or in the near future. + ~ Andrew Ng, [What AI can and can't do](https://hbr.org/2016/11/what-artificial-intelligence-can-and-cant-do-right-now) --- @@ -538,7 +662,16 @@ https://hbr.org/2016/11/what-artificial-intelligence-can-and-cant-do-right-now $$ X \Rightarrow Y $$ + + + +
+
+
+Voir [_A broad introduction to Feature Engineering_](https://medium.com/geekculture/a-broad-introduction-to-feature-engineering-ab27a9636f8a) --- @@ -559,14 +692,92 @@ Précision ![bg right:40% 90%](./img/01-precision.png) + + + + --- Rappel (_Recall_ ) ![bg right:40% 90%](./img/01-recall.png) + + + + + + + --- -Supervisé ou non +## Autres métriques ? + +
+
+
+ +- Voir [[TDS] 20 Popular Metrics](https://towardsdatascience.com/20-popular-machine-learning-metrics-part-1-classification-regression-evaluation-metrics-1ca3e282a2ce) + +--- + +Supervisé ou non? + +[Jeu] + + + + + +--- + + +Exemples d'algos supervisés + +--- + +- Linear Regression + +- Decision trees + +- Nearest Neighbor + +--- +Exemples d'algos non-supervisés + +--- +- Clustering, e.g. **K-means** +- Anomaly Detection + + +- Principal Component Analysis + --- + +--- + +### Perceptron + +![](https://miro.medium.com/max/1100/1*v88ySSMr7JLaIBjwr4chTw.webp) + + + --- + +![bg fit 50%](https://upload.wikimedia.org/wikipedia/commons/8/8a/Perceptron_example.svg) + + --- + + +## Multi-Layer Perceptron + +
+
+
+
+
+
+
+
+
+
+ +![bg fit 80%](https://miro.medium.com/max/1100/1*CJEBy3GCaGQKNx7PEy-w5w.webp) + + --- + +## Loss Function + +
+
+
+
+
+
+
+
+
+ +![bg fit 70%](https://arthurdouillard.com/deepcourse/introduction/lossfunction.webp) + + +--- +### Back to Dartmouth Summer of dreams + +- and improve themselves. + + +--> > We think that a significant advance can be made in one or more of these problems if a carefully selected group of scientists work on it together for a summer. --- + + +### (Gartner Hype Cycle) + +
+ +###### ☝ 🔺🔺🔺🔺🔺🔺🔺🔺🔺 We're here + +
+
+
+
+
+
+
+
+ +![bg fit 60%](https://upload.wikimedia.org/wikipedia/commons/thumb/9/94/Gartner_Hype_Cycle.svg/1920px-Gartner_Hype_Cycle.svg.png) + + +--- ### AI Winter: 1984 et autres déceptions +# ❄🤖❄ + ![bg right ](https://www.controcorrenteblog.com/wp-content/uploads/2015/09/Yann-LeCun-1.jpg) - [BackPropagation](http://yann.lecun.com/exdb/publis/pdf/lecun-89e.pdf) +- [Deep Learning](https://www.historyofdatascience.com/yann-lecun/) --- @@ -665,13 +967,66 @@ En janvier 2018, Yann Le Cun quitte son poste de chef de division en recherche s --- ### Geoffrey Hinton +![bg right](https://upload.wikimedia.org/wikipedia/commons/thumb/3/34/Geoffrey_Hinton_at_UBC.jpg/1024px-Geoffrey_Hinton_at_UBC.jpg) + + + --- + +![bg 60%](https://upload.wikimedia.org/wikipedia/commons/thumb/c/cc/Comparison_image_neural_networks.svg/1024px-Comparison_image_neural_networks.svg.png) + + + +
+
+
+
+
+
+
+
+
+
+
+ +#### LeNet vs AlexNet | [Learn the difference](https://programmathically.com/deep-learning-architectures-for-image-classification-lenet-vs-alexnet-vs-vgg/) + +--- + ### Andrew Ng +![bg fit right](https://upload.wikimedia.org/wikipedia/commons/a/a3/Andrew_Ng_WSJ_%282%29.jpg) + +- deeplearning.ai + +- "AI Optimist" + + --- ### Eliezer Yudkowsky + +- ###### [HELL OF AN] AI PESSIMIST - [Machine Intelligence Research Institute _[intelligence.org]_](https://intelligence.org/research/) - [LessWrong](lesswrong.com) & [Overcoming Bias](overcomingbias.com) - AI Box Experiments @@ -680,8 +1035,8 @@ En janvier 2018, Yann Le Cun quitte son poste de chef de division en recherche s --- ![bg 100%](./img/01-miri.png) @@ -689,8 +1044,8 @@ footer: "" --- ## LessWrong <3 @@ -704,6 +1059,42 @@ footer: "" --- -Conclusion: +## On résume + + + + + + + + + +--- + +### Conclusion: +> la route est _longue_, mais la voie est _libre_ +![bg right 90%](https://miro.medium.com/max/640/0*JWCLdKhz-0e_77tB.webp) + + + + + + + + + \ No newline at end of file diff --git a/slides/img/00-paperclips.png b/slides/img/00-paperclips.png new file mode 100644 index 0000000..26d7934 Binary files /dev/null and b/slides/img/00-paperclips.png differ diff --git a/tp/00-intro-tp.md b/tp/00-intro-tp.md index 2d0957a..bf0ebbd 100644 --- a/tp/00-intro-tp.md +++ b/tp/00-intro-tp.md @@ -22,8 +22,11 @@ Objectifs : - Découvrir ses limites avec quelques gros fails --- -Format: Rendu écrit (fichier Markdown ou Doc) +Format: Rendu écrit (fichier Markdown ou Doc avec une section par _Level_) Sur l'intranet ou à formation@nech.pl + +
+ **DEADLINE : 15 Décembre 23:59:59**
@@ -32,7 +35,36 @@ Sur l'intranet ou à formation@nech.pl --- -## Lvl 0: Jouer avec des LMs +## Lvl 0: La base + +![bg right:35% w:300](https://www.meme-arsenal.com/memes/a6effdba5a540560c7b5ee616ee0f1f3.jpg) + + +###### Faites une phrase avec vos propres mots pour définir ce que veut dire: +- "Apprendre" +- "Deep Learning" +- "Précision et Rappel" +- "Overfit" + +--- + +## Lvl 0.1: Bonus - dans la vraie vie + +- Réfléchissez à un exemple de produit ou service qui est "trop précis" : quel est le problème que ça pose à l'utilisateur ? +- Même question pour un "trop haut rappel" : quel problème? + +--- + +## Lvl 1: Les pionniers + +Parmi les figures historiques évoquées au premier cours, +choisissez en une. + +Lisez un peu sur cette personne, puis partagez ici quelque-chose qu'elle a dit ou fait que vous, personnellement, trouvez intéressant. + +--- + +## Lvl 2: Jouer avec des LMs 🕹

@@ -42,4 +74,29 @@ Sur l'intranet ou à formation@nech.pl - Une phrase de son output que vous trouvez risible _(expliquez pourquoi : qu'est-ce qu'il a si mal compris ?)_ ---- \ No newline at end of file +--- + + +## Lvl 2.1: Bonus - Testez OpenAI Codex + +- Créez votre compte sur OpenAI +- Testez OpenAI Codex : écrivez la signature et la docstring d'une fonction qui remplit un besoin simple (valider qu'un username correspond à X, valider qu'un nombre a telle propriété, etc), puis laissez le modèle générer son code. +- Partagez le code généré, et en quelques mots votre opinion : quelles forces ? quelles faiblesses ? quels avantages ou risques à s'en servir au boulot ? + +--- + +### Lvl 3: Jouer avec des Image Models + +- Ouvrez "ThisPersonDoesNotExist" et dites en quelques mots votre impression sur la qualité des images générées. +- Ouvrez "ThisXDoesNotExist", choisissez un autre modèle, et commentez sa qualité. + +--- + +### Lvl3 Bonus: Votre propre génération d'image + +Utilisez MidJourney, CrAIyon (Dall-E Mini), StableDiffusion ou DeepDreamGenerator pour créer une image basée sur un prompt textuel ou sur du style transfer. + +Incluez votre résultat préféré dans ce rendu et commentez : +- Où-est-ce que le modèle excelle ? +- Où-est-ce que le modèle échoue ? +- Avez vous essayé un autre sujet d'abord, que le modèle a échoué à réaliser ? \ No newline at end of file