BIOS 362 Advances Statistical Inference (Statistical Learning) Matthew S. Shotwell, Ph.D. Data Science Institute Vanderbilt University Nashville, TN, USA January 6, 2020
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
BIOS 362 Advances Statistical Inference(Statistical Learning)
Matthew S. Shotwell, Ph.D.
Data Science InstituteVanderbilt UniversityNashville, TN, USA
January 6, 2020
My Bio
I Matthew (Matt) S. Shotwell, Ph.D.
I Assoc. Prof. in Biostatistics
I 9 years at VU/VUMC
I 70% Biomed. Research / 30% Teaching
I R user 10+ years
I Teach “Statistical Learning” (BIOS 8362); 5 years
I Hastie et al. Elements of Statistical Learning
Why study Machine Learning and Statistics?
source: https://towardsdatascience.com/introduction-to-statistics-e9d72d818745
Why study Machine Learning and Statistics?
source: https://everett.wsu.edu/majorsdegrees/data_analytics/
Why study Machine Learning and Statistics?
Impact!
Data scientists:
I Can contribute to almost any worthwhile effort
I Can have large-scale impact
I Are the first to “know”
I Provide crucial interpretation
Why study Machine Learning in R?
Employers are increasingly looking for data scientists andstatisticians with experience using R. From indeed.com:
source: http://blog.revolutionanalytics.com/2017/02/job-trends-for-r-and-python.html
Why study Machine Learning in R?
Employers are increasingly looking for data scientists andstatisticians with experience using R. From indeed.com:
source: http://blog.revolutionanalytics.com/2017/02/job-trends-for-r-and-python.html
Course Overview
I Syllabus:
I http://biostat.mc.vanderbilt.edu/wiki/Main/
CourseBios362
I Prediction vs. Inference
I Principles of Machine Learning
I Regression Modeling Methods
I Supervised Learning
I Unsupervised Learning
I Statistical Inference
Prediction vs. Inference
Generally two types of tasks:
I Prediction: Is this a picture of a cat or a dog?
I Inference: Does greenhouse gas affect global averagetemperature?
Prediction vs. Inference
Generally two types of tasks:
I Prediction: What’s the probability that Dr. Shotwell willsurvive the semester?
I Inference: How does student effort in class affect thehappiness of instructors?
Prediction vs. Inference
Generally two types of tasks:
I Prediction: Predicting an outcome.
I Inference: Making inferences about an unknown structure,mechanism, or relationship: e.g., effect of an exposure on anoutcome.
I Need to ask: What is my primary task?
I Need to ask: Can I do both at the same time?
I Need to ask: What to consider when doingprediction/inference? Principles of prediction/ML.
Machine learning
source: https://www.wordstream.com/blog/ws/2017/07/28/machine-learning-applications
Supervised learning
I Primarily used for prediction (versus inference)
I Have input (‘features’) AND output (‘target’)
I Create a model (‘learner’) using observed inputs and outputs
I Goal is to predict outputs from new inputs
I “Supervised” because both inputs and outputs to guide model
source: https://www.quora.com/What-is-pattern-recognition
Elements of Statistical Learning (2nd Ed.) c©Hastie, Tibshirani & Friedman 2009 Chap 1
lpsa
−1 1 2 3 4
oo oooo ooo ooo ooooo oo o o oo oo ooo o ooo ooo ooo ooo oo ooo oo ooo oo o ooooo oo o oooo ooo o ooo o ooo oooo oooo ooo oo ooo o
ooo
o oo ooo oooo oooo oo ooo ooooo oo ooo o ooo oo ooo ooo ooooo oooo o oo oo oo o oo ooo oo ooo o ooo oo oo ooo oo o oooo oo oo oo ooo o o
40 50 60 70 80
o o oooo ooo oooo oo o ooo oooo o oooooooo oo oo oo oo o ooo oo ooo oooo oo ooo oo oo oooo o oooo ooo oo o ooooo ooo oo oo ooo oo
o oo
oooooo o oooo ooooo ooo oo oo o ooo ooo ooooo ooo oooo oo oo ooo oo oooo oo oo o ooo oo o o oo oo oo oo o oooo ooo o oo ooo oo oooo oo
0.0 0.4 0.8
oooooooooooooooooooooooooooooooooooooo oooooooo ooooooooooooooo oo ooooooo oo oooooo oooo ooo oo oooo oo
oooo
oooooooooooo oo oo o oooo oo ooo oo o ooooo oo oo oooo o ooo ooo ooo o ooo ooooo oo oo o ooo o oo o o o ooo ooo oo oo oo o oooo o o
oo o
6.0 7.0 8.0 9.0
oo oooooooooo oooo ooooo oo ooo ooooooooo o oooo ooo ooo oooo oo oooooo ooo o ooo oooo oooo oooooooooo oooo oooo oo
oooo
01
23
45
oo oooooooooo oooo ooooo oo ooo oo oooooooo oo oo oooo oo oooo oo ooo ooo o oo o ooo o oooo ooo oo o oo ooo oo oo oo o o oo o oo
o oo
−1
12
34
oooo
o
o
oo
o
oo
o
oooo
o
o
oo
o
o
o
o
o
o
o
o
o
o
oo
o
oo
oo
o
o
oooo
ooo
o
ooooo
o
o
o
oooooo
ooooooo
o
ooooo
oo
oooo
o
ooo
o
o
oo
o
o
ooo
o
ooo
lcavolo
oo
o
o
o
oo
o
o o
o
oo oo
o
o
oo
o
o
o
o
o
o
o
o
o
o
oo
o
oo
oo
o
o
ooo
o
ooo
o
ooo o
o
o
o
o
ooo oo
o
oo
ooooo
o
oo
o oo
oo
ooo o
o
o oo
o
o
oo
o
o
oo o
o
o oo
oo
oo
o
o
oo
o
oo
o
o oo o
o
o
oo
o
o
o
o
o
o
o
o
o
o
oo
o
o o
o o
o
o
o oo
o
o oo
o
oo
ooo
o
o
o
ooo o
oo
oo
ooo
o o
o
oo
ooo
oo
oooo
o
o oo
o
o
o o
o
o
oo o
o
o oo
oooo
o
o
o o
o
oo
o
oooo
o
o
oo
o
o
o
o
o
o
o
o
o
o
oo
o
oo
oo
o
o
ooo
o
o oo
o
oo
ooo
o
o
o
oooo
oo
oo
ooo
o o
o
oo
ooo
o o
oooo
o
oo o
o
o
oo
o
o
ooo
o
o oo
oooo
o
o
oo
o
oo
o
oooo
o
o
oo
o
o
o
o
o
o
o
o
o
o
oo
o
oo
oo
o
o
oooo
ooo
o
ooooo
o
o
o
oooooo
oo
ooooo
o
oo
o oo
oo
oo oo
o
o oo
o
o
o o
o
o
ooo
o
ooo
oooo
o
o
oo
o
oo
o
oo oo
o
o
oo
o
o
o
o
o
o
o
o
o
o
oo
o
o o
o o
o
o
ooo
o
ooo
o
oo
ooo
o
o
o
o ooooo
oo
ooo
oo
o
oo
o oo
o o
oo oo
o
oo o
o
o
o o
o
o
oo o
o
ooo
oo
oo
o
o
oo
o
oo
o
oooo
o
o
oo
o
o
o
o
o
o
o
o
o
o
oo
o
oo
o o
o
o
o oo
o
ooo
o
ooo oo
o
o
o
ooo o
oo
oo
ooooo
o
oooo
o
oo
oooo
o
oo o
o
o
o o
o
o
ooo
o
ooo
oo
oo
o
o
oo
o
oo
o
oooo
o
o
oo
o
o
o
o
o
o
o
o
o
o
oo
o
oo
o o
o
o
o oo
o
o oo
o
ooo oo
o
o
o
ooo o
oo
oo
ooo
oo
o
oo
ooo
o o
oo oo
o
oo o
o
o
o o
o
o
oo o
o
o oo
o
o
o
o oooooooo
oo
oo
ooo
oooooo
o
oo
oo
oo
ooo
o
o
o
o
oo
ooo
oo
oo
oo
oo
o
o
o
o
o
o
oo
o
ooooooooo
oo
o
o
o
o
oo
oo
oo
oooooo
o
oo
ooo
ooo
o
o
o
o oo
oooooo
oo
oo
o oo
oo oo o
o
o
oo
oo
oo
ooo
o
o
o
o
oo
oo o
oo
oo
oo
oo
o
o
o
o
o
o
oo
o
oo
oo
o oo
oo
oo
o
o
o
o
o o
oo
oo
oooo
oo
o
oo
oo o
oo
o
lweighto
o
o
o oo
oooooo
o o
oo
ooo
oooo o
o
o
oo
oo
oo
oo o
o
o
o
o
o o
ooo
oo
oo
o o
oo
o
o
o
o
o
o
oo
o
oo
oo
o oo
oo
oo
o
o
o
o
o o
oo
oo
oooo
oo
o
oo
ooo
ooo
o
o
o
oooo oo
oo o
oo
oo
ooo
oo oo o
o
o
o o
oo
oo
ooo
o
o
o
o
oo
ooo
oo
oo
o o
oo
o
o
o
o
o
o
oo
o
oo
oo
o oo
oo
oo
o
o
o
o
oo
oo
oo
o o oo
oo
o
oo
ooo
oo
o
o
o
o
ooooooooo
oo
oo
ooo
oooooo
o
oo
oo
oo
ooo
o
o
o
o
oo
ooo
oo
oo
oo
oo
o
o
o
o
o
o
oo
o
oo
ooooooo
oo
o
o
o
o
oo
oo
oo
oooo
oo
o
oo
ooo
ooo
o
o
o
ooooooooo
oo
oo
o oo
oo oo oo
o
oo
oo
oo
oo o
o
o
o
o
oo
oo o
oo
oo
o o
oo
o
o
o
o
o
o
oo
o
oo
oo
o oo
oo
oo
o
o
o
o
oo
oo
oo
o ooo
oo
o
oo
oo o
oo
o
o
o
o
ooooooooo
oo
oo
ooo
oo oo oo
o
oo
oo
oo
ooo
o
o
o
o
o o
oo o
oo
oo
oo
oo
o
o
o
o
o
o
oo
o
oo
oo
ooo
oo
oo
o
o
o
o
oo
oo
oo
o ooo
oo
o
oo
ooo
ooo
2.5
3.5
4.5
o
o
o
ooooooooo
oo
oo
ooo
oo oo oo
o
oo
oo
oo
ooo
o
o
o
o
o o
ooo
oo
oo
oo
oo
o
o
o
o
o
o
oo
o
oo
oo
o oo
oo
oo
o
o
o
o
oo
oo
oo
o ooo
oo
o
oo
ooo
oo
o
4050
6070
80
o
o
o
oo
o
oo
o
ooooo
o
ooo
o
o
ooooooooooooo
o
oo
o
oo
oo
ooooo
o
o
o
ooooo
o
o
oo
o
o
o
o
oooo
oooo
o
o
o
o
oooo
ooo
o
o
oooooo
o
o
o
o
o
o
oo
o
o
o
oo
o
oo
o
ooo oo
o
oo
o
o
o
o ooo
o ooo o ooo
o
o
o o
o
oo
oo
oo o
oo
o
o
o
oooo
o
o
o
oo
o
o
o
o
ooo
o
oo
oo
o
o
o
o
ooo
o
oo
o
o
o
oo
oo
oo
o
o
o
o
o
o
o o
o
o
o
oo
o
oo
o
o oooo
o
ooo
o
o
oooo
ooooo o oo
o
o
o o
o
oo
oo
ooo
oo
o
o
o
o ooo
o
o
o
o o
o
o
o
o
ooo
o
oo
oo
o
o
o
o
oooo
oo
o
o
o
oo
oo
oo
o
o
o
o
o
o
o o
ageo
o
o
oo
o
oo
o
oo ooo
o
oo
o
o
o
o ooo
ooo ooo oo
o
o
o o
o
oo
oo
oooo
o
o
o
o
oooo
o
o
o
o o
o
o
o
o
ooo
o
oo
oo
o
o
o
o
o ooo
oo
o
o
o
oo
oo
oo
o
o
o
o
o
o
oo
o
o
o
oo
o
oo
o
ooooo
o
ooo
o
o
ooooooooooooo
o
oo
o
oo
oo
ooooo
o
o
o
ooooo
o
o
oo
o
o
o
o
ooo
o
oooo
o
o
o
o
oooo
ooo
o
o
oo
oo
oo
o
o
o
o
o
o
oo
o
o
o
oo
o
oo
o
ooo oo
o
oo
o
o
o
o ooo
oooo o ooo
o
o
oo
o
oo
oo
oo oo
o
o
o
o
ooo o
o
o
o
oo
o
o
o
o
ooo
o
oo
oo
o
o
o
o
o oo
o
oo
o
o
o
oo
oo
oo
o
o
o
o
o
o
o o
o
o
o
oo
o
oo
o
ooo oo
o
oo
o
o
o
o ooo
oooooooo
o
o
o o
o
oo
oo
oo o
oo
o
o
o
o oo o
o
o
o
oo
o
o
o
o
oooo
oo
oo
o
o
o
o
oooo
ooo
o
o
ooo
ooo
o
o
o
o
o
o
oo
o
o
o
oo
o
oo
o
ooo oo
o
oo
o
o
o
o ooo
oooo oooo
o
o
oo
o
oo
oo
ooo
oo
o
o
o
o oo o
o
o
o
oo
o
o
o
o
ooo
o
oo
oo
o
o
o
o
o oo
o
oo
o
o
o
oo
oo
oo
o
o
o
o
o
o
oo
oooo oo
o
o
ooo
o
oooo
o
oo
o
o
o
o
o
o
o
o
o
o
o
ooo
oo
o
o
o
oo
oo
o
o
o
o
oo
o
o
o
ooo
o
o
o
o
o
o
o
o
o
o
o
ooo
o
o
o
o
o
o
o
o
oo
oo
oo
o
oo
o
o
oo
o
o
o
ooo
o
o
oo oo oo
o
o
o oo
o
oooo
o
oo
o
o
o
o
o
o
o
o
o
o
o
oo
o
oo
o
o
o
oo
o o
o
o
o
o
oo
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
ooo
o
o
o
o
o
o
o
o
o o
oo
o o
o
oo
o
o
o o
o
o
o
o oo
o
o
o oo ooo
o
o
oo o
o
oo oo
o
oo
o
o
o
o
o
o
o
o
o
o
o
oo
o
oo
o
o
o
oo
o o
o
o
o
o
oo
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
oo
o o
o o
o
oo
o
o
o o
o
o
o
ooo
o
o
o o oo oo
o
o
o oo
o
o oo o
o
oo
o
o
o
o
o
o
o
o
o
o
o
oo
o
o o
o
o
o
oo
o o
o
o
o
o
oo
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o o
oo
oo
o
oo
o
o
oo
o
o
o
oo o
o
o lbph
oooooo
o
o
ooo
o
oooo
o
oo
o
o
o
o
o
o
o
o
o
o
o
ooo
oo
o
o
o
oo
oo
o
o
o
o
oo
o
o
o
ooo
o
o
o
o
o
o
o
o
o
o
o
ooo
o
o
o
o
o
o
o
o
oo
oo
oo
o
oo
o
o
oo
o
o
o
ooo
o
o
oooooo
o
o
ooo
o
oo oo
o
oo
o
o
o
o
o
o
o
o
o
o
o
ooo
o o
o
o
o
oo
oo
o
o
o
o
oo
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
oo
oo
o o
o
oo
o
o
o o
o
o
o
o oo
o
o
oo oooo
o
o
ooo
o
oooo
o
oo
o
o
o
o
o
o
o
o
o
o
o
ooo
oo
o
o
o
oo
oo
o
o
o
o
oo
o
o
o
ooo
o
o
o
o
o
o
o
o
o
o
o
ooo
o
o
o
o
o
o
o
o
oo
oo
oo
o
oo
o
o
oo
o
o
o
ooo
o
o
−1
01
2
oo oooo
o
o
ooo
o
oooo
o
oo
o
o
o
o
o
o
o
o
o
o
o
ooo
oo
o
o
o
oo
oo
o
o
o
o
oo
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
oo
oo
o o
o
oo
o
o
o o
o
o
o
ooo
o
o
0.0
0.4
0.8
oooo oooooooooooooooooooooooooooooooooo
o
ooooooo
o
oooooooooooooo
o
o
o
oooooo
o
o
oooo
oo
o
ooo
o
oo
o
o
ooo
o
oooooo
oo oo oo ooo ooo ooooo oo o o oo oo ooo o ooo ooo ooo
o
oo oo ooo
o
o ooo oo o ooooo oo
o
o
o
oo ooo o
o
o
o o oo
o o
o
oo o
o
oo
o
o
o oo
o
oo ooo o
o oo ooo oooo oooo oo ooo ooooo oo ooo o ooo oo ooo
o
oo ooooo
o
ooo o oo oo oo o oo o
o
o
o
o ooo o o
o
o
oo oo
oo
o
oo o
o
oo
o
o
o oo
o
o ooo o o
o o oo oo ooo oooo oo o ooo oooo o oooooooo oo oo oo
o
o o ooo oo
o
oo oooo oo ooo oo o
o
o
o
oo o ooo
o
o
oo oo
o o
o
ooo
o
oo
o
o
oo o
o
o oo o oo
oooooo o oooo ooooo ooo oo oo o ooo ooo ooooo ooo
o
ooo oo oo
o
oo oo oooo oo oo o o
o
o
o
o o o oo o
o
o
o oo o
oo
o
o oo
o
o o
o
o
oo o
o
oooo oo
svi
oooooooooooo oo oo o oooo oo ooo oo o ooooo oo oo
o
ooo o ooo
o
oo ooo o ooo ooooo
o
o
o
o o ooo o
o
o
o o o o
oo
o
oo o
o
oo
o
o
o oo
o
o o ooo o
oo oooooooooo oooo ooooo oo ooo ooooooooo o oo
o
o ooo ooo
o
ooo oo oooooo ooo
o
o
o
o oooo o
o
o
o ooo
oo
o
ooo
o
oo
o
o
ooo
o
oooooo
oo oooooooooo oooo ooooo oo ooo oo oooooooo oo
o
o oooo oo
o
ooo oo ooo ooo o oo
o
o
o
o o oooo
o
o
o oo o
oo
o
oo o
o
oo
o
o
o o o
o
o ooo oo
oooo oooooooo
o
o
o
o
o
o
ooo
o
o
o
oooo
o
o
oooooo
o
o
o
o
oo
o
o
o
o
o
o
oooo
o
o
oo
o
oooo
ooo
o
o
o
o
oo
o
o
o
ooo
o
o
o
oo
o
o
o
o
o
o
o
o
o
oo
o
oo
o
o
oo oo oo ooo ooo
o
o
o
o
o
o
o o o
o
o
o
o oo
o
o
o
oo oo
oo
o
o
o
o
o o
o
o
o
o
o
o
ooo o
o
o
oo
o
oo oo
oo
o
o
o
o
o
oo
o
o
o
ooo
o
o
o
oo
o
o
o
o
o
o
o
o
o
oo
o
oo
o
o
o oo ooo oooo oo
o
o
o
o
o
o
o oo
o
o
o
oooo
o
o
ooo o
oo
o
o
o
o
o o
o
o
o
o
o
o
oo
o o
o
o
o o
o
o oo o
oo
o
o
o
o
o
oo
o
o
o
oo
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
oo
o
oo
o
o
o o oo oo ooo ooo
o
o
o
o
o
o
o oo
o
o
o
oooo
o
o
oo oo
oo
o
o
o
o
o o
o
o
o
o
o
o
oo
oo
o
o
o o
o
o oo o
oo
o
o
o
o
o
oo
o
o
o
ooo
o
o
o
oo
o
o
o
o
o
o
o
o
o
oo
o
o o
o
o
oooooo o oooo o
o
o
o
o
o
o
o oo
o
o
o
ooo
o
o
o
oooo
oo
o
o
o
o
oo
o
o
o
o
o
o
oo
o o
o
o
o o
o
oo o o
oo
o
o
o
o
o
oo
o
o
o
oo
o
o
o
o
o o
o
o
o
o
o
o
o
o
o
o o
o
oo
o
o
oooooooooooo
o
o
o
o
o
o
ooo
o
o
o
oooo
o
o
oooooo
o
o
o
o
oo
o
o
o
o
o
o
oooo
o
o
oo
o
oooo
oo
o
o
o
o
o
oo
o
o
o
ooo
o
o
o
oo
o
o
o
o
o
o
o
o
o
o o
o
oo
o
o
lcp
oo oooooooooo
o
o
o
o
o
o
ooo
o
o
o
oooo
o
o
ooooo
o
o
o
o
o
oo
o
o
o
o
o
o
oo
oo
o
o
oo
o
o ooo
oo
o
o
o
o
o
oo
o
o
o
ooo
o
o
o
oo
o
o
o
o
o
o
o
o
o
o o
o
oo
o
o
−1
01
23
oo oooooooooo
o
o
o
o
o
o
ooo
o
o
o
ooo
o
o
o
oooooo
o
o
o
o
oo
o
o
o
o
o
o
oo
oo
o
o
o o
o
o o oo
oo
o
o
o
o
o
oo
o
o
o
oo
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o o
o
oo
o
o
6.0
7.0
8.0
9.0
oo
o
o oooooooo
ooo
o
o
oooo
o
o
o
oo
ooo
oooooo
o
o
ooo
o
o
o
ooo
o
o
oo
o
o
ooooo
o
oo
o
o
o
o
o
ooo
o
oooo
o
ooooooooo
o
oo
o
ooo
o
oooooo
oo
o
o oo ooo ooo
ooo
o
o
oo o o
o
o
o
o o
oo o
ooo ooo
o
o
o oo
o
o
o
ooo
o
o
oo
o
o
o o ooo
o
o o
o
o
o
o
o
o oo
o
o ooo
o
ooo oooo oo
o
o o
o
o oo
o
oo ooo o
o o
o
ooo oooo oo
oo o
o
o
oo oo
o
o
o
oo
ooo
o ooo oo
o
o
o oo
o
o
o
ooo
o
o
oo
o
o
o oo oo
o
oo
o
o
o
o
o
ooo
o
ooo o
o
oo ooo oo o o
o
oo
o
o oo
o
o ooo o o
o o
o
o oo ooo ooo
o oo
o
o
oo oo
o
o
o
oo
ooo
ooo oo o
o
o
o oo
o
o
o
o oo
o
o
o o
o
o
o oo oo
o
oo
o
o
o
o
o
o o o
o
oo oo
o
oo o ooooo o
o
o o
o
oo o
o
o oo o oo
oo
o
ooo o oooo o
ooo
o
o
oo oo
o
o
o
oo
o oo
o ooooo
o
o
o oo
o
o
o
o oo
o
o
o o
o
o
ooo oo
o
o o
o
o
o
o
o
o o o
o
oo oo
o
o o oooo ooo
o
oo
o
oo o
o
oooo oo
oo
o
ooooooooo
ooo
o
o
oooo
o
o
o
oo
ooo
oooooo
o
o
o oo
o
o
o
ooo
o
o
oo
o
o
ooooo
o
oo
o
o
o
o
o
ooo
o
o oo o
o
oooo oooo o
o
o o
o
ooo
o
oooooo
oo
o
ooooooooo
oo o
o
o
oooo
o
o
o
oo
oo o
ooooo o
o
o
o oo
o
o
o
ooo
o
o
o o
o
o
o ooo o
o
oo
o
o
o
o
o
o oo
o
o oo o
o
o ooo ooo oo
o
o o
o
o oo
o
o o ooo ogleason
oo
o
ooooooooo
ooo
o
o
oooo
o
o
o
oo
oo o
oooooo
o
o
o oo
o
o
o
o oo
o
o
oo
o
o
ooo oo
o
o o
o
o
o
o
o
o oo
o
o ooo
o
o o oo ooo oo
o
o o
o
o o o
o
o ooo oo
0 1 2 3 4 5
oo
o
o oooooooo
o
ooo
o
oooo
o
o
o
oo
o
o
o
ooooooooo
o
o
o
ooooo
o
o
oo
o
o
o
o
oooo
o
o
o
o
o
o
o
o
o
ooo
o
oo
o
o
oo
o
o
oo
o
o
o
o
o
o
o
oo
oo
o
o
o
o
o
oo
o
o oo ooo ooo
o
ooo
o
oo o o
o
o
o
o o
o
o
o
ooo ooo ooo
o
o
o
oo o
oo
o
o
oo
o
o
o
o
oo
oo
o
o
o
o
o
o
o
o
o
oo o
o
oo
o
o
oo
o
o
oo
o
o
o
o
o
o
o
oo
oo
o
o
o
o
o
2.5 3.5 4.5
o o
o
ooo oooo oo
o
o oo
o
oo oo
o
o
o
oo
o
o
o
o ooo oo ooo
o
o
o
ooo
oo
o
o
oo
o
o
o
o
oo
o o
o
o
o
o
o
o
o
o
o
oo o
o
o o
o
o
oo
o
o
oo
o
o
o
o
o
o
o
oo
oo
o
o
o
o
o
o o
o
o oo ooo ooo
o
oo o
o
oo oo
o
o
o
oo
o
o
o
ooo oo oooo
o
o
o
ooo
oo
o
o
o o
o
o
o
o
oo
oo
o
o
o
o
o
o
o
o
o
ooo
o
oo
o
o
oo
o
o
oo
o
o
o
o
o
o
o
oo
oo
o
o
o
o
o
−1 0 1 2
oo
o
ooo o oooo o
o
ooo
o
oo oo
o
o
o
oo
o
o
o
o ooooo ooo
o
o
o
ooooo
o
o
o o
o
o
o
o
oo
o o
o
o
o
o
o
o
o
o
o
oo o
o
oo
o
o
oo
o
o
oo
o
o
o
o
o
o
o
oo
oo
o
o
o
o
o
oo
o
ooooooooo
o
ooo
o
oooo
o
o
o
oo
o
o
o
ooooooooo
o
o
o
ooooo
o
o
oo
o
o
o
o
oooo
o
o
o
o
o
o
o
o
o
ooo
o
o o
o
o
oo
o
o
oo
o
o
o
o
o
o
o
oo
oo
o
o
o
o
o
−1 0 1 2 3
oo
o
ooooooooo
o
o oo
o
oooo
o
o
o
oo
o
o
o
ooooo oooo
o
o
o
oo ooo
o
o
o o
o
o
o
o
oo
oo
o
o
o
o
o
o
o
o
o
oo o
o
o o
o
o
oo
o
o
oo
o
o
o
o
o
o
o
oo
oo
o
o
o
o
o
oo
o
ooooooooo
o
ooo
o
oooo
o
o
o
oo
o
o
o
oooooo ooo
o
o
o
oo o
oo
o
o
oo
o
o
o
o
oooo
o
o
o
o
o
o
o
o
o
oo o
o
oo
o
o
oo
o
o
oo
o
o
o
o
o
o
o
oo
oo
o
o
o
o
o
0 20 60 100
020
6010
0
pgg45
FIGURE 1.1. Scatterplot matrix of the prostate can-cer data. The first row shows the response against eachof the predictors in turn. Two of the predictors, svi
and gleason, are categorical.
Unsupervised learning
I Have only input, no output
I Discover organization or clustering of input
I Prediction or inference task?
source: https://www.leverege.com/blogpost/machine-learning-course-iot
I Gene expression array
I Rows - tumor samples
I Cols - genes
I Green - overexpressed
I Red - underexpressed
I Similar samples?
I Similar genes?
Elements of Statistical Learning (2nd Ed.) c©Hastie, Tibshirani & Friedman 2009 Chap 1
SID42354SID31984SID301902SIDW128368SID375990SID360097SIDW325120ESTsChr.10SIDW365099SID377133SID381508SIDW308182SID380265SIDW321925ESTsChr.15SIDW362471SIDW417270SIDW298052SID381079SIDW428642TUPLE1TUP1ERLUMENSIDW416621SID43609ESTsSID52979SIDW357197SIDW366311ESTsSMALLNUCSIDW486740ESTsSID297905SID485148SID284853ESTsChr.15SID200394SIDW322806ESTsChr.2SIDW257915SID46536SIDW488221ESTsChr.5SID280066SIDW376394ESTsChr.15SIDW321854WASWiskottHYPOTHETICSIDW376776SIDW205716SID239012SIDW203464HLACLASSISIDW510534SIDW279664SIDW201620SID297117SID377419SID114241ESTsCh31SIDW376928SIDW310141SIDW298203PTPRCSID289414SID127504ESTsChr.3SID305167SID488017SIDW296310ESTsChr.6SID47116MITOCHONDRChrSIDW376586HomosapiensSIDW487261SIDW470459SID167117SIDW31489SID375812DNAPOLYMESID377451ESTsChr.1MYBPROTOSID471915ESTsSIDW469884HumanmRNASIDW377402ESTsSID207172RASGTPASESID325394H.sapiensmRNGNALSID73161SIDW380102SIDW299104
BR
EA
ST
RE
NA
LM
ELA
NO
MA
ME
LAN
OM
AM
CF
7D-r
epro
CO
LON
CO
LON
K56
2B-r
epro
CO
LON
NS
CLC
LEU
KE
MIA
RE
NA
LM
ELA
NO
MA
BR
EA
ST
CN
SC
NS
RE
NA
LM
CF
7A-r
epro
NS
CLC
K56
2A-r
epro
CO
LON
CN
SN
SC
LCN
SC
LCLE
UK
EM
IAC
NS
OV
AR
IAN
BR
EA
ST
LEU
KE
MIA
ME
LAN
OM
AM
ELA
NO
MA
OV
AR
IAN
OV
AR
IAN
NS
CLC
RE
NA
LB
RE
AS
TM
ELA
NO
MA
OV
AR
IAN
OV
AR
IAN
NS
CLC
RE
NA
LB
RE
AS
TM
ELA
NO
MA
LEU
KE
MIA
CO
LON
BR
EA
ST
LEU
KE
MIA
CO
LON
CN
SM
ELA
NO
MA
NS
CLC
PR
OS
TA
TE
NS
CLC
RE
NA
LR
EN
AL
NS
CLC
RE
NA
LLE
UK
EM
IAO
VA
RIA
NP
RO
ST
AT
EC
OLO
NB
RE
AS
TR
EN
AL
UN
KN
OW
N
FIGURE 1.3. DNA microarray data: expression ma-
Unsupervised learning
I Have only input, no output
I Dimension reduction of imput
source:
https://hackernoon.com/a-laymans-introduction-to-principal-components-2fca55c19fa0
(Statistical) Inference
I Populations, samples, sampling biases
I How methods and tools for inference relate to those for ML
I Fundamentals of frequentist statistics
source: https://mahritaharahap.wordpress.com/teaching-areas/inferential-statistics/
Related Documents
