Métodos Estatísticos para Machine Learning

Página dedicada à disciplina Métodos Estatísticos para Machine Learning

A disciplina Métodos Estatísticos para Machine Learning tem como objetivo apresentar os principais fundamentos estatísticos que sustentam o desenvolvimento e a análise de métodos modernos de aprendizado de máquina. Ao longo do curso, são discutidos os modelos de regressão, desde uma introdução aos métodos paramétricos clássicos até extensões para cenários de altas dimensões, bem como abordagens não paramétricas e suas aplicações em contextos complexos.

Também são estudados métodos de classificação, enfatizando seus princípios estatísticos, propriedades teóricas e aspectos relacionados à avaliação e interpretação dos modelos. No âmbito do aprendizado não supervisionado, a disciplina aborda técnicas de redução de dimensionalidade, mudança de representação, análise de agrupamentos, regras de associação e sistemas de recomendação, discutindo seus fundamentos matemáticos e estatísticos.

Os tópicos são tratados com ênfase teórica, buscando desenvolver no estudante uma compreensão sólida dos princípios que fundamentam os algoritmos utilizados em machine learning, permitindo uma análise crítica de seus pressupostos, limitações e aplicações.

Ementa

Regressão: Introdução. Métodos paramétricos. Métodos paramétricos em altas dimensões. Métodos não paramétricos. Métodos não paramétricos em altas dimensões. Outros aspectos de regressão. Classificação: Introdução. Métodos de classificação. Outros aspectos de classificação. Aprendizado não supervisionado: Redução da dimensionalidade e Mudança de representação. Análise de Agrupamento. Regras de Associação. Sistemas de Recomendação.

Conteúdo Programático

Parte I – Regressão:

  • Introdução: Notação e suposições. Predição versus Inferência. As duas culturas. A função risco. Seleção de modelos: super e sub-ajuste. Tuning parameters.
  • Métodos paramétricos: O método dos mínimos quadrados. Mínimos quadrados quando a suposição de linearidade falha.
  • Métodos paramétricos em altas dimensões: Busca pelo melhor subconjunto de covariáveis. Regressão Stepwise. Lasso. Regressão Ridge.
  • Métodos não paramétricos: Séries ortogonais. Splines. Knn. Nadaraya-Watson. Regressão polinomial local. Métodos baseados em RKHSs. Arvores de regressão. Bagging e Florestas aleatórias. Boosting. Redes neurais artificiais.
  • Métodos não paramétricos em altas dimensões: Taxas de convergência e a maldição da dimensionalidade. Knn e Regressão linear local. Support Vectorc Regression. Florestas aleatórias.
  • Outros aspectos de regressão: Interpretabilidade. LIME. PDP e ICE.

Parte II – Classificação:

  • Introdução: Função de risco. Estimação do risco e seleção de modelos. Balanço entre Viés e Variância. Outras medidas de desempenho.
  • Métodos de classificação: Classificadores Plug-in. Support Vector Machines (SVM). Arvores de classificação. Bagging e Florestas aleatórias. Boosting. Knn. Redes neurais artificiais.
  • Outros aspectos de classificação: Assimetria na função de perda, conjuntos desbalanceados e outros cortes. Combinando classificadores.

Parte III – Aprendizado não supervisionado:

  • Redução de dimensionalidade e mudança de representação: PCA. Kernel PCA. Projeções aleatórias. Autoencoders.
  • Análise de agrupamento: k-médias. Agrupamento espectral. Métodos hierárquicos.
  • Regras de associação.
  • Sistemas de recomendação: Filtro colaborativo baseado no usuário. Filtro colaborativo baseado no produto. FunkSVD. Seleção de modelos.

Horário de Aulas

Neste semestre, as aulas da disciplina serão ministradas no LABEST II.

Dia Horário Local
Segunda-feira 19:00 - 20:40 LABEST II
Quarta-feira 21:00 - 22:40 LABEST II

Avaliações

Critérios de Avaliação

A nota final do semestre será computada da seguinte forma:

Atividade Liberação Entrega Pontos
A1 – Generalização e Regularização 16/09 27/09 20
A2 – Métodos Locais e Kernels 30/09 11/10 20
A3 – Desafio Supervisionado 26/10 22/11 20
A4 – Estruturas e Padrões 23/11 06/12 20
A5 – Sistemas de Recomendação 07/12 16/12 20

Ver todas as atividades

  • Exame Final: 21/12/26

Referências Bibliográficas

Bishop, Christopher M. 2006. Pattern Recognition and Machine Learning. Springer.
Devroye, Luc, László Györfi, and Gábor Lugosi. 1996. A Probabilistic Theory of Pattern Recognition. Springer.
Györfi, László, Michael Kohler, Adam Krzyzak, and Harro Walk. 2002. A Distribution-Free Theory of Nonparametric Regression. Springer.
Hastie, Trevor, Robert Tibshirani, and Jerome Friedman. 2009. The Elements of Statistical Learning. 2nd ed. Springer.
Izbicki, Rafael, and Tiago M. Santos. 2020. Aprendizado de Máquina: Uma Abordagem Estatística. 1st ed. São Carlos, SP: Casa do Código.
James, Gareth, Daniela Witten, Trevor Hastie, and Robert Tibshirani. 2013. An Introduction to Statistical Learning. Springer.
Lantz, Brett. 2013. Machine Learning with r. Packt Publishing.
Tan, Pang-Ning, Michael Steinbach, and Vipin Kumar. 2005. Introduction to Data Mining. Addison-Wesley.
Wasserman, Larry. 2004. All of Statistics: A Concise Course in Statistical Inference. Springer.
———. 2005. All of Nonparametric Statistics. Springer.