Fonte: New Ji-won

Este artigo sobre 1000 Word, leitura recomendada 5 minutos.

Este curso aborda os conceitos básicos de aprendizagem profunda, bem como de aprendizagem mais recente reforço, o GAN e assim por diante.

estudo aprofundado CMU começou a Queda! Speaker professores profundidade aprendendo curso é Daniel, Bhiksha Raj CMU Escola de Ciência da Computação, o curso aborda os conceitos básicos de aprendizagem profunda, bem como de aprendizagem mais recente reforço, o GAN e assim por diante.

estudo aprofundado e pesquisa no campo da CMU tem estado na vanguarda do mundo, é o material do curso quase introdutório de escolha, slides e programas de vídeo continuará a abrir com o progresso do curso , Você deseja que o sistema para aprender e dominar a aprendizagem profunda dos leitores não perca.

Descrição do curso

rede neural profundidade em nome de sistemas de "aprendizagem profunda" estão cada vez mais exibida suas proezas em várias tarefas AI, incluindo a compreensão da linguagem, fala e reconhecimento de imagem, de tradução automática, planejamento e até mesmo jogos e piloto automático. Portanto, aprender a compreender a profundidade de experiência tem sido gradualmente transformada nos insondáveis agora muitos problemas acadêmicos seniores deve dominar o conhecimento de fundo, a aprendizagem ea profundidade do talento no mercado de trabalho também tem uma grande vantagem.

Neste curso, iremos aprender o básico da profundidade de redes neurais e suas aplicações em várias tarefas AI. Após o término do curso, os alunos terão conhecimento suficiente dos tópicos do curso e da profundidade pode ser aplicado a várias tarefas de aprendizagem. Os alunos irão ler muito da literatura atual no campo, e expandir o seu conhecimento profissional através de novas pesquisas.

O conceito deste curso envolve muito abrangente. Ele irá ajudar os alunos a compreender a profundidade da fundação da aprendizagem. Os cursos começam falando do MLP (Multilayer Perceptron) e passar para conceitos mais complexos, como o modelo de atenção e modelos seqüência-a-sequência. Os alunos precisam compreender plenamente PyTorch, é importante para atingir modelo de aprendizagem profunda.

Como estudante, você vai aprender as ferramentas necessárias para construir modelo de aprendizagem profunda. Operações são geralmente tem duas partes, ou seja, Autolab e Kaggle . seção Kaggle nos permite explorar uma variedade de arquiteturas e aprender a ajustar e modelo de melhoria contínua. Todas as tarefas são trabalhos semelhantes, aprender a usar uma variedade de métodos para resolver a mesma tarefa aprendizado profundidade é muito interessante. No geral, no final deste curso, você terá confiança suficiente para modelo de aprendizagem de construção e profundidade sintonia.

Os instrutores do curso: Bhiksha Raj (bhiksha@cs.cmu.edu) TA: Ryan Brigden (rbrigden@andrew.cmu.edu) Raphael Franck Olivier (rolivier@andrew.cmu.edu) Sai Nihar Tadichetty (ntadiche@andrew.cmu.edu) Shubham Tripathi (shubhamt@andrew.cmu.edu) Soham Ghosh (sohamg @ andrew.cmu.edu) Madhura Das (madhurad@andrew.cmu.edu) Ipsita Prakash (iprakash@andrew.cmu.edu) Dhruv Shah (ddshah@andrew.cmu.edu) Shaden Shaar (sshaar@andrew.cmu.edu ) David Zhang (davidz1@andrew.cmu.edu) Anushree Prasanna Kumar (apkumar@andrew.cmu.edu) Ahmed Shah (mshah1@andrew.cmu.edu) Jiawei Yang (jiaweiy@andrew.cmu.edu) Omar Khattab para Doha (okhattab@cmu.edu) Nebiyou Yismaw para Kigali (nyismaw@andrew.cmu.edu) Pré-requisitos

1. Vamos usar um kit convencional (principalmente PyTorch). Toolkit usado píton Programação. Você precisa ser capaz de usar pelo menos uma linguagem de programação. Ou, você pode usar familiarizados linguagem de programação, mas deve encontrar sua própria aprendizagem e o kit correspondente.

2. Você precisa estar familiarizado com Basic Cálculo (diferenciação, a regra da cadeia), linear álgebra e Conhecimentos básicos de probabilidade .

material de ensino

Este curso não serão realizadas de acordo com um livro, mas irá selecionar um monte de informações. Listamos a bibliografia relevante, e irá fornecer links para materiais de leitura relacionados para cada unidade. Os alunos precisam estar familiarizados com esses materiais antes da aula. Leituras, por vezes, obscurecer, mas não se preocupe, nós vamos dar uma explicação mais simples na sala de aula.

• Fóruns de discussão: Praça
• Usamos Piazza discutir links:
• https://piazza.com/class/jhyyudofj9u4za

• Você pode aprender mais sobre A literatura diretório atual modelo :
• https://www.datasciencecentral.com/profiles/blogs/concise-visual-summary-of-deep-learning-architectures
• Se você ainda não podemos compreender plenamente, e nós esperamos que no final do curso, você pode entender a maioria da arquitetura e diretórios modelo wiki.

• Kaggle:
• Kaggle é uma plataforma muito popular para dados científicos, participantes do concurso por criar o melhor modelo para estudar ou analisar um conjunto de dados. O trabalho do curso terão de avaliar os resultados submetidos ao leaderboard Kaggle.

livros relacionados

• Profundo Aprender por Ian Goodfellow, Yoshua Bengio, livro Aaron Courville on-line de 2017
• Redes neurais e livro DeepLearning por Michael Nielsen Online de 2016
• Profundo de aprendizagem com PythonBy J. Brownlee
• Profundo Aprendizagem passo a passo com Python: A Very Gentil Introdução ao profundos Redes Neurais para Prático Ciência dados por N. D. Lewis
• Paralelas distribuídas Processamento por Rumelhart e McClelland Fora de catálogo de 1986

O conteúdo do curso

Palestra 1 (8,29):

• aprendizagem profunda Introdução
• currículo
• História e base cognitiva da computação neural
• Perceptron e Multilayer Perceptron

Slides: vídeo: https://www.youtube.com/watch?v=aPY-KC6zeeI

Palestra 2 (8.31):

• Redes Neurais: a aproximador universal

Slides:

Palestra 3 (9.5):

• Treinamento de uma rede neural
• regra de aprendizagem Perceptron
• ERM
• método de gradiente descendente, para optimizar

Palestra 4 (9.10):

• Back Propagation
• Cálculo aprendizagem back-propagação

Palestra 5 (9.12):

• Convergência de redes neurais
• taxa de convergência
• função de perda
• Métodos de aprendizagem e de taxa de optimização
• RMSProp, Adagrad, Momentum

Palestra 6 (9.17):

• gradiente descendente estocástica
• acelerar
• Over-montagem e regularização
• Dica: Select divergência (prejuízo) função, normalização Batch, Dropout

Palestra 7 (9.19):

• formação comentário
• Estudante Q & A

Palestra 8 (9.24):

• Continue o problema de otimização

Palestra 9 (9.26):

• rede neural convolucional (CNNs)
• Pesos como modelos
• invariância tradução
• Use formação partilha de parâmetros

Palestra 10 (10,1):

• visão Modelo
• máquina neurocognitiva (Neocognitron)
• detalhes matemáticos da CNN
• Alexnet, Inception, VGG

Palestra 11 (10,3):

• Recurrent Neural Network (RNNs)
• série Modeling
• propagação de volta no tempo
• Two-way RNN

Palestra 12 (10,8):

• Modelo de estabilidade
• explosão gradiente / desaparecer
• unidade de memória de curto e longo prazo (LSTM) e suas variantes
• Resnets

Palestra 13 (10.10):

• função de perda de laços em uma rede
• Previsão Series

Palestra 14 (10.15):

• sequência método para a sequência
• Connectionist classificação do tempo (CTC)

Palestra 15 (10.17):

• A seqüência (um exemplo da fala e linguagem) modelo de série, modelo de atenção

Palestra 16 (10,22):

• Que redes representam?
• Autoencoder e redução de dimensão
• Saiba representação

Palestra 17 (10.24):

• codificador automática variação (VAE)

Palestra 18 (10.29):

• Gerado contra a rede (Gans) uma primeira poro

Palestra 18 (10,31):

• Gerado contra a rede (Gans) uma segunda poro

Palestra 19 (11,5):

• rede neural Hopfield
• máquina de Boltzmann (Boltzmann Machines)

Palestra 20 (11,7):

• rede de formação Hopfield
• rede aleatória Hopfield

Palestra 21 (11.12):

• Restricted Boltzmann Máquina
• máquina de Boltzmann profundidade

Palestra 22 (11.14):

• Reforço de Aprendizagem 1

23. tensões (11.19):

• Reforço de Aprendizagem 2

Palestra 24 (11.21):

• feriado de Ação de graças

Palestra 25 (11.26):

• Reforço de Aprendizagem 3

O artigo 26 fala (11,28):

• Reforço de Aprendizagem 4

27 discurso (12.3):

• Reforço de Aprendizagem 4
• aprendizagem Q
• estudo aprofundado Q

Palestra 28 (12,5):

• Tendências no novo modelo e a profundidade de aprendizagem
• revisão do curso

CMU profunda aprendendo os primeiros trechos de aula de PPT Para mais informações, consulte o site oficial: