rede de Lei Feng AI Technology Review aprendi que a recente Laboratório Conjunto Universidade Tsinghua de Ciência da Informação e Tecnologia, Estado Key Laboratório de sistemas de tecnologia inteligente, Centro de Pesquisa de Computação bio-inspirado com a Universidade de Tsinghua e da Escola de Ciência da Computação e Tecnologia em conjunto emitido o papel "Usando o exemplo aumentar a profundidade do antagonismo o desempenho da rede neural ", explora a profundidade da arquitetura interna de redes neurais, e propõe uma maneira de fazer rede humana pode monitorar a localização de erros de geração e de rede.
Autores incluem Dong Yingpeng, Asa Su, Jun Zhu e Fan Bao.
link original: https: //arxiv.org/pdf/1708.05493.pdf, rede de Lei Feng compilado AI Technology Review.
rede neural profundidade (DNNs) em muitas áreas têm um desempenho sem precedentes, incluindo reconhecimento de voz, classificação de imagens, detecção de objetos, etc., mas os DNNs estrutura interna e uma caixa preta de aprendizagem parâmetros gerados para os estudiosos sempre foi, apenas os primeiros rede pode ler para entender, mas a profundidade do mais inexplicável. Em muitos casos, devido às limitações da cognição humana para incluir DNNs como julgar e como agir, o uso da profundidade da rede neural é limitado, especialmente em alguns requisitos muito elevados de segurança de ocasiões, tais como: hospitais campos e condução automática. Os pesquisadores precisam entender a base teórica da formação de rede gerado quando o juiz, para compreender melhor a rede, validar, modificar e confiar em um modelo de aprendizagem, e corrigir possíveis problemas, e isso tem gerado. Portanto, o desenvolvimento de um algoritmo para realizar uma análise aprofundada das redes neurais produzido se torna muito importante. Nesse sentido, um monte de investigação já em curso. Estudiosos intrometente sobre a profundidade da máquina de rede neural produzida por uma variedade de métodos, incluindo a imagem semântica. Por exemplo, os investigadores descobriram que, para maximizar ou um algoritmo baseado em gradiente, um neurónio camada de convolução pode ser visto como um objecto / discriminador local. No entanto, essas tentativas são principalmente construído sobre um banco de dados específico (por exemplo: ImageNET, Place), ea maior parte da carga de trabalho são usadas para explicar a teoria básica de redes neurais, muito poucas pessoas vão se concentrar em uma falsa DNNs a razão.
Há muitas maneiras de melhorar o desempenho das redes neurais, foca o rosto de exemplos de papel irregular: DNNs quando (como exemplos de confronto) e explica o comportamento previsto pelo rastreamento função de rede neural de saída. Em particular, usando o exemplo de antagônica, autor do estudo antes de contraste conclusões, descobrimos que usando este método pode explicar as propriedades de redes neurais ficar melhor. Ao usar "má fé" contra a imagem, DNNs pode gerar previsões tais como a concepção do "errado". Este será deliberadamente "enganosa" e o resultado de resultados de imagens reais são comparadas entre os diferentes resultados podem explorar as DNNs de obras, quer para analisar como os DNNs julgamento correto, mas também sei DNNs causa do erro, a final compreender os mecanismos DNNs em certa medida. A razão para usar imagem de confronto, em vez do que o previsto usando imagens reais, "erro" é usar imagens reais erro gerado podem ser tolerados, tais como: gato malhado e erro erros de classificação Cat Tiger com os resultados do gato malhado e School Bus resultados da classificação em comparação com os ex-visual e semanticamente mais pessoas são tolerantes. Portanto, o uso de completamente "diferentes" imagens de confronto, você pode melhor e mais intuitiva de compreender e distinguir a origem do erro de julgamento de DNNs.
Depois de terminar a Lei rede Feng AI Technology Review, aprendemos este papel tem as seguintes questões-chave:
A fim de melhor DNNs estudo, o autor construiu um confronto conjuntos de dados. Use ILSVRC 2012 banco de dados de verificação de 10 imagens são marcadas de forma diferente, eventualmente formando um banco de dados de verificação 500K confronto. Usando o algoritmo de otimização integrado para gerar ataque mais geral contra a imagem, essas fotos são altamente portáteis, podem ser usados em outros modelos, como mostrado em 1 (um).
Autor de mais de uma arquitetura básica, imagem confronto inclui AlexNet, VGG, ResNet, eo uso de imagens reais e gerados. Artificial monitorados ao entrar em um diferentes neurônios DNNs imagem em resposta. Ao mesmo tempo, um grande número de conceitos visuais para comparação e avaliação. O resultado é muito interessante: (1) a imagem real com um alto desempenho neurônios semânticas se comportar de forma diferente quando entrar imagem de confronto; concluiu este resultado: os neurônios DNNs nenhum objeto semântico real para detectar, apenas o objeto semântica é determinado como um pequeno bloco é reincidente responder. Isto é contrário aos estudos anteriores. desempenho robusto na percepção profundidade visual distribuídas codificação (2) não é um conceito, porque embora olhares imagem visualmente confronto muito semelhante com a imagem real é em grande parte inconsistente. Como se mostra na figura 1 (a).
formação de confronto em estudos anteriores demonstrou resultar em efeito significativo no aumento da robustez da profundidade da rede neural. Neste artigo, o autor introduziu imagem confronto melhora o desempenho do DNNs. Remoção de ruído de combate, os resultados podem ser vistos a partir dos resultados contra os resultados da imagem real da imagem é muito similar. Este processo é encorajado a aprender neurónio antagónica perturbação resistência interferências, e, por conseguinte, quando o objecto / elemento preferido ocorre, neurónios irá sempre ser activado, e quando eles desaparecem, o neurónio é inválido, ver Figura 1 (b). Através deste processo, os antropólogos podem rastrear os neurônios, assim, presumivelmente princípio modelo de previsão teórica. Ao mesmo tempo, o processo, o antropólogo pode saber o tempo e causar o modelo de erro, tal como mostrado em 1 (c).
Pelo banco de dados IMAGEnet autor de imagens de experimentos primeiro precisa estabelecer um conjunto de imagem confronto, em seguida, a imagem aplicada ao modelo gerado, em seguida, exibir a saída do modelo muda para comparação. DNNs de resistência perturbação de confronto é muito frágil, por isso, com base nessa característica, alguns métodos foram desenvolvidos para a investigação nesta área, incluindo: L-BFGS, Fast Gradiente Sinal, Deep-tolo e assim por diante. No entanto, estes métodos são geralmente concebido como um modelo de uma determinada característica. Autores deste trabalho introduz uma nova maneira de atacar um algoritmo de otimização integrado, este método é mais universal. Da seguinte forma:
Para AlexNet, VGG-16 RESNET-18 modelo, e ataque por resolver o problema de optimização, na fórmula acima, usando Adam optimizador, passo 5, e de 10-20 iterações. Assim, as imagens foram obtidas 10 rótulo diferente, eventualmente formando uma base de dados de confronto de autenticação de 500K. Usando o algoritmo de otimização integrado para gerar ataque mais geral contra a imagem, essas fotos são altamente portáteis, podem ser usados em outros modelos.
A Figura 2 mostra a parte dos resultados da imagem. Na primeira linha, a imagem real de neurônios têm uma interpretação semântica clara ou conceito visual compreensível humana, a segunda linha de quadros de confronto mostrar a interpretação semântica não pode ser compreendido. Geralmente Departamento de neurônios mais sensíveis a diferentes partes da imagem de confronto. Depois de analisar o desempenho dos neurônios, os neurônios com altos semântica na imagem real é totalmente ativado quando se lida com imagem de confronto (caixa vermelha). No entanto, você pode ver a verdadeira imagem da imagem e desempenho visual de confronto significativamente diferentes. Por outro lado, uma parte semelhante da imagem no combate, em seguida, não revelou nenhuma actividade, meios de confronto na imagem, os neurónios não pode detectar o correspondente objecto / parte. Tais como neurônio 147 detecta a cabeça do pássaro (Cabeça de Pássaro) imagem real, mas depois de usar o algoritmo contra ataques em imagem de confronto, em seguida, bloquear um monte de outros objetos, esses objetos (caixa vermelha) devem estar errado classificado como um pássaro. Além disso, quadro de confronto, a rede pode não identificar corretamente o verdadeiro Bird (pássaro), o que significa DNNs não se opôs a semântica identificação / peças, mas essas partes como pequenos azulejos foram discriminação recorrente resposta.
Através da análise teórica de quantificar, que não pode resultar na resultados correspondentes imagem confronto da verdadeira imagem. Isto significa que o impacto, DNNs desempenho confronto por distúrbios graves e não é robusta distribuídos codificação de conceitos visuais. Neste caso, o desempenho DNNs irá resultar em fazer a detecção de objectos, de teste visual, não determinar com precisão quando o processamento de vídeo. Então, quando DNNs cometer erros que?
A imagem ocorrência inconsistente do juiz local no experimento desenho proporciona uma oportunidade para distinguir o erro de julgamento rede de tempo. Usando condicional modelo de distribuição de Gauss (distribuição de Gauss): p ( (x) | y = i) = N ( i, i), o tempo estimado da ocorrência do erro pela base de dados de formação ILSVRC 2012 DNNs, como mostrado abaixo:
Usando o treinamento de confronto, o autor percebeu a melhoria do desempenho DNNs. treinamento de combate com a possibilidade de treinar DNNs legíveis porque torna o modelo para aprender mais conceito Robost no espaço de entrada, o desempenho contra a imagem gerada semelhante à imagem original por suprimir distúrbios. Para fazer isso, é necessário introduzir um erro de uniforme (não correspondência). Este erro pode ser utilizado, tais como neurónios de recuperar a partir do desempenho do ruído antagónico, de preferência o objeto / elemento ocorre, neurónios permanece em estado activo. O treinamento é realizado através da minimização um objeto antagônica DNNs:
Em seguida, use rápida Gradiente Entrar método (FGS) para gerar imagem de confronto:
Por estes passos, finalmente, que encontramos DNNs interpretability sido significativamente aumentado, enquanto se mantém as propriedades originais (redução de 1% a 4% na precisão). Os resultados mostrados na Figura 7.
Usando treinamento de combate, os neurônios podem detectar conceitos visuais imagem, em vez de apenas reagir um pequeno bloco. A vantagem dessa abordagem fornece uma maneira em que como uma previsão de rede neural profunda. De acordo com este processo, os pesquisadores humanos pode explorar DNNs princípio da etapa de trabalho a passo, e saiu com um conjunto de neurônios desempenham um papel decisivo no processo de tomada de decisão.
Neste artigo, os autores usam o algoritmo de otimização integrada (algoritmo conjunto-optimization) e use a luta para re-examinar a profundidade da imagem gerada pela rede neural. Encontrado experimentalmente que: (1) a profundidade dos neurónios na rede neural para detectar e nenhum objecto real semântico, apenas o objeto semântica é determinada como remendos respondem recorrente; desempenho robusto no (2) do que o conceito percepção profundidade visual de codificação distribuída, porque embora é muito parecido imagem visualmente confronto com a imagem real é em grande parte inconsistente; estes dois pontos são diferentes com a descoberta anterior. A fim de permitir que os desenvolvedores compreender a estrutura DNNs, os autores propõem um método de treinamento de combate, a introdução de erros fixos, dando a explicação do conceito de neurônios humanos. Pode-se estar de volta resultados finais produzidos por este método, de modo que a profundidade da rede neural gerada durante o tempo de aquisição e causa do erro.
