Na aprendizagem de máquina tradicional, treinamento e teste é realizado no mesmo conjunto de espécies. Na aprendizagem exemplar zero (aprendizagem-shot zero), um conjunto de treino e o tipo de conjunto de ensaio de tipo não sobreposição, isto é, os dados pertencentes ao conjunto de treino para treinar o tipo de modelo e dados que pertence ao conjunto de previsão das espécies de ensaio. O tipo de formação eo tipo de testes necessários para estabelecer contacto através da informação semântica de todos os tipos, para colocar no tipo de formação uma espécie modelo de classificação para o teste. Os tipos comuns de informação semântica, incluindo atributo (atributo) eo vetor de palavra (word vetor) e assim por diante. Onde a propriedade requerem etiquetagem manual, mas mais preciso e, portanto, melhor. Chamamos as características visuais da imagem do espaço visual (espaço visual), o tipo de informação semântica é chamado espaço semântico (espaço semântico). Zero exemplo convencional de uma grande classe de aprendizagem espaço visual é mapeado para o espaço semântico, ou espaço para o espaço visual semântica mapeado, ou para ambos mapeados para um subespaço comum. Em que o mapeamento aprendi é chamado de mapeamento semântico (mapeamento visual-semântico) visual. Por exemplo, existe uma propriedade espaço semântico é has_tail, precisamos aprender a partir do espaço visual para o mapeamento da propriedade, então dado um novo imagens de animais, podemos determinar que não tem cauda. Neste caso, o mapeamento semântica equivalente visual consiste de diversos classificadores Propriedades. Mas para diferentes tipos, um mapa semântica visual é muito diferente. Tal como zebras e porcos têm caudas, mas as suas caudas eram muito diferente apresentação visual, e, assim, o classificador atributo correspondente é também uma grande diferença. Se a mesma para todos os tipos de mapeamento semântica visuais, obtidos sobre as espécies de ensaio é comprometida. Este problema é conhecido para mapeamento do domínio migre (mudança de domínio de projecção) emissão de aprendizagem a partir de exemplos de zero.
A maioria método de mapeamento de domínio resolvido antes da migração são usados na fase de treinamento para testar o tipo de dados não é marcado, o tipo de treinamento e teste para o tipo de aprender um mapeamento comum, ou para os tipos de treinamento e testes estão aprendendo uma espécie de mapa. No entanto, devido às diferenças entre os vários tipos de mapas são grandes, apenas para aprender um ou dois mapas não é suficiente. Assim, propomos para cada espécie estão aprendendo um mapeamento visual diferente semântica (mapeamento visual-semântica específica de categoria), artigo publicado na revista Transação em Processamento de Imagem (T-IP) (https://ieeexplore.ieee.org/document / 8476580). Especificamente, foram propostos em primeiro lugar um AEZSL método convencional, utilizar um tipo semelhante de relação entre o tipo de formação para cada teste um mapa semântica visual. Mas para a tarefa enorme para este custo de treinamento é muito alto, por isso propomos um método DAEZSL profunda aprender treinamento baseado apenas uma vez pode ser aplicado a qualquer tipo de teste. Os seguintes foram introduzidos AEZSL e DAEZSL.
A nossa abordagem é baseada na Aprendizagem Embarrassingly simples Zero-Shot (ESZSL). ESZSL expressão como se segue,
Em que X é um efeito visual, A é informação semântica, W é um mapeamento semântica visual, o símbolo Y representa o tipo de informação de etiqueta. ESZSL para todos os tipos de aprendizagem de uma mesma visuais W. mapeamento semântico Nós ligeiramente modificado na ESZSL base, (obtido de acordo com o tipo de cálculo informação semântica) usando uma relação semelhante entre cada espécie de ensaio e todos os tipos de formação, para cada teste de um mapeamento semântica visuais tipo de aprendizagem separada, expressa da seguinte forma:
Onde Wc é a espécie de teste visual c-th mapeamento semântico, Sc é o c-th espécie de ensaio e todos os tipos de treinamento matriz de similaridade. Isto pode migrar para a relao de mapeamento semântica visuais respectivo teste entre o tipo de uso de tipo semelhante. Mas nossa necessidade AEZSL para cada espécie de teste está treinando um mapeamento semântico visual para os custos de treinamento de trabalho em grande escala são muito elevados. Por isso, propusemos um método profundo AEZSL (DAEZSL) com base na profundidade de aprendizagem precisam ser treinados apenas uma vez pode ser aplicado a qualquer tipo de formação sobre os tipos de testes são detalhados abaixo.
O nosso objectivo é aprender como um dado em qualquer tipo de informação semântica, podemos facilmente obter o tipo de informações de mapeamento semântica visual da função de mapeamento semântico para mapa semântico visual. Mas um grau tão elevado de complexidade da função de mapeamento, por isso temos de ter uma forma alternativa, suponha que cada espécie há visuais peso recurso de aprendizado, e então re-aprender uma função de mapeamento de recursos visuais de informações semânticas para a direita. Aprender peso equivalente de aprendizagem implícita para o peso visual especial de cada espécie para cada tipo de mapeamento semântica visual, explicação detalhada, consulte o papel. Nós projetamos a estrutura da rede, como mostrado abaixo. Na fase de formação, assumindo um total de espécies de formação C, na sub-rede acima, as imagens de formação características visuais são copiadas para as partes C, nas seguintes sub-rede, todos os tipos de informação semântica gerando todos os tipos de pesos apresentam visuais por MLP , C agindo sobre as partes copiadas características visuais. Depois de características visuais ponderados pela camada de ligação total (correspondente ao mapeamento semântica visuais) e todos os tipos de informação semântica obtidos através da multiplicação do valor de predição final. Durante a fase de testes, uma imagem de teste, a sub-rede acima, todos os tipos de informação semântica testados através dos seguintes sub-rede, que se obtém multiplicando o valor de predição da imagem de ensaio.
Nós fizemos um monte no CUB banco de dados de três em pequena escala, sol, cães e um IMAGEnet banco de dados em larga escala resultados experimentais mostram que o nosso método em um banco de dados de pequena escala e em grande escala têm alcançado os melhores resultados. Além de resultados quantitativos, nós também fornecemos análise qualitativa em profundidade. Nós escolhemos dois "mercado de pulgas" tipo de fotos, duas imagens foram classificadas com sucesso o nosso método AEZSL, mas foi dividido em ESZSL errado "sapataria". Ao comparar a informação semântica "mercado de pulgas" e "sapataria", o "pano" e "espaço desordenado." Essas duas propriedades são mais representativos do "mercado de pulgas". Nós figura abaixo mostra o valor projetado no "pano" e "espaço desordenado", duas propriedades de duas imagens obtidas pelo método ESZSL e AEZSL. A partir da figura pode ser visto em nossa abordagem AEZSL valores superiores projetadas em duas propriedades, o que significa que a nossa abordagem para melhor captura do "mercado de pulgas" em "pano" gentil e "espaço desordenado," duas propriedades informação semântica.
Para uma explicação melhor, nós lista também inclui atributo "pano" de badminton das duas espécies 'e' dormitório "e também contém dois tipos de" 'atributo' espaço desordenado planta reciclagem 'e' aterro ". Como pode ser visto a partir da figura, os mesmos apresenta uma informação semântica muito diferente e propriedades visuais em diferentes tipos.
Para o tipo de "mercado de pulgas", listamos o mais próximo dele e várias espécies de bazar, brechó, mercado, loja geral (como mostrado abaixo). Visível para "pano" e "espaço desordenado", duas propriedades, "mercado de pulgas" e as espécies acima mencionados mais próximos. Nossa abordagem por várias espécies de associação e de "mercado de pulgas" semelhantes a melhor captura as informações de tipo semântico "mercado de pulgas" de "pano" e atributo "espaço desordenado", aprender mais apto na categoria de mapeamento semântico visuais .
Em resumo, propusemos um estudo separado do mapa semântico visual para cada espécie, cada espécie para melhor informação semântica captura, de modo a resolver o exemplo de mapeamento de domínio problema da migração de aprendizagem zero. Especificamente, propomos um método e DAEZSL AEZSL tradicional baseada na profundidade de aprendizagem. método de teste AEZSL para cada tipo de formação para obter um mapeamento semântico visual, e DAEZSL só precisa de treinamento sobre o tipo de tempo de treinamento pode ser aplicado a qualquer tipo de teste. os resultados das análises quantitativas e qualitativas sobre quatro banco de dados para demonstrar a superioridade da nossa abordagem.
