"Na era dos grandes modelos, os dados determinam a altura da inteligência da IA. Como portador de dados, o armazenamento de dados se tornou uma infraestrutura importante dos modelos de IA". na conferência de imprensa.

No mesmo dia, a Huawei divulgou novos produtos na era de grandes modelos para fornecer a melhor solução para o treinamento básico de modelo e o treinamento de modelos da indústria, o treinamento e o raciocínio de modelos de cenário subdividido e liberar nova energia cinética da IA.

Zhou Yuefeng disse ao Observer.com e a outras mídias que o modelo de IA agora é muito popular, mas o processo de implementação de modelos de IA nas empresas é um processo complexo do sistema que enfrentará muitos desafios. Especificamente, no processo de desenvolvimento e implementação da aplicação de grandes modelos, as empresas enfrentam quatro grandes desafios:

Primeiro, o tempo de preparação de dados é longo, a fonte dos dados é dispersa, a coleção é lenta e os dados de 100 TB de pré -processamento levarão cerca de 10 dias. Terceiro, os parâmetros do grande modelo são frequentemente ajustados e a plataforma de treinamento é instável A taxa de utilização dos recursos da GPU geralmente é inferior a 40%.

Zhou Yuefeng, presidente da linha de produtos de armazenamento de dados da Huawei

Zhou Yuefeng acredita que o custo atual de potência de computação de grandes modelos representa cerca de 25%de todo o custo, enquanto a limpeza de dados e o pré -processamento do trabalho, representando 22%do custo sem calcular o hardware de armazenamento de dados. Nessa perspectiva, o armazenamento de máquinas de dados está se tornando cada vez mais importante na era dos grandes modelos. Este não é apenas o volume de dados simples, mas também o processo de processamento dos dados e os requisitos do desempenho do hardware no processo. À medida que os grandes modelos aparecem, os campos relacionados ao armazenamento e processamento de dados se tornarão cada vez mais prospectivos no futuro.

Para estar em conformidade com a tendência de desenvolvimento da IA na era dos grandes modelos, a Huawei lançou a máquina de integração OceanStor A310 Deep Learning Lake Storage e FusionCube A3000 Treinamento/ultrapassagem para diferentes indústrias e aplicações de modelos de grande escala.

OceanStor A310 Deep Learning Data Lake Storage, enfrentando o campo de dados básicos/do setor de dados de dados, realiza um grande gerenciamento de dados do processo, desde a coleta de dados, o pré -processamento até o treinamento e os aplicativos de raciocínio. O OceanSor A310 -quadro 5U suporta a maior largura de banda de 400 GB/s do setor e o maior desempenho de 12 milhões de IOPS. O GFS Global File System GFS percebe que a tecelagem de dados inteligentes regionais e simplifica o processo de coleta de dados; %.

Máquina de integração de treinamento/ultrapassagem do FusionCube A3000, enfrentando o cenário de treinamento/raciocínio de modelos da indústria, para a aplicação de 10 bilhões de modelos de nível de nível, os nós de armazenamento de alto desempenho OceanStor A300, nós de treinamento/push, equipamentos de troca, software de plataforma de IA e operação de gerenciamento E o software de manutenção fornece uma experiência de embalagem para grandes parceiros de modelo para obter uma entrega de uma parada. Use a caixa para usá -la e a implantação pode ser concluída em 2 horas. Tanto o nó de treinamento/push quanto o nó de armazenamento podem ser expandidos de forma independente para atender à demanda por modelos de tamanhos diferentes. Ao mesmo tempo, o FusionCube A3000 realiza várias tarefas de treinamento e raciocínio de modelo para compartilhar GPUs por meio de contêineres de alto desempenho, aumentando a taxa de utilização de recursos de 40%para mais de 70%. O FusionCube A3000 suporta dois modelos de negócios flexíveis, incluindo a solução de uma parada de Huawei Shengteng, bem como os parceiros da terceira parte de computação aberta, rede e software da plataforma AI.

"Os dados são muito importantes, comparáveis às palavras na história do desenvolvimento humano" -Informações sobre valor não foram registradas.

"Atualmente, as principais razões para a eficiência do treinamento do grande modelo em inglês de chatgpt é que os registros digitais dos materiais ingleses são muito mais do que os chineses. Para desenvolver um desenvolvimento de alta velocidade da indústria de inteligência artificial, devemos prestar atenção ao os registros digitais de dados e informações. "Ele expressa.

Zhou Yuefeng também mencionou os três pontos principais que precisam ser quebrados na construção de dados no futuro: pré -processando os dados originais para obter "melhores dados", armazenamento de dados e GPU com mais problemas e segurança de dados.

Han Zhenxing, vice -presidente do campo de armazenamento distribuído da Huawei, disse na reunião que, no processo de computação e na construção da economia, deve haver uma melhor taxa de cálculo Ele acredita que o atraso da construção da propriedade pode exacerbar a ingenuidade do poder da computação e causar desperdício de recursos.