Ali REVISÃO irmã: Ministério da tecnologia no mix indústria também pertence ao campo ainda é pequena pesquisa, a tecnologia apenas no corpo da quantidade de recursos eo custo atinge um determinado tamanho, ele irá mostrar a sua considerável bônus técnico. Hoje, software Jiang Ling Ali especialistas técnicos do Ministério da Alibaba misturado Ministério perfil exploração, vários aspectos do programa e da estrutura do Ministério da mistura e misture com o Ministério das tecnologias de núcleo, temos uma compreensão completa do departamento de tecnologia mista, eu espero por sua inspiração.
Sobre o autor: Jiang Ling (Ling Xin), Ali Sistema Software especialistas técnicos, para se preparar para grandes produtos de automação para promover a pessoa responsável, o fornecedor de electricidade de líder do projeto misto de grande escala.
I. Introdução Alibaba exploração Ministério misturada
Departamento de tecnologia mista ponto de partida, derivado do crescimento dos negócios e como equilibrar o aumento dos custos de recursos de pensar, esperamos que, com os custos de recursos mínimos, suportando maiores necessidades de negócios. Ele é capaz de reutilizar o estoque existente de recursos para atender o novo negócio, que é a fonte de pensamentos mistos Ministério do desenvolvimento tecnológico.
1.1 Por que misturar parte?
A figura é um volume curva Alibaba transação ao longo dos anos a partir de 2009 para fazer carnaval 2-11 compras uma vez que, para alunos de negócios, a mais bela vista da curva de crescimento, mas para o pessoal técnico e pessoal de operação e manutenção, este Figura atrás de meios desafios que significativas e pressões de recursos.
Para fazer negócios eletrônicos pares da indústria de serviços baseados na plataforma, devemos saber o que estamos fazendo atividades promocionais, a pressão técnica muitas vezes vem desde os primeiros segundos à venda, é um fluxo de pico pulsante.
Dois-onze de zero pico de fluxo Alibaba negócio on-line (volume de transações normalmente segunda-tier criado para descrever) com esta imagem da curva de tendência, basicamente. Desde o início do próximo ano, 2012, 00:00 pico de pressão é basicamente o dobro do ano anterior. Nós podemos ver o lado em linha do negócio está crescendo tão rápido, principalmente com as nossas atividades promocionais são inseparáveis.
Além do tipo de negócio on-line, Alibaba também tem um negócio offline computacional em grande escala. Com a ascensão da tecnologia AI, as operações computacionais também mostrou uma tendência ascendente. A partir do atual, grande capacidade de armazenamento de dados alcançado KPB Divisão I nível, o montante de um milhão de tarefas diárias.
crescimento contínuo nas reservas da camada de infra-estrutura de um grande número de recursos para atender às necessidades do modelo de negócios online e offline. Desde o tipo de negócio on-line e modelo de negócio offline tem muitas características de uso dos recursos inconsistências, originalmente concebido para ser suportado por dois centros de dados separados, atuais, centros de dados atingiram mais de dois milhões de unidades dos servidores de escala.
No entanto, descobrimos que a quantidade de dados do corpo recursos do centro é ambicioso, mas alguns utilização de recursos não é otimista, especialmente on-line de dados centros de negócios, utilização de recursos média diária é de apenas cerca de 10%.
Com base no fundo acima, levando em conta a variabilidade dos diferentes serviços e requisitos de uso de recursos: por um lado, diferentes serviços com características diferentes do período de pico (divisão de tempo multiplexação recursos); por outro lado, a tolerância para diferentes recursos em resposta (competição de recursos por prioridade e preempção), nos levou a explorar a direção técnica de diferente implantação mix de negócios.
O que é misturado com 1,2 unidade (Co-location)?
Em resumo, a tecnologia é porções mistos: os diferentes tipos de tráfego são implantação mista, dois diferentes serviços fornecidos por um recurso, enquanto a técnica equivalente de recursos.
Primeira tecnologia mista parte, integração de recursos, separação física do negócio originalmente implantado em um recursos físicos unificadas;
Em segundo lugar, a partilha de recursos, com um recurso, tanto para negócios suporte A, B Serviços e suporte, na perspectiva de serviços A e B, bem como ver cada cópia do recurso;
Finalmente, é razoável para competir por recursos, uma vez que a cópia original do recurso, e seu dois, transformou-se em 2 partes, deve haver competição por recursos, a necessidade de fornecer um meio razoável de concorrência, de modo que diferentes necessidades de recursos do negócio em linha com os respectivos requisitos de serviço.
Mixed Ministério maior valor é a recursos totalmente reutilização através da partilha de recursos, para alcançar algo do nada. O objetivo central do mix Ministério da tecnologia que ocorre quando a competição por recursos, dar prioridade à garantia de um elevado nível de serviço. Portanto, queremos controlar e agendamento de recursos pelos meios de isolamento do kernel isolamento e competição totalmente compartilhados.
Off-line unidade de mistura de 1,3
modelo de negócio on-line, a cena na seção mista descreve a tecnologia em grandes negócios transacional, tipo de pagamento de negócio, tipo de solicitações do navegador.
Natureza do serviço baseado em linha é em tempo real, requisitos de tempo real são muito elevados, e não pode ser rebaixado. Se o usuário comprar bebê durante longas esperas (como segundo nível), é provável que os usuários vão abandonar a compra, se as necessidades do usuário para tentar novamente, estima-se que é difícil reter os usuários.
modelo de negócio on-line, especialmente como fazemos negócio da electricidade, a tendência do volume de negócios é óbvio. Acompanhado pelo cronograma usuário, alto o dia e baixa à noite, durante o dia buy buy buy.
Outro tipo de eletricidade plataforma fornecedor é propriedades maiores, com tráfego diário é muito baixo para uma grande promoção, uma grande quantidade de pró-segundo dia da criação pode ser a quantidade usual de horários de pico ou mesmo cem vezes ou mais, ele tem um tempo forte cena de sexo.
Serviços off-line, tais como: operações de cálculo, operações aritméticas, relatórios estatísticos, processamento de dados e outros serviços, em comparação com o tipo de serviço on-line, a chamada pode atrasar tarefas de serviços insensíveis apresentadas pelo usuário e, no comprimento de processamento per se no segundo nível, acima minutos de grau, mesmo horas-aula, nível do dia, para que eles possam executar somente após um período de tempo para completar. Ao mesmo tempo, eles podem aceitar nova tentativa, tecnicamente, deveria estar mais preocupado com quem ajuda-lo e tente novamente. repetição de usuário inaceitável, mas se o sistema de repetição de ajuda, o utilizador não é sentido.
Além disso, o tempo a cena de negócios off-line on-line não é tão forte, você sempre pode executar, mesmo mostraram características anti-horários de negócio on-line, sua relativamente baixa probabilidade de um determinado dia, a manhã é relativamente alta. A razão, também expor e comportamento do usuário relacionadas, por exemplo: um usuário para enviar um modelo estatístico, esperando para começar a executar após 0:00, o relatório cobrado no dia seguinte antes do trabalho na parte da manhã.
A partir da análise das características de tempo de diferentes serviços em execução, podemos descobrir que tipo de negócio on-line e off-line de negócios, condições de negócios têm carga de pressão de deslocamento e pico de carga deslocando de recursos;
Por outro lado, as empresas online têm capacidades prioritárias e preempção significativamente mais elevados, ao mesmo tempo, negócio offline mostrou uma falta de tolerância quando certos recursos. Estes fatores tornam-se on-line, elementos do mix de negócios off-line da viabilidade do departamento de tecnologia.
1.4 Alibaba no curso de fazer unidade mista para explorar
Antes do início da tecnologia de introdução, a tecnologia brevemente unidade Alibaba exploração curso mista:
resultados mistos 1,5 escala Alibaba do Ministério da
A parte inicial atual se misturam, há dois cenários: fornecido pelos recursos de cluster online para fazer unidade mista para fornecer fora de linha adicional de potência com um recurso online para as operações de negócios off-line de computação; se misturam fornecidos pelo Ministério do aglomerado recursos off-line para criar um recurso offline capacidades de transações de negócios on-line (principalmente para lidar com grande promoção e outro pico de tráfego on-line).
No interior temos uma simples convenção, online e offline, que forneceu a máquina virá à superfície de topo, por isso é chamado off-line e off-line misturando unidade na seção de mistura.
2017 duplo 11, o lançamento oficial da nossa segunda etapa é criar a quantidade de 375.000 canetas por segundo, desligada de mistura agrupamentos de unidades para atingir milhões de transações por segundo corpo de negociação, utilizando os recursos off-line para pico de suporte on-line, salvando uma certa quantidade de grande sobrecarga de recursos de promoção.
Entretanto, no cluster unidade de linha fora-de-linha de mistura, a utilização de recursos on-line Clusters nativas diárias de 10% a 40%, para proporcionar fora de linha de forças de rotina de cálculo adicionais. Tal como mostrado abaixo:
Este é um sistema de monitoramento real. (Direita) que representa o tempo de cena porções não-misturado ponto é de cerca de 07:00 a cerca de 11:00, a taxa de utilização da linha central foi de 10%. (Esquerda) representante da parte dos dados cena é mista, em média, cerca de 40%, o jitter é relativamente grande, porque o próprio negócio offline tem uma relativamente grande volatilidade.
Economizando tantos recursos, negócios (business especialmente on-line) a qualidade do serviço não é ruim se tornou?
O gráfico seguinte RT é responsável por serviços de processamento de transacções do núcleo em linha, que curva mista verde representa o desempenho do conjunto Ministério RT, curva amarelo é-RT não parte desempenho misto do aglomerado pode ser visto que as duas curvas coincidem substancialmente, misturado cenas Departamento a diferença entre a média de RT comparado com clusters normal dentro de 5%, de acordo com a qualidade dos requisitos de serviço:
II. Esquema porção de mistura e arquitectura
Desde o Departamento de tecnologia misturado com sistema de negócios da empresa, há uma operação de correlação e manutenção do sistema certo, portanto o texto pode referir-se a formação técnica diferente, falta de espaço apenas uma simples citação, pode não feito em detalhe.
A seção seguinte programa brevemente misto, incluindo: a arquitetura geral, estratégia de implantação da unidade de negócios cena misto, gestão de recursos e mecanismos de alocação misturados aglomerados de Departamento, estratégias de operação de negócios mistos sob a cena do Ministério.
2.1 Mixed arquitetura geral do Departamento
departamento de tecnologia abstrata misturada é dividido em três níveis:
Em primeiro lugar, a combinação de recursos, integração de pools de recursos, quer utilizados para o serviço A, B serviço a ser utilizado.
Em segundo lugar, temos que fazer uma boa programação de recursos e alocação. Antes de fazer mistura técnicas porção de plataforma Alibaba tem uma pluralidade de programação de recursos, a linha do lado do sistema de programação de recursos que é chamado Sigma, sistema de programação de recursos chamado lado desligada Fuxi. Departamento de desafio tecnologia mista é fazer negócios a alocação de recursos diferente de recursos, vários sistemas de agendamento de recursos unificar e arbitragem de tomada de decisão.
Em terceiro lugar, um bom isolamento e preempção quando a competição por recursos em tempo de execução.
A figura arquitectura assume certa hierarquia:
A parte inferior é a camada de infra-estrutura, todo o grupo é um centro de dados unificado, não importa quão alto uso, máquinas, redes, e assim por diante hardware e instalações de apoio são o mesmo conjunto;-se camada, camada de recursos, o que precisamos fazer unidade, must lagoa aberta, o controle de recursos junto de mistura;
Além desse nível, uma camada de expedição, é dividido no servidor eo cliente. Online é Sigma, off-line é Fuxi, nós próprios a plataforma de programação de recursos negócio chamado um programador. Na arquitetura porção de mistura, a introdução de "camada 0" programador responsável pela coordenação de controle de recurso do planejador e alocação de recursos decisões dois níveis, também tem a sua própria - Agent;
A camada superior é as operações para camadas de agendamento de recursos e de controlo, alguns recursos entregues directamente para a camada de serviço através de um programador, e alguns também se refere a andar, por exemplo: Hipopótamo semelhantes.
Na parte de mistura existe uma camada mista especial arquitectura porção de controlo, e que executam operações de programação executado sob mecanismos principalmente responsáveis pela secção de modo misto, e para configurar controlar os recursos físicos, serviço de monitorização e de tomada de decisão.
Estes são a arquitetura de alocação de recursos, portanto, máquinas e recursos podem ser atribuídos a diferentes negócios, no entanto, após a atribuição, o tempo de execução da prioridade da tarefa SLA e como se proteger? negócio online e offline negócio para executar simultaneamente em uma única máquina física, se a concorrência de recursos ocorre entre empresas como fazer? Nossos recursos e apoio para fazer runtime isolamento kernel, temos desenvolvido uma série de características essenciais, suporte para diferentes tipos de isolamento de recursos, comutação e rebaixamento. Kernel relacionados com os mecanismos descritos no Capítulo III.
estratégia de implantação do negócio on-line 2.2 cena Ministério Mixed
Esta seção descreve como misturar o Ministério da tecnologia usada no cenário de negócios on-line, a transação prevê a capacidade de criar plataforma de negócios eletrônicos.
Primeiro, misture o Ministério da tecnologia devido à sua novidade e conter ponto de transformação mais tecnológico, a fim de riscos EVITAR, esperamos limitado piloto, de pequena escala no âmbito do controle. (Online) arquitetura Nossa estratégia de implantação de negócios Portanto, com base unidade de implantação fornecedor de electricidade, vai construir uma independentes unidade de conjunto misto de unidades de negociação, por um lado, para garantir que o Ministério da mistura convergência tecnológica não afeta a situação geral na área local, por outro lado para o fornecimento de serviço e a unidade de controlo de circuito fechado independente.
No sistema baseado em linha negócio da electricidade, nós colocamos os compradores que compram comportamento relacionado a todo o serviço de cadeia, em um circuito fechado para um conjunto de serviços, este serviço é definida como um conjunto de unidade de negociação. unidade de negociação pode ser feito: todos os pedidos de operações de compradores com instruções relacionadas são concluídas dentro desta unidade fechada, que é off-site ao vivo - arquitetura de implantação de células.
Técnica outra forma de realização de uma porção de mistura restrição, a partir dos limites de recursos de hardware. Devido às exigências de linha fora de linha de negócios para recursos de hardware variam, mas seu estoque de recursos não necessariamente se encaixam outro negócio, nós encontramos na implementação de problemas de adaptação dos estoques de recursos, mais fortemente refletida no disco.
recursos nativos de negócios off-line, há um grande número de recursos de disco HDD de baixo custo e operação offline irá bandeja HDD com quase cheia. Tal negócio online não é basicamente disponível.
A fim de proteger disco problemas de desempenho de IOPS, nós introduzimos a tecnologia de armazenamento de computação separada. Computação tecnologia de separação de armazenamento é outra tecnologia evolução inerente do nosso grupo, que fornece serviços de computação e armazenamento centric, compute nós através do centro de armazenamento conectado à rede, você pode confiar em nós de computação escudo para o disco local.
clusters de armazenamento pode fornecer capacidade de armazenamento diferente. serviço de armazenamento online para os requisitos de alto desempenho, o rendimento não é grande, por isso calculamos tecnologia de separação de armazenamento, ganhou o IOPS serviço seguro de armazenamento remoto.
secção de atribuição de recursos de cluster mista 2,3
Em seguida, a arquitectura global, vamos dar uma olhada a partir da perspectiva de mix de recursos parte da alocação de recursos de cluster, é como fazer algo a partir do nada.
O primeiro é um ponto de recurso autônomo de vista, o principal CPU, MEM, disco, rede, após a declaração de recursos como adicionais disponíveis.
Vamos olhar CPU, o uso de recursos on-line aglomerado puro diariamente em quase 10%, pode-se dizer negócio online não estará em condições cotidianas CPU totalmente utilizada, e quando a grande promoção e outra cena promocional, em linha chegará em um instante um uso CPU spikes.
tarefa off-line é mais como uma esponja absorve água, um enorme corpo do seu volume de negócios para o poder de computação CPU, quantos quantos serão capazes de usar. Com o fundo acima para uso comercial dos recursos, o Ministério da tecnologia contribuiu para a mistura para tornar a vida para os dois CPU.
recursos da CPU para executar no mecanismo do kernel para fatias de rotação tempo de treinamento destinados a diferentes processos, vamos um núcleo da CPU, enquanto atribuído à tarefa de negócio on-line e off-line, e para assegurar que a alta prioridade on-line, quando de lazer online, lata desligada usar a CPU, e quando a necessidade de usar online, offline tarefa preempção e pendurar.
O programador acima mencionado dois recursos (Scheduler on-line e off-line programador Fuxi Sigma), negócio on-line como uma unidade de recursos para recipiente Pouch, o recipiente irá vincular certo núcleo da CPU Pouch usado para um serviço online. Sigma considera toda a máquina física são todos online.
Ao mesmo tempo, clima desligada Fuxi programador que esta máquina pertence desligada, ele vai colocar toda a maquinaria de recursos da CPU pode ser alocado como um tarefas de recursos off-line que lhe são atribuídas. Desta forma, fazemos recursos da CPU resultados duplas.
A CPU alocados para dois com um negócio a funcionar, o risco de concorrência vai existir, que dependem da tecnologia kernel do núcleo da CPU para isolar e programação, que será mencionado abaixo.
CPU pode ser compartilhado fatia de tempo multi-processo, mas o MEM e recursos de disco é mais difícil que dão ao partido como um recurso consumível, outro processo não pode ser usado, caso contrário, será para cobrir o novo processo. Como nível de memória reutilização tornou-se um outro foco da pesquisa.
Como mostrado (canto superior direito), a arte descreve o mecanismo usado pela memória secção de mistura exagerado, o lado superior na FIG parêntesis representa a atribuição de memória de linha (azul) e a atribuição de memória fora de linha (a vermelho), enquanto que a vista lateral dos suportes inferiores linha representa a quantidade de uso de memória (azul) e off-line quantidade uso de memória (vermelho).
A figura pode ser visto na utilização de memória off-line, a memória de multi-linha atribuída à quantidade pela qual o mecanismo para se conseguir o uso de memória exagerado.
Por memória on-line permite o uso a ser exagerado, devido à linguagem orientada a negócios online da nossa empresa Java, memória alocada para um recipiente para sobrecarga de memória heap java por um lado, a memória restante como um uso cache.
Isso resultou em memória de linha de contentores em uma determinada quantidade de memória livre, nós monitorar o uso de memória, bem, combinado com alguns mecanismos de proteção, o recipiente de alocação de memória online gratuito designado para offline. Mas porque esta memória pertencem on-line, não off-line para proteção forte, e, portanto, relativamente baixo nível desligada será rebaixado para o serviço de agendamento desses recursos.
aspectos de disco, capacidade do disco, tanto para o negócio ainda é relativamente cheio, por isso, sem fazer muitas restrições. Os termos de IO de disco, fez uma série de limite de velocidade de banda larga a um máximo IO vinculado tarefas off-line inferiores a um determinado montante, para evitar crowding out sistema IO totalmente on-line e.
Além disso, stand-alone nível de líquido, devido à capacidade atual é mais abundante, não é actualmente um ponto de estrangulamento, não faça demasiada introdução.
2.4 Grande promover mecanismo de concessão de recursos: rápido no local, no rápido
Como mais de compartilhamento de recursos de nível único e da concorrência para obter o isolamento, vamos dar uma olhada os recursos de todo o nível de cluster, se por todo o funcionamento e controle de manutenção, migração, e para alcançar o máximo aproveitamento dos recursos. Mixed Ministério da tecnologia, buscamos a utilização último recurso, de modo que não deve ser usado em cenários de negócios não perca todos os recursos.
Assim, temos apresentou o conceito do site em velocidade rápida, em termos de virada para negócios on-line, como descrito anteriormente, cada uma das unidades de cluster que é uma unidade de operação de linha mista, que suporta um pequeno número de usuários independentes de transações, de modo que ele vai se tornar um "local", a capacidade global do site online nós escala, processo mais rápido está em rápido. Tal como mostrado abaixo:
medidor de pressão on-line tipo de negócio em operações diárias de negócios e promoções especiais exibiu enorme viés, pode haver uma centena de vezes mais do que durante o 11 tráfego diário dupla, esta característica lançou as bases para a viabilidade do sistema ao abrigo rápido no rápido.
Como mostrado acima, o diagrama de blocos de dois grandes, em comparação com toda a capacidade do local é on-line, cada pequeno quadrado representa um número de serviços de telefonia recipiente, cada linha representa uma reserva de capacidade de serviços on-line (o número total de recipientes), adoptámos planejamento de capacidade para todo o site, para alcançar o status diário e capacidade do estado para promover o grande interruptor modelo, fazendo uso multa de recursos.
geralmente nós fornecedor de electricidade de negócios referência a um objetivo de negócio, tais como transações segundo estágio para criar itens, como a avaliação da capacidade local, geralmente, em um dia normal, um único site reservados capacidade caneta K / s é suficiente, mas esperar até perto da grande promoção vamos promover Tai local estado de entrega, normalmente nível de capacidade pen W / s.
Através do padrão acima, as dimensões de todo o site, a redução do volume da capacidade global on-line desnecessários, a fim de conseguir a libertação completa de recursos, assim você pode fazer negócios off-line para obter mais recursos físicos, o que é mais rápido rápido para baixo mecanismo.
processo rápido no site (a partir de baixo volume para alta capacidade), a eficiência dentro de uma hora. Durante o local rápido (a partir de uma alta capacidade de baixa capacidade), a eficiência de meia hora.
No estado todos os dias, local Departamento misturado com um modelo de capacidade mínima suportes de tráfego diário on-line, e quando na véspera da ligação promocional de grande escala ou de medição de pressão cheio, misturar departamento irá rapidamente puxar para cima o site para um estado capacidade relativamente alta, e algumas horas de operação contínua após realizada no local em breve.
Através deste mecanismo, podemos garantir que a maior parte do tempo, apenas alguns recursos online, e mais de 90% dos recursos sejam plenamente utilizados offline. A figura abaixo mostra os detalhes da alocação de recursos sob diversos estágios de rápido mais rápido:
FIG caso em que a distribuição dos recursos, à esquerda, central e direita caixas rectangulares representam: As condições normais uma data de atribuição de recursos, o modo de medição da pressão, a porção de aglomerado misto estado de alta actuação.
Entre eles, vermelho para desligada, em nome da linha verde. E cada caixa retangular, dividida em camada superior, médio e inferior, a camada superior representa as operações de negócios e da Ordem; o meio representa uma distribuição de recursos (host), que representa os pequenos recursos Departamento mistos quadrados azuis; o nível mais baixo em nome de um recurso de cluster a razão de distribuição e o modo de funcionamento.
No dia normal (retângulo esquerdo), ocupando a maior parte dos recursos off-line, através da atribuição de uma parcela da aquisição, lutando para se obter (ou seja, sem o uso de online é off-line), executando uma pequena parte do tempo.
Espere até que o estado de medição de pressão (em) e o estado de alta actuação (à direita), os recursos fora de linha dará lugar, para alcançar substancialmente fora, de 50% do rácio de distribuição para cada linha, quando a pressão na linha é alta, não exagerado lutar contra, mas na preparação período (mas não grande estado para promover o tempo de alta pressão), ainda lutando contra recursos livres online.
Duplo 11 grande promoção no dia, estamos mais determinados a proteger a estabilidade do negócio online, offline fará um certo nível de degradação do serviço.
2.5 mecanismos diárias de concessão de recursos: multiplexação por divisão de tempo
Acima estava sob mecanismos velocidade rápida são descritos em uma grande capacidade de promover o estado on-line site eo procedimento de entrega diária normal, além disso, dia negócio on-line e de manhã também mostram um forte fluxo regularmente para os picos e vales fenômeno, a fim de aumentar ainda mais a utilização de recursos, também propôs um mecanismo para concessões de recursos em situações cotidianas: multiplexação por divisão de tempo.
A figura é o negócio online mostrou diariamente uma curva ciclo de fluxo do dia, a manhã será relativamente baixo, relativamente alta durante o dia, para cada um dos nossos serviços online, para que um dia a capacidade ciclo fina stretch para minimizar os recursos de negócios online utilização, transferindo assim recursos para ser utilizado fora de linha.
III. Tecnologia de núcleo secção misturada
Mixed tecnologia de núcleo Departamento é essencialmente dividida em dois aspectos: primeiro, a tecnologia de isolamento do núcleo, a segunda é a tecnologia de agendamento de recursos, uma vez que envolve todos os que envolveu campo profissional, tendo em conta o comprimento atual do artigo, abaixo somente enumera uma série de pontos técnicos, os detalhes não desdobrar .
3.1 tecnologia de isolamento núcleo Introdução
Nós no kernel de cada tipo de níveis de recursos têm feito um fortemente características de isolamento do desenvolvimento, incluindo: dimensões CPU, dimensão IO, a dimensão da memória, dimensão da rede. Basear-se na CGroup global on-line, divisão do grupo de negócios off-line, para distinguir dois tipos de prioridades de negócio.
Nas dimensões de CPU, implementamos Hyper-Threading em, scheduler, cache de três níveis e outras características de isolamento. Na dimensão de memória para conseguir o isolamento banda de memória e OOM prioridade matar. dimensão Disk IO largura de banda a atingir o limite de velocidade. dimensão de rede, de controlo do fluxo de nível único, também feita de uma camada de rede garantia de QoS hierárquica de toda a cadeia.
Detalhes de mistura tecnologia de isolamento núcleo unidade podemos obter a sua própria busca, lançado apenas informações sobre os mecanismos da memória oversold abaixo.
Memória Dinâmica sobrevendido mecanismos:
Como mostrado na figura acima da linha a cheio em parênteses, vermelho, azul que representa desligada, a alocação de memória CGroup conectados, e o seu valor representa toda a memória pode ser atribuído (sobrecarga de memória foi removido), sob a qual existe uma linha de sólido púrpura colchetes, em nome desligada sobrevendido cota de memória, o tamanho da alteração do valor devido ao tempo de execução, o tamanho da memória livre é encontrado em linha, ouvindo tempo de execução não utilizado para decidir.
A linha pontilhada na Fig suportes laterais, em nome da off-line, on-line, para a memória real, em que o negócio on-line em geral não vai usar a memória estiver cheia, a memória restante, uso offline como quota oversold. A fim de evitar os requisitos de memória súbitas online, reservar uma determinada quantidade de memória no mecanismo como um buffer. Através do mecanismo acima para alcançar desligada usar a memória oversold.
3.2 Agendamento de recursos Tecnologia
Misturando uma segunda parte da tecnologia tecnologias de núcleo técnica de agendamento de recursos porção mista agendamento de recursos cena, agendamento de recursos pode ser dividido em um nativo (online e offline recursos agendamento de recursos de agendamento técnicas SIGM tecnologia Fuxi) e porção mista camada 0 agendamento.
3.2.1 online agendamento de recursos: sigma
Recursos online Resource Scheduler aplicativos baseados principalmente em retratos, agendamento de recursos e alocação razoável, incluindo uma série de embalagem problema, afinidade / regra de exclusão mútua, solução óptima global e aplicar capacidade retrátil automática da dimensão global, tempo multiplexação e lutando dimensões sob jejum rápido.
A figura é uma programação Sigma diagrama de arquitetura online, o que é compatível Kubernetes API, com base na programação tecnologia recipiente Ali Pouch, e por muitos anos no fluxo em grande escala de Ali e 11 verificação grande promoção de casal.
3.2.2 offline agendamento de recursos: Fuxi
Cluster offline programador principal realização de programação de tarefa hierárquica, memória dinâmica sobrevendido, sem perdas / lossy off programas de rebaixamento.
Este é o mecanismo de operação da FIG desligada programação de recursos Fuxi, executa programação com base no trabalho, de frente para o processamento de dados em massa e em grande escala de computação aplicações complexas tipo, proporciona um multi-estágio de dados de condutas orientada paralela estrutura de computação.
Que é compatível com a capacidade de expressar MapReduce, MapReduce-Merge, Cascading, o modo de outra programação FlumeJava, alta escalabilidade, suporte para mais de cem mil nível de programação de tarefa paralelismo, e para otimizar a distribuição da sobrecarga da rede de dados.
3.2.3 Uniform Resource Scheduling: Camada 0
cena Ministério misto, tanto offline como agendamento de recursos de negócios on-line e alocação de recursos por cada camada do programador, mas em uma camada abaixo do programador, bem como uma camada de agendamento de recursos unificada -0 camada, que funciona como ambos os recursos e coordenação arbitragem, pela escuta e tomada de decisão, a alocação racional dos recursos. O que se segue é uma porção de programação de recursos arquitectura global misto da FIG.
IV. Perspectivas Futuras
Mixed Ministério do desenvolvimento de tecnologia no futuro, a evolução em direção a três direções, a saber: escala, diversificação e refinamento de direção.
Escala: em 2018, vai atingir milhões de unidades de departamento de nível misto, este será um salto no fim, queremos misturar o Ministério das capacidades básicas como recursos internos do Grupo de entregar, em um recursos de economia de custos em maior escala.
Diversificação: esperança para o futuro para apoiar mais tipos de negócios, mais tipos de recursos de hardware, bem como o ambiente mais complexo, e até mesmo a esperança de obter através dos recursos de nuvem, recursos Ali nuvem e trocar unidade de mistura interna.
Belas: o futuro do retrato de recursos de negócios na esperança de retratar uma aspectos de programação mais detalhada, em tempo real de envelhecimento mais, precisão programação é mais detalhado, mais sofisticado isolamento do núcleo, monitoramento, operação e manutenção e controle em tempo real mais preciso.
