Incidente em nosso Datacenter - 2

  • Sabado, 10th Abril, 2021
  • 11:46am
Anuncio publicado pelo CEO da WENNX:
 
"Olá,
Lamentamos sinceramente a falta de atualizações nos últimos dias e esperamos fazer melhor no futuro. Esta noite acabamos de atingir um marco e é um bom momento para fazer uma atualização de status positiva.
Em primeiro lugar, gostaríamos de abordar aqueles que podem não compreender totalmente por que pode levar semanas para trazer todos os servidores de volta online.
Depois que todo o incêndio, a cidade e a inspeção elétrica foram feitas e as opções que tínhamos abertas para nós, a quantidade de trabalho à frente foi equivalente à construção de um novo datacenter do zero.
Foi uma tarefa de recriar em semanas o que fizemos nos últimos 5 anos aqui em Utah.
Só na primeira noite, tivemos que construir novos núcleos, algo que geralmente é planejado ao longo de semanas.
Em seguida, encontrar espaço onde houvesse e planejar a instalação de racks suficientes para substituir tudo o que foi retirado.
Junto com todos os switches de agregação e distribuição que suportam esses racks, pois eles também foram danificados.
Com o passar dos dias e milhares de servidores sendo retirados dos racks e colocados para secar, várias outras equipes estavam trabalhando para restaurar as estruturas elétricas, de rede e de suporte.
Era um ambiente agitado enquanto tentava trazer os clientes de volta online enquanto outros expandiam o espaço para mais servidores.
Mesmo com todo aquele trabalho, não estava ocorrendo rápido o suficiente. Então, também trouxemos vários fornecedores para fazer um brainstorm sobre as diferentes opções que tínhamos disponíveis e um deles acabou funcionando muito bem após os testes de hoje à noite. Estamos muito felizes em anunciar que esperamos ter a energia total restaurada para a baia 3 ainda hoje e isso permitirá que mais de 80% dos racks danificados voltem a funcionar, reparando e substituindo os principais componentes.
Juntamente com todo o trabalho realizado em outras partes do edifício, isso nos permitirá estar online novamente em um prazo muito mais rápido do que esperávamos anteriormente. Esperamos ter recuperação total de todos os servidores, esperançosamente, já na próxima sexta-feira.
Estamos executando equipamento de teste no compartimento 3 do equipamento de rede para verificar a estabilidade da rede. Para lidar com a falha óbvia em fornecer atualizações oportunas para nossa base de clientes, estamos trabalhando na renovação dos processos internos e na criação de posições de autoridade adicionais para resolver isso no futuro.
Embora não tenhamos comunicado adequadamente a quantidade de esforço despendido, esperamos que esta atualização esclareça que temos feito tudo ao nosso alcance para colocar todos os servidores on-line novamente o mais rápido possível. Também queremos estender nossos agradecimentos àqueles que enviaram mensagens positivas, expressaram compreensão da dificuldade e àqueles de vocês que até pediram
delivery de comida às nossas equipes que têm trabalhado horas extras para colocar o datacenter novamente online.
Agradecemos sua paciência e confiança em nós para fazer as coisas da melhor forma.
Forneceremos mais atualizações à medida que colocarmos os primeiros servidores no compartimento 3 online novamente.
Daniel Pautz Fundador e Chefe Executivo WebNX.com"
« Retornar