GitHub atribuye a fallas de capacidad la caída global de casi 8 horas del 17 de agosto

GitHub sufrió el 17 de agosto una caída global de 7 horas y 47 minutos que interrumpió github.com, la autenticación, GitHub Actions, las APIs, los pull requests, los issues y Copilot, según informó la empresa en su blog oficial. El incidente afectó a desarrolladores y organizaciones de todo el mundo y fue el segundo de relevancia en el mes, después de una falla en GitHub Actions registrada el 6 de agosto. "Si estabas intentando publicar software ese día, te decepcionamos", reconoció la compañía en el comunicado.

La investigación interna determinó que la caída comenzó cuando el tráfico alcanzó un nuevo pico y un componente crítico de infraestructura del centro de datos de la región Central US no logró escalar a la par. La presión de capacidad resultante se propagó por los sistemas y provocó fallas de autenticación e interrupciones en varios servicios. GitHub aclaró que ninguno de los dos incidentes de agosto fue causado por un cambio de código o configuración: fueron, en su núcleo, fallas de capacidad. La empresa señaló que los commits mensuales pasaron de 1.400 millones en abril a 2.900 millones, un crecimiento que explica la presión sobre la infraestructura aunque, según afirmó, no excusa lo ocurrido.

No es la primera vez en el año que GitHub enfrenta problemas de disponibilidad. En marzo y abril, la empresa ya había compartido el trabajo que estaba realizando para mejorar su confiabilidad, y el 6 de agosto una falla en GitHub Actions volvió a interrumpir el servicio. En el comunicado, la compañía reconoció que, si bien hubo avances, estos incidentes dejaron en claro que deben acelerar ese trabajo.

Como parte de las medidas, GitHub afirmó que ya sumó más de 3 millones de núcleos de CPU, 120 petabytes de almacenamiento de alta velocidad y capacidad de red adicional. Además, aceleró su migración a Azure, que hoy soporta alrededor del 58% de la carga de la plataforma y la mitad de las operaciones de Git, frente al 12% de mayo. Entre los cambios inmediatos tras los incidentes de agosto, la empresa anunció que aplicará límites de reintentos, presupuestos de reintentos y timeouts variables en las interacciones entre servicios para evitar 'tormentas de reintentos', y que revisará alertas de CPU y memoria de menor prioridad para identificar componentes que puedan fallar ante picos de tráfico. El próximo hito técnico es una arquitectura que escale la capacidad de lectura de forma lineal y permita operaciones de lectura ilimitadas, que se implementará gradualmente empezando por los monorepos más grandes.

GitHub, en su comunicado oficial, calificó el incidente como una decepción para los desarrolladores: "Si estabas intentando publicar software ese día, te decepcionamos", y agregó que "es nuestra responsabilidad arreglarlo". También afirmó que "la comunidad de desarrolladores depende de GitHub para construir, publicar y operar su trabajo".