Corte de Cloudflare del 18 de noviembre: un cambio de permisos en una base de datos provocó la interrupcion

Resumen

El 18 de noviembre, a partir de las 12:20 (11:20 UTC), varios sitios y servicios en linea sufrieron interrupciones tras una falla en Cloudflare. El incidente tuvo momentos de recuperacion intermitente y, aunque no se debio a un ataque DDoS ni a una intrusion confirmada, la empresa consideró que un actor malicioso podria haber apuntado tanto a sus sistemas como a su pagina de estado. Cloudflare informo que el incidente quedo resuelto definitivamente a las 18:06 (17:06 UTC).

Que ocurrio

Segun el blog del CEO Matthew Prince, el origen fue una modificacion no deseada de permisos en uno de los sistemas de bases de datos del proveedor. Esa operacion hizo que la base de datos generara multiples entradas en un archivo de caracteristicas usado por el sistema Bot Management. El archivo aumento hasta el doble de su tamano habitual y, al propagarse por la red, supero el limite que el software esperaba leer. Como resultado, el software fallo y provoco interrupciones en el enrutamiento del trafico.

Recuperaciones intermitentes

Tras reemplazar el archivo de caracteristicas por una version anterior, el trafico volvio a la normalidad a las 15:30 (14:30 UTC). Durante la resolucion, los errores de trafico fueron fluctuantes: algunos servicios quedaron accesibles por periodos breves y luego volvieron a fallar. Cloudflare explico que el archivo se generaba cada cinco minutos mediante una consulta ejecutada en un cluster ClickHouse que estaba siendo actualizado de forma progresiva para mejorar la gestion de permisos. Los datos incorrectos solo se producian si la consulta se ejecutaba en la parte del cluster en actualizacion, por lo que el archivo generado podia ser funcional o no dependiendo de la ejecucion.

Como se resolvio

• Se detuvo la generacion y propagacion del archivo de caracteristicas incorrecto.
• Se inserto manualmente en la cola de distribucion un archivo funcional conocido.
• Se fuerza el reinicio del proxy principal del servicio.

Estas acciones permitieron estabilizar el servicio; la empresa reporto la solucion completa a las 18:06 (17:06 UTC).

Servicios afectados

Ademas del CDN y los servicios basicos de seguridad, Cloudflare indico que otros servicios se vieron afectados por el incidente fuera de lo habitual. Entre ellos:

• Access
• Email Security
• Dashboard
• Turnstile
• Workers KV

Contexto y mensaje de la empresa

Matthew Prince explico en su comunicado tecnico que el problema fue interno y derivado de una interaccion entre una actualizacion de permisos y la generacion automatica de un archivo de configuracion. Cloudflare aclaro que no hay indicios de un ataque masivo como causa primaria, aunque evaluaron la posibilidad de que un actor malintencionado hubiera intentado aprovechar la situacion.

La explicacion tecnica y las medidas tomadas permiten entender por que algunos servicios se recuperaron de forma fragmentada y por que la correccion completa requirio varias horas de trabajo coordinado.