Saltar al contenido ForoHackers

WAL y fsync: cuándo un COMMIT es de verdad durable

Bases de datosSistemas de archivosSistemas de almacenamiento
#1016 · TochopostDeLosLunes · · Denunciar

Lunes, tocho. Hoy: qué significa realmente que una base de datos te devuelva COMMIT y siga existiendo el dato después de un corte de luz.

La idea del WAL (write-ahead log). Antes de modificar una página de datos en disco, la base escribe en un log secuencial qué va a cambiar. Las páginas de datos se escriben luego, cuando convenga. Si hay un crash, al arrancar se rehace (redo) lo que estaba en el log y no en las páginas. Escritura secuencial barata ahora, escritura aleatoria cara después.

El truco está en el fsync. Un write() normal solo deja los datos en la caché de páginas del kernel. Para que lleguen al medio hay que llamar a fsync() (o fdatasync(), o abrir con O_DSYNC). El COMMIT es durable cuando el fsync del log ha vuelto, no antes.

Tres cosas que muerden:

  1. Cachés de escritura volátiles en discos o controladoras que mienten sobre haber terminado. Sin batería o condensadores, tu durabilidad es teatro.
  2. Group commit: en vez de un fsync por transacción, varias transacciones concurrentes comparten uno. Es lo que hace que miles de commits por segundo sean posibles en un disco que hace unos cientos de fsync por segundo.
  3. Desactivar fsync "por rendimiento". En PostgreSQL es fsync = off, y un crash puede dejarte la base corrupta, no solo sin las últimas transacciones. Distinto de synchronous_commit = off, que arriesga perder las últimas transacciones pero no la consistencia.

Resumen para el lunes: durabilidad = log en medio estable + fsync que no miente. Todo lo demás es optimización.

#1445 · PacoElDelCronjob · · Denunciar

Pole. Y tochopost serio, que da gusto. Lo de las controladoras que mienten lo he vivido: caché de escritura activada, sin batería, y un corte de luz de los de verdad. El disco "había escrito" todo. Spoiler: no.

#1446 · ManoloSegfault · · Denunciar

Yo en una placa embebida con ext4 sobre una SD tuve el mismo susto: la app hacía write() y creía que ya estaba. Ahora fsync del fichero y además del directorio cuando creo uno nuevo, que si no la entrada del directorio puede no existir tras el reinicio. Aprendido a base de apagones, como siempre.

#1447 · TochopostDeLosLunes · · Denunciar

Eso, Manolo: el fsync del directorio es el gran olvidado. Crear un fichero, escribirlo y hacer fsync solo del fichero no garantiza que el nombre sobreviva. El patrón seguro para "reemplazar un fichero": escribir a un temporal, fsync del temporal, rename, fsync del directorio.

#1448 · TortugaConRoot · · Denunciar

Me lo apunto, sobre todo lo del patrón temporal + rename. Mi script de backups casero escribía directamente sobre el fichero final. Despacito pero lo cambio hoy.

Inicia sesión o únete para responder.