La computación de alto rendimiento usa muchos procesadores trabajando juntos para resolver problemas demasiado grandes o lentos para una sola máquina: clima, moléculas, estructuras, grandes simulaciones. Es programación paralela con el rendimiento como meta, en clústeres donde la red, la memoria y el almacenamiento importan tanto como los núcleos.
Conceptos clave
- Paralelismo: de datos, de tareas y en tubería, entre núcleos, aceleradores y nodos.
- Paso de mensajes y memoria compartida: MPI entre nodos, hilos u OpenMP dentro de uno.
- Escalado: el escalado fuerte fija el problema y añade procesadores; el débil hace crecer ambos; la ley de Amdahl acota el primero.
- Memoria y comunicación: el ancho de banda, el uso de la caché y la latencia de la red suelen limitar la velocidad más que la aritmética.
- Planificación de trabajos: los usuarios envían trabajos a una cola, y un planificador asigna nodos y tiempo.
- Aceleradores: las GPU resuelven núcleos masivamente paralelos y exigen mover los datos con cuidado.
Vocabulario
- Nodo: una computadora de un clúster.
- Rank: un proceso de un programa MPI.
- FLOPS: operaciones de coma flotante por segundo, una cifra máxima que rara vez se alcanza.
- Interconexión: la red rápida que une los nodos.
- Modelo roofline: un gráfico que relaciona la velocidad de un programa con su intensidad aritmética y los límites de la máquina.
Qué estudiar, en orden
- C, C++ o Fortran, más lo básico de cachés y vectorización.
- Paraleliza un bucle con OpenMP y mide la aceleración frente al número de hilos.
- Escribe un programa MPI pequeño, como un stencil o una multiplicación de matrices, y mide el escalado fuerte y el débil.
- Perfílalo y averigua si lo limita el cálculo, la memoria o la comunicación.
- Ejecútalo con un planificador de trabajos en un clúster compartido, y luego pasa un núcleo de cálculo a una GPU.
Etiquetas relacionadas
#concurrency #gpu #performance #computational-science #numerical-analysis