Saltar al contenido ForoHackers

Computación de alto rendimiento: por dónde empezar

Computación de alto rendimiento
#428 · Ophuscado · · Denunciar

La computación de alto rendimiento usa muchos procesadores trabajando juntos para resolver problemas demasiado grandes o lentos para una sola máquina: clima, moléculas, estructuras, grandes simulaciones. Es programación paralela con el rendimiento como meta, en clústeres donde la red, la memoria y el almacenamiento importan tanto como los núcleos.

Conceptos clave

  • Paralelismo: de datos, de tareas y en tubería, entre núcleos, aceleradores y nodos.
  • Paso de mensajes y memoria compartida: MPI entre nodos, hilos u OpenMP dentro de uno.
  • Escalado: el escalado fuerte fija el problema y añade procesadores; el débil hace crecer ambos; la ley de Amdahl acota el primero.
  • Memoria y comunicación: el ancho de banda, el uso de la caché y la latencia de la red suelen limitar la velocidad más que la aritmética.
  • Planificación de trabajos: los usuarios envían trabajos a una cola, y un planificador asigna nodos y tiempo.
  • Aceleradores: las GPU resuelven núcleos masivamente paralelos y exigen mover los datos con cuidado.

Vocabulario

  • Nodo: una computadora de un clúster.
  • Rank: un proceso de un programa MPI.
  • FLOPS: operaciones de coma flotante por segundo, una cifra máxima que rara vez se alcanza.
  • Interconexión: la red rápida que une los nodos.
  • Modelo roofline: un gráfico que relaciona la velocidad de un programa con su intensidad aritmética y los límites de la máquina.

Qué estudiar, en orden

  1. C, C++ o Fortran, más lo básico de cachés y vectorización.
  2. Paraleliza un bucle con OpenMP y mide la aceleración frente al número de hilos.
  3. Escribe un programa MPI pequeño, como un stencil o una multiplicación de matrices, y mide el escalado fuerte y el débil.
  4. Perfílalo y averigua si lo limita el cálculo, la memoria o la comunicación.
  5. Ejecútalo con un planificador de trabajos en un clúster compartido, y luego pasa un núcleo de cálculo a una GPU.

Etiquetas relacionadas

#concurrency #gpu #performance #computational-science #numerical-analysis

Inicia sesión o únete para responder.