Una GPU es un procesador hecho para ejecutar el mismo trabajo pequeño sobre miles de datos a la vez. Dibuja imágenes, pero también acelera simulaciones, procesamiento de imágenes y aprendizaje automático. Programarla es pensar en paralelismo masivo y en el movimiento de memoria, porque mover datos suele costar más que operar con ellos.
Conceptos clave
- Paralelismo de datos: un kernel o shader se ejecuta en muchos hilos, cada uno con un elemento.
- Modelo de ejecución: hilos agrupados en bloques o grupos de trabajo, que avanzan en paquetes sincronizados; las ramas que divergen dentro de un paquete lo frenan.
- Jerarquía de memoria: la memoria global es grande y lenta; la compartida o local es pequeña y rápida; los registros son lo más rápido.
- Anfitrión y dispositivo: la CPU prepara los datos y lanza el trabajo; hay que minimizar las copias por el bus.
- Ocupación y ancho de banda: mantén suficientes hilos en vuelo para ocultar la latencia de memoria y comprueba si te limita el cómputo o la memoria.
Vocabulario
- Kernel: función que se lanza en la GPU sobre muchos hilos.
- Shader: programa de GPU dentro de la tubería gráfica, como un shader de vértices o de fragmentos.
- Coalescencia: hilos vecinos que leen direcciones vecinas para que el hardware fusione las lecturas.
- API de cómputo: CUDA, OpenCL o las etapas de cómputo de APIs gráficas como Vulkan.
Qué estudiar, en orden
- Pensar en paralelo en la CPU: map, reduce y scan sobre arreglos.
- Escribe un kernel de suma de vectores y mídelo, incluyendo las copias.
- Implementa una multiplicación de matrices ingenua y luego con teselado en memoria compartida; mide la diferencia.
- Escribe un shader de fragmentos que dibuje algo y luego un shader de cómputo que procese una imagen.
- Usa un perfilador para decidir si cada kernel está limitado por la memoria o por la aritmética.
Etiquetas relacionadas
#computer-graphics #hpc #computer-architecture #deep-learning