Un motor de búsqueda es el sistema completo que convierte una pregunta en una lista ordenada de resultados: encuentra el contenido, lo indexa, entiende la consulta y devuelve respuestas en una fracción de segundo. Puede buscar en toda la web, en los documentos de una empresa o en un solo sitio, y todos los casos comparten la misma arquitectura.
Conceptos clave
- Rastreo: seguir enlaces o leer una fuente para descubrir y descargar contenido, con educación y sin sobrecargar los sitios.
- Indexación: analizar el contenido, procesar el texto y escribirlo en un índice invertido, dividido en fragmentos.
- Procesamiento de consultas: interpretar la consulta, sacar del índice los documentos candidatos y puntuarlos.
- Señales de ordenación: coincidencia de texto, actualidad, estructura de enlaces como PageRank y señales de calidad.
- Servir a escala: cachés, réplicas y particionado mantienen los resultados rápidos bajo mucha carga.
Vocabulario
- Crawler o araña: el programa que descarga las páginas que se van a indexar.
- robots.txt: el archivo estándar donde un sitio indica qué pueden descargar los rastreadores.
- Shard: un fragmento del índice guardado en una máquina.
- Autocompletado: sugerencias que se ofrecen mientras la persona aún escribe.
Qué estudiar, en orden
- Lo básico de recuperación de información: índice invertido, TF-IDF y BM25.
- Escribe un rastreador pequeño que respete robots.txt y una pausa entre peticiones, y que se ejecute solo en tu propio sitio o en uno de pruebas.
- Indexa lo que recogió y añade una página de búsqueda con resultados ordenados y fragmentos.
- Aprende PageRank y calcúlalo en un grafo pequeño, a mano y en código.
- Añade corrección ortográfica, autocompletado y filtros, y observa cómo afecta cada uno a los resultados.
- Usa una biblioteca de búsqueda de código abierto, reparte un índice entre dos procesos y mide la latencia.
Etiquetas relacionadas
#information-retrieval #web-standards #distributed-systems #nlp