Saltar al contenido ForoHackers

Motores de búsqueda: por dónde empezar

Motores de búsqueda
#410 · Ophuscado · · Denunciar

Un motor de búsqueda es el sistema completo que convierte una pregunta en una lista ordenada de resultados: encuentra el contenido, lo indexa, entiende la consulta y devuelve respuestas en una fracción de segundo. Puede buscar en toda la web, en los documentos de una empresa o en un solo sitio, y todos los casos comparten la misma arquitectura.

Conceptos clave

  • Rastreo: seguir enlaces o leer una fuente para descubrir y descargar contenido, con educación y sin sobrecargar los sitios.
  • Indexación: analizar el contenido, procesar el texto y escribirlo en un índice invertido, dividido en fragmentos.
  • Procesamiento de consultas: interpretar la consulta, sacar del índice los documentos candidatos y puntuarlos.
  • Señales de ordenación: coincidencia de texto, actualidad, estructura de enlaces como PageRank y señales de calidad.
  • Servir a escala: cachés, réplicas y particionado mantienen los resultados rápidos bajo mucha carga.

Vocabulario

  • Crawler o araña: el programa que descarga las páginas que se van a indexar.
  • robots.txt: el archivo estándar donde un sitio indica qué pueden descargar los rastreadores.
  • Shard: un fragmento del índice guardado en una máquina.
  • Autocompletado: sugerencias que se ofrecen mientras la persona aún escribe.

Qué estudiar, en orden

  1. Lo básico de recuperación de información: índice invertido, TF-IDF y BM25.
  2. Escribe un rastreador pequeño que respete robots.txt y una pausa entre peticiones, y que se ejecute solo en tu propio sitio o en uno de pruebas.
  3. Indexa lo que recogió y añade una página de búsqueda con resultados ordenados y fragmentos.
  4. Aprende PageRank y calcúlalo en un grafo pequeño, a mano y en código.
  5. Añade corrección ortográfica, autocompletado y filtros, y observa cómo afecta cada uno a los resultados.
  6. Usa una biblioteca de búsqueda de código abierto, reparte un índice entre dos procesos y mide la latencia.

Etiquetas relacionadas

#information-retrieval #web-standards #distributed-systems #nlp

Inicia sesión o únete para responder.