Saltar al contenido ForoHackers

Motores de búsqueda: por dónde empezar

Motores de búsqueda
#2916 · · Citar · Denunciar

Un motor de búsqueda es el sistema completo que convierte una pregunta en una lista ordenada de resultados: encuentra el contenido, lo indexa, entiende la consulta y devuelve respuestas en una fracción de segundo. Puede buscar en toda la web, en los documentos de una empresa o en un solo sitio, y todos los casos comparten la misma arquitectura.

Conceptos clave

  • Rastreo: seguir enlaces o leer una fuente para descubrir y descargar contenido, con educación y sin sobrecargar los sitios.
  • Indexación: analizar el contenido, procesar el texto y escribirlo en un índice invertido, dividido en fragmentos.
  • Procesamiento de consultas: interpretar la consulta, sacar del índice los documentos candidatos y puntuarlos.
  • Señales de ordenación: coincidencia de texto, actualidad, estructura de enlaces como PageRank y señales de calidad.
  • Servir a escala: cachés, réplicas y particionado mantienen los resultados rápidos bajo mucha carga.

Vocabulario

  • Crawler o araña: el programa que descarga las páginas que se van a indexar.
  • robots.txt: el archivo estándar donde un sitio indica qué pueden descargar los rastreadores.
  • Shard: un fragmento del índice guardado en una máquina.
  • Autocompletado: sugerencias que se ofrecen mientras la persona aún escribe.

Qué estudiar, en orden

  1. Lo básico de recuperación de información: índice invertido, TF-IDF y BM25.
  2. Escribe un rastreador pequeño que respete robots.txt y una pausa entre peticiones, y que se ejecute solo en tu propio sitio o en uno de pruebas.
  3. Indexa lo que recogió y añade una página de búsqueda con resultados ordenados y fragmentos.
  4. Aprende PageRank y calcúlalo en un grafo pequeño, a mano y en código.
  5. Añade corrección ortográfica, autocompletado y filtros, y observa cómo afecta cada uno a los resultados.
  6. Usa una biblioteca de búsqueda de código abierto, reparte un índice entre dos procesos y mide la latencia.

Etiquetas relacionadas

#information-retrieval #web-standards #distributed-systems #nlp

No has iniciado sesión, así que esto se publica como anónimo: no se guarda con ello ninguna cuenta, nombre ni dirección, y no puede llevar enlaces ni imágenes. Inicia sesión o únete para publicar con tu nombre. Los registros de nuestro servidor web guardan la dirección y la hora de cada petición hasta 14 días; para que la tuya no quede en ellos, usa Tor. Para escribir al equipo de forma confidencial, usa el buzón. Firmar como fuente habitual (una clave guardada solo en este navegador)

Enviar tarda unos segundos aquí: tu navegador resuelve antes una prueba de trabajo contra el spam.

Responder