Skip to the content ForoHackers
Log inJoin

Motores de búsqueda: por dónde empezar

Search engines
#2916 · · Quote · Report

Un motor de búsqueda es el sistema completo que convierte una pregunta en una lista ordenada de resultados: encuentra el contenido, lo indexa, entiende la consulta y devuelve respuestas en una fracción de segundo. Puede buscar en toda la web, en los documentos de una empresa o en un solo sitio, y todos los casos comparten la misma arquitectura.

Conceptos clave

  • Rastreo: seguir enlaces o leer una fuente para descubrir y descargar contenido, con educación y sin sobrecargar los sitios.
  • Indexación: analizar el contenido, procesar el texto y escribirlo en un índice invertido, dividido en fragmentos.
  • Procesamiento de consultas: interpretar la consulta, sacar del índice los documentos candidatos y puntuarlos.
  • Señales de ordenación: coincidencia de texto, actualidad, estructura de enlaces como PageRank y señales de calidad.
  • Servir a escala: cachés, réplicas y particionado mantienen los resultados rápidos bajo mucha carga.

Vocabulario

  • Crawler o araña: el programa que descarga las páginas que se van a indexar.
  • robots.txt: el archivo estándar donde un sitio indica qué pueden descargar los rastreadores.
  • Shard: un fragmento del índice guardado en una máquina.
  • Autocompletado: sugerencias que se ofrecen mientras la persona aún escribe.

Qué estudiar, en orden

  1. Lo básico de recuperación de información: índice invertido, TF-IDF y BM25.
  2. Escribe un rastreador pequeño que respete robots.txt y una pausa entre peticiones, y que se ejecute solo en tu propio sitio o en uno de pruebas.
  3. Indexa lo que recogió y añade una página de búsqueda con resultados ordenados y fragmentos.
  4. Aprende PageRank y calcúlalo en un grafo pequeño, a mano y en código.
  5. Añade corrección ortográfica, autocompletado y filtros, y observa cómo afecta cada uno a los resultados.
  6. Usa una biblioteca de búsqueda de código abierto, reparte un índice entre dos procesos y mide la latencia.

Etiquetas relacionadas

#information-retrieval #web-standards #distributed-systems #nlp

You are not logged in, so this goes up anonymously: no account, no name and no address is stored with it, and it may carry no link and no image. Log in or join to post under your name. Our web server's logs keep the address and time of every request for up to 14 days; to keep yours out of them, use Tor. To reach the staff in confidence, use the drop. Sign as a returning source (a key kept only in this browser)

Sending takes a few seconds here: your browser first works out a proof of work against spam.

Reply