Saltar al contenido ForoHackers

Recuperación de información: por dónde empezar

Recuperación de información
#408 · Ophuscado · · Denunciar

La recuperación de información es la ciencia de encontrar, en una colección grande, los documentos, pasajes o elementos que satisfacen la necesidad de una persona, normalmente de texto. A diferencia de una consulta a una base de datos, con respuesta exacta, un resultado de búsqueda es una conjetura ordenada, así que el campo trata de modelar la relevancia y medir qué tan bueno es el orden.

Conceptos clave

  • Índice invertido: para cada término, la lista de documentos que lo contienen; hace rápida la búsqueda entre millones de documentos.
  • Análisis de texto: dividir el texto en tokens, pasarlo a minúsculas, quitar ruido y reducir las palabras a una forma base.
  • Modelos de ordenación: frecuencia del término, frecuencia inversa de documento y normalización por longitud, como en TF-IDF y BM25.
  • Búsqueda vectorial: documentos y consultas como embeddings, comparados por similitud y no por palabras compartidas.
  • Evaluación: juzgar con consultas de resultados relevantes conocidos, no por impresión.

Vocabulario

  • Precisión y exhaustividad (recall): la proporción de resultados relevantes, y la proporción de elementos relevantes que se encontraron.
  • Expansión de consulta: añadir términos relacionados a una consulta para llegar a más documentos relevantes.
  • Stemming: recortar las palabras a una raíz común, para que «corriendo» y «corre» coincidan.
  • Retroalimentación de relevancia: usar las reacciones del usuario para mejorar los resultados.

Qué estudiar, en orden

  1. Construye un índice invertido sobre una carpeta de archivos de texto y responde una consulta de una palabra.
  2. Añade tokenización y stemming, y admite consultas de varias palabras.
  3. Implementa la ordenación TF-IDF y luego BM25, y compara los órdenes que dan.
  4. Aprende precisión, recall y precisión media, y puntúa tu sistema con unas pocas consultas juzgadas.
  5. Añade embeddings y compara la búsqueda semántica con la de palabras clave en consultas donde cada una falla.
  6. Lee sobre comprensión de consultas y aprendizaje para ordenar.

Etiquetas relacionadas

#search-engines #nlp #data-structures #databases

Inicia sesión o únete para responder.