Skip to the content ForoHackers
Log inJoin

Recuperación de información: por dónde empezar

Information retrieval
#2914 · · Quote · Report

La recuperación de información es la ciencia de encontrar, en una colección grande, los documentos, pasajes o elementos que satisfacen la necesidad de una persona, normalmente de texto. A diferencia de una consulta a una base de datos, con respuesta exacta, un resultado de búsqueda es una conjetura ordenada, así que el campo trata de modelar la relevancia y medir qué tan bueno es el orden.

Conceptos clave

  • Índice invertido: para cada término, la lista de documentos que lo contienen; hace rápida la búsqueda entre millones de documentos.
  • Análisis de texto: dividir el texto en tokens, pasarlo a minúsculas, quitar ruido y reducir las palabras a una forma base.
  • Modelos de ordenación: frecuencia del término, frecuencia inversa de documento y normalización por longitud, como en TF-IDF y BM25.
  • Búsqueda vectorial: documentos y consultas como embeddings, comparados por similitud y no por palabras compartidas.
  • Evaluación: juzgar con consultas de resultados relevantes conocidos, no por impresión.

Vocabulario

  • Precisión y exhaustividad (recall): la proporción de resultados relevantes, y la proporción de elementos relevantes que se encontraron.
  • Expansión de consulta: añadir términos relacionados a una consulta para llegar a más documentos relevantes.
  • Stemming: recortar las palabras a una raíz común, para que «corriendo» y «corre» coincidan.
  • Retroalimentación de relevancia: usar las reacciones del usuario para mejorar los resultados.

Qué estudiar, en orden

  1. Construye un índice invertido sobre una carpeta de archivos de texto y responde una consulta de una palabra.
  2. Añade tokenización y stemming, y admite consultas de varias palabras.
  3. Implementa la ordenación TF-IDF y luego BM25, y compara los órdenes que dan.
  4. Aprende precisión, recall y precisión media, y puntúa tu sistema con unas pocas consultas juzgadas.
  5. Añade embeddings y compara la búsqueda semántica con la de palabras clave en consultas donde cada una falla.
  6. Lee sobre comprensión de consultas y aprendizaje para ordenar.

Etiquetas relacionadas

#search-engines #nlp #data-structures #databases

You are not logged in, so this goes up anonymously: no account, no name and no address is stored with it, and it may carry no link and no image. Log in or join to post under your name. Our web server's logs keep the address and time of every request for up to 14 days; to keep yours out of them, use Tor. To reach the staff in confidence, use the drop. Sign as a returning source (a key kept only in this browser)

Sending takes a few seconds here: your browser first works out a proof of work against spam.

Reply