La recuperación de información es la ciencia de encontrar, en una colección grande, los documentos, pasajes o elementos que satisfacen la necesidad de una persona, normalmente de texto. A diferencia de una consulta a una base de datos, con respuesta exacta, un resultado de búsqueda es una conjetura ordenada, así que el campo trata de modelar la relevancia y medir qué tan bueno es el orden.
Conceptos clave
- Índice invertido: para cada término, la lista de documentos que lo contienen; hace rápida la búsqueda entre millones de documentos.
- Análisis de texto: dividir el texto en tokens, pasarlo a minúsculas, quitar ruido y reducir las palabras a una forma base.
- Modelos de ordenación: frecuencia del término, frecuencia inversa de documento y normalización por longitud, como en TF-IDF y BM25.
- Búsqueda vectorial: documentos y consultas como embeddings, comparados por similitud y no por palabras compartidas.
- Evaluación: juzgar con consultas de resultados relevantes conocidos, no por impresión.
Vocabulario
- Precisión y exhaustividad (recall): la proporción de resultados relevantes, y la proporción de elementos relevantes que se encontraron.
- Expansión de consulta: añadir términos relacionados a una consulta para llegar a más documentos relevantes.
- Stemming: recortar las palabras a una raíz común, para que «corriendo» y «corre» coincidan.
- Retroalimentación de relevancia: usar las reacciones del usuario para mejorar los resultados.
Qué estudiar, en orden
- Construye un índice invertido sobre una carpeta de archivos de texto y responde una consulta de una palabra.
- Añade tokenización y stemming, y admite consultas de varias palabras.
- Implementa la ordenación TF-IDF y luego BM25, y compara los órdenes que dan.
- Aprende precisión, recall y precisión media, y puntúa tu sistema con unas pocas consultas juzgadas.
- Añade embeddings y compara la búsqueda semántica con la de palabras clave en consultas donde cada una falla.
- Lee sobre comprensión de consultas y aprendizaje para ordenar.