"La web ha evolucionado hacia lo que podría considerarse un dinámico almacén donde albergar informaciones muy diversas en contenidos, relevancia y utilidad. Por el momento, gran parte de la responsabilidad en la búsqueda y localización de la información de la información dispersa en la red recae en los motores de búsqueda" (Lynch, 1997)
Estos buscadores indizan las millones de páginas web a texto completo por medio de robots o araña. Estos presenta un funcionamiento demasiado simple, que les incapacita para la comprensión del lenguaje natural y por tanto no están lo suficientemente avanzados para extraer el significado de los recurso. Si ha esto le añadimos la diversidad de tipos de ficheros que nos encontramos, dicha recuperación es aún más difícil. Hay que puntualizar, que todo este tipo de fichero van estructurados en forma de metadatos (las etiquetas definen autor, título, longitud de texto, materia), pero la totalidad de los recurso no están estructurados completamente de esta manera y los buscadores no recopilan totalmente esta información.
Ante esta situación, la indización de la información, impide por ejemplo identificar el contexto o temática del recurso o su genero. En contrapartida la indización profesional, podría resolver estos problemas pero la cantidad de información producida, hace inviable esta situación.
En la actual web social, se han desarrollados herramientas que facilitan la indización de los recursos, que se basan en el uso de la folksonomías y que se identifican como etiquetado social. Este permite organizar, describir y compartir recursos web por medio de etiquetas o tags, que son términos o conjunto de términos en lenguaje natural. Este puede ser de modo individual, donde el usuario etiqueta los recursos confeccionando su propio índice de etiquetas, para su posterior recuperación, o en un ámbito compartido, donde el índice de etiquetas es global (folksonomías), por el cual cualquier usuario puede recuperar un recurso etiquetado por otro.
Llegados a este punto, se podría diferenciar los tipo de indización que se realizan:
- Indización humana o profesional: una persona, tras analizar el contenido, le asigna términos de indización que considera que identifican las temáticas del contenido. Se realiza bajo un lenguaje controlado. El problema reside en colecciones de recurso como es la web, donde sólo se puede realizar a través de la distribución de tareas. Un ejemplo, sería la indización por parte del autor o creador del recurso, por medio de metadatos, pero en el caso de colecciones abiertas (web), presenta problemas de fiabilidad, debido a la falta de objetividad en la descripción. Otro inconveniente de esta indización, en el ámbito total de la web, sería el tema económico.
- Indización automática: se realiza con algoritmos por diferentes técnicas que le asignan un peso a cada uno de los términos que aparece en el documento, representando su contenido. Existen modelos como el Modelo de Espacio Vectorial, donde la descripción se realiza en relación a los términos que aparecen en el documento o el de Indización de Semántica Latente, donde un documento puede ser descrito por términos que no aparecen en dicho documento, pero que presenta fuertes relaciones de co-ocurrencia con los términos del documento en otros documentos de la colección. La indización automática resulta la única opción plausible para la web y además es más económica que la humana. Un inconveniente en el caso de la utilización de este tipo, en el caso de los robots de los buscadores, es que estos actualizan las bases de datos de forma periódica y con la casuística (constante cambio) de la publicación de contenidos en la web, es difícil que pueden ser indizado todo.
- Indización social: se realiza por agregación, ya que un mismo recurso es indizado por varios usuarios, dando como resultado una descripción más objetiva. También es más exhaustiva, ya que al ser realizada por distintos usuarios, el recurso presentará mayor número de descriptores. Los inconvenientes aparecen cuando existan gran proporción de etiquetas vacías de contenido social, pues se ha realizado por usuarios para su uso personal o bien es lo que pensó en el momento de etiquetarlo. Otro es le problema de desarrollarse en lenguaje natural, pues aparece la polisemia y la sinonimia.
- Centrarse un sector de conocimiento los más particular posible. Recopilar contenidos que se desarrollen (ej. blogs o flickr) en dicho sector.
- Desarrollar una técnica que permita una indización híbrida "empleo de algoritmos para la ponderación de los tags (qué relevancia descriptiva tiene cada tag para cada recurso), así como para la eliminación de tags vacíos de significación colectiva. Para esto sólo sería necesario aplicar modelos propios de la indización automática sobre la indización social: ponderación mediante el empleo de las frecuencias de uso del tag, ponderación de los taggers por autoridad, desambiguación del significado en función del contexto, etc." (Hassan Montero, 2006). Esta indización híbrida, utilizaría conceptos de la indización humana y de la automática. Se podría determinar un método de indización automática con su lista de palabras vacías, algoritmos para la ponderación de términos y además que posibiliten la eliminación de aquellos términos con bajo significado social de los ya utilizados por los usuarios, analizadores lingüisticos, un vocabulario controlado que con la ayuda de técnicas de stemming, reconocedores de nombres propios y siglas. Este proceso debe de ser invisible para el usuario que utiliza los descriptores. De esta forma, la actividad que realiza el usuario determinando sus descriptores, sigue intacta y por tanto no intercedemos en dicha acción. Simplemente le damos la opción de añadir uno descriptores normalizados, los cuales le seguirán dando la utilidad que los utilizados por el anteriormente.
- Cuando un usuario vaya añadir unos descriptores en un blog o en fotos en flickr, la aplicación realizará una indización a texto completo y de las etiquetas que se van a utilizar, dando como resultado los descriptores más relevantes, con más contenido social y desarrollados en un lenguaje controlado.
- Un paso más sería el incluir la opción de poder añadir la entrada del post o de la foto, en aplicaciones como por ejemplo Twitter o Deliciuos., (las cuales presentan APIs abiertas y posibilitan herramientas añadidas) con la indización que ha resultado del anterior proceso. De esta forma los usuarios tendrían unas herramientas más normalizada, para la búsqueda por medio de un sistema de navegación (browsing), en cada una de las aplicaciones aquí mencionadas.
- Hassan Montero, Yusef; (2006). Indización Social y Recuperación de Información. En: No Solo Usabilidad, nº 5, 2006. <nosolousabilidad.com>. ISSN 1886-8592
- Olvera Lobo, Mª Dolores. Métodos y técnicas para la indización y la recuperación de los recursos de la World Wide Web. En: Boletín Asociación Andaluza Bibliotecarios nº 57 (1999). ISSN 0213-6333