Pagina principal del proyecto BasesPágina general de consultasOtros enlacesInformación Técnica

Información Técnica

Centro de Documentación Foro Nacional Búsquedas Centro de Documentación Foro Nacional Información Técnica

Introducción
Estructura de la Base de Datos
Sistema Utilizado
Programas requeridos
Instalación de WAIS
Instalación de la interface SFgate
Formularios de búsqueda
Indexando la base
Ventajas
Desventajas
Recomendaciones

Introducción

Para la base de datos FORO se utilizó una combinación de WAIS (Wide Area Information Servers) como indexador/buscador de documentos y a SFgate como la interface de consulta a través del servidor de WEB.

SFgate es una herramienta muy efectiva para utilizar con cualquier base  WAIS, en nuestro caso utilizada con freeWAIS-sf ya que soporta un gran número de extensiones, pero cualquier servidor que utilice el protocolo utilizado por WAIS puede conectarse mediante esta interface.

SFgate esta diseñado como un script CGI utilizado a través de cualquier servidor de web que pueda soportar los standard CGI (en nuestro caso utilizamos el servidor apache).

Estructura de la base de datos

La base de datos posee la siguiente estructura (según la genera Foxpro):

Structure for database: FORO.DBF
Number of data records:    3513
Date of last update:    04\28\93

FIELD  FIELD NAME  TYPE  WIDTH
1 AUTOR CARACTER 5
2 NUMERO CARACTER 60
3 TITULO CARACTER 120
4 PIE CARACTER 60
** TOTAL **

246

Sistema utilizado

Los programas necesarios para armar la aplicación de indexación y búsqueda de la base de datos son:

Motor de búsqueda

freeWAIS-sf

SFgate puede conectar con cualquier servidor freeWAIS. En nuestro caso utilizamos freeWAIS-sf y sus extensiones. Se puede obtener freeWAIS-sf en:

ftp://ftp.germany.eu.net/pub/infosystems/wais/Unido-LS6/freeWAIS-sf/

Módulo Wais.pm

El módulo PERL Wais.pm provee acceso a las librerías freeWAIS-sf. SFgate necesita de este módulo,  por lo tanto, antes de instalar SFgate es necesaria su  instalación. Con la instalación de PERL versión 5.002 o posterior y freeWAIS-sf 2.0 instalado este proceso es muy simple.

Puede obtenerse Wais.pm y su documentación en cualquier repositorio de archivos CPAN (Comprehensive Perl Archive Network):

http://www.perl.com/CPAN/authors/id/ULPFR/

Interface de Web

SFgate puede obtenerse desde:

http://ls6-www.informatik.uni-dortmund.de/ir/projects/SFgate/

Programas requeridos

Se requiere de un compilador C para generar los binarios de WAIS: waisindex, waisserver, waisq etc. (utilizamos el compilador C de gnu obtenido en http://www.gnu.org/).
PERL (http://www.perl.com/). Cerciórese de instalar Perl con su distribución de Linux. En nuestro servidor utilizamos Perl 5.004_03.
Servidor Web (http://www.apache.org/). Cerciórese de instalar Apache con su distribución de Linux. Tenemos en nuestro servidor una copia del manual de uso de Apache en inglés.

Instalación de WAIS El primer paso es abrir el archivo que contiene los fuentes en el directorio donde se vaya a compilar:

tar zxvf freeWAIS-sf-2.0.tar.gz

La distribución dispone de un script de configuración que determina las propiedades del sistema donde se va a compilar el paquete y realiza varias preguntas sobre la instalación de freeWAIS-sf.

El siguiente paso es correr el configurador y contestar algunas preguntas si se desea. Desde el directorio donde se desempaqueto el software ejecute:

./Configure

Puede compilarse el paquete dejando las opciones por defecto a cada una de las preguntas que realiza el configurador. Luego de generados los 'Makefile' correspondientes puede compilarse el paquete y correr las pruebas necesarias para confirmar el éxito de la compilación. Para realizar esto ejecute:

make all

Si todas las pruebas resultan bien pueden instalarse los binarios en su destino final.

make install

Instalación de la interface SFgate

De la misma forma que el anterior paquete, se debe instalar este paquete en el directorio donde se desee compilar. Para esta aplicación especifica, y para todos aquellos programas que se compilen, se sugiere crear un directorio donde se instalen todas las fuentes que vayan a compilarse, en nuestro caso colocamos todos lo paquetes en el directorio de fuentes /usr/local/src.

Como primer paso se debe descompactar el paquete original

tar zxvf SFgate5.0.tar.gz

este software también dispone de un configurador que crea los Makefile necesarios de acuerdo a la plataforma en la que se este trabajando. Ejecute:

perl ./Makefile.PL

acepte las respuestas por defecto que sugiere el paquete. En el caso del directorio que se selecciono para ubicar los índices creados por Wais, nosotros indicamos el directorio /usr/local/wais/wais-sources. Este directorio debe tenerse muy en cuenta pues va a ser aquí donde se debe ubicar el producto de la generación de índices de Wais y el directorio donde SFgate buscará los elementos que se correspondan con la búsqueda realizada desde la interface Web.

Los pasos que siguen son: generar el script SFgate

make

correr los test que confirmen que la aplicación fue bien compilada

make test

e instalar la aplicación en los directorios destino

make install

Formularios de búsqueda

Lo que resta es definir un formato para el formulario de búsqueda. A continuación encontrará algunos ejemplos de formularios de búsqueda para bases creadas con freeWAIS-sf.

Para indicar la base que se va a buscar, debe utilizar los tags que se presentan a continuación. En el caso de que el servidor waisserver corra en nuestro equipo o uno diferente deberemos saber en que puerto lo hace y el nombre del servidor

Ejemplo 1

<INPUT NAME="database"
TYPE="checkbox"
VALUE="bases.colnodo.org.co:210/foro">

Este ejemplo buscara la base "database" en el servidor 'bases.colnodo.org.co' y el waisserver estará corriendo en el puerto 210.

Ejemplo 2

<INPUT NAME="database"
TYPE="checkbox"
VALUE="local//home/wais/wais-sources/demo">

En caso de estar utilizando el modulo Wais y querer buscar en una base local (la base de datos reside en el mismo host donde lo hace el servidor HTTP), es posible utilizar la facilidad de búsqueda local. Utilizar 'local' para indicar el PATH completo a los índices (no olvidarla doble barra '//' luego de 'local')

Un formulario de búsqueda más elaborado puede encontrarse en
http://bases.colnodo.org.co/foro/busqueda.htm

Indexando la base

En nuestro caso el grupo de documentos a indexar consta de aproximadamente 3.000 documentos en formato HTML. Estos documentos se encuentran en la estructura de directorios del servidor Web en

/usr/local/apache/share/htdocs/foro/*.htm

y el resultado de la indexación mediante el utilitario 'waisindex' deberá ubicarse en

/usr/local/wais/wais-sources

Para facilitar la tarea de indexación generamos un pequeño script que realiza la tarea.

----------------------------------------------
#!/bin/sh
#

indexprog=/usr/local/bin/waisindex
path=/usr/local/apache/share/htdocs/foro
foro=http://bases.colnodo.org.co/foro
wais=/usr/local/wais/wais-sources/foro

$indexprog -a -T HTML -t URL $path $foro -d $wais $path/*.htm
$indexprog -a -T HTML -t URL $path $foro -d $wais $path/*.html

---------------------------------------------

La interface de búsqueda original del paquete se puede encontrar en

http://bases.colnodo.org.co/foro/busqueda.htm

y en ella se puede observar lo flexible de las búsquedas y la gran cantidad de opciones disponibles a la hora de seleccionar un resultado adaptado a nuestras necesidades.

Ventajas

El paquete resulta sumamente flexible a la hora de manejar las búsquedas e indexar los materiales. freeWAIS-sf es muy potente y soporta una gran cantidad de formatos en sus procesos de indexación: texto, html, LaTeX, Biology abstract format, gif, mail, medline, Postscript, bibdb,bibinf, etc. por nombrar algunos de ellos.
Otra ventaja significativa es la posibilidad de concentrar en una sola interface de búsqueda varias bases de datos distribuidas, incluso geográficamente distantes. Esto permite que, por ejemplo, una organización albergue la interface de búsqueda y cada una de las dependencias de ella mantenga su propia base de datos, incluso en formatos diferentes y que sean accedidas desde la sede central de la organización.

Desventajas

La configuración del paquete total es compleja, son muchos sus componentes y requiere de una gran atención a la hora de configurar e instalar cada uno de ellos. Si bien la configuración no es fácil, el resultado obtenido con el producto ya instalado es muy bueno.

Recomendaciones

Seguir paso a paso los documentos de instalación y las instrucciones en cada uno de los paquetes mencionados. Si alguno de los pasos no se cumplen seguramente deberemos volver atrás y comenzar nuevamente con la configuración completa.

Prestar suma atención a los 'tests' que realizan los paquetes 'wais' y 'SFgate', si alguno resulta con errores NO instalarlo, volver atrás en la configuración hasta que el resultado sea de un 100%.

No encontró la información que buscaba?, tiene comentarios?, contáctenos!