|
|
Un sitio web es definido como un conjunto de páginas que comparte la parte del nombre del servidor de la URL. De este modo, un sitio es denominado http://www.sitio.cl/, y contiene todas las páginas cuya raíz es http://www.sitio.cl/1.
Este Capítulo estudia diferentes características de los sitios de la Web Chilena. Un cuadro resumen con los datos de los sitios se puede observar en el Cuadro 3.1, donde se observa que el número de sitios estudiados es 200,000. Llama la atención la cantidad de sitios vacíos que se encontraron, 88,626, es decir, sitios cuya dirección existe en algún lugar2 pero que en realidad no tienen páginas, o incluso ni siquiera están asignados a algún servidor.
|
|
Las Secciones de este Capítulo son las siguientes:
Se observó un promedio de 48, 19 páginas por sitio (considerando sólo los sitios estudiados). La distribución de páginas a través de los sitios es muy sesgada, pues un 7 % de los sitios tiene el 90 % de los documentos. Dicha distribución se puede ajustar a una ley de potencias de parámetro 1, 84, visible en la Figura 3.1, y comparable a 1, 14 en España [7], 1, 6 en Brazil [27], 1, 45 en Argentina [34].
Hay 48,103 sitios en los cuales el recolector encontró sólo una página. Esto representa un 24, 05 % de los sitios estudiados. Ahora bien, si una persona visita estos sitios para inspeccionarlos manualmente, en muchos de ellos encontrará un sitio completo con más de una página. Dentro de los motivos por los cuales se encuentra solamente una página en un sitio se encuentran los siguientes:
En la Figura 3.2 se muestra la distribución de los sitios de una página anómalos, es decir, aquellos en los cuales sí se espera tener acceso a una mayor cantidad de páginas.
Respecto a los sitios que tienen muchas páginas, o más bien los que tienen el mayor número de páginas, también existen anomalías. En el Cuadro 3.2 se observa la lista de los 30 sitios con más páginas, de los cuales se indica el total de páginas encontradas, la dirección del sitio y un comentario indicando la anomalía que afecta a ese sitio si es que se puede identificar alguna.
|
|
En general, existen dos anomalías que usualmente se dan juntas. La primera es una consecuencia de utilizar un administrador de contenido (CMS) para gestionar las páginas. Estos administradores proveen una gran cantidad de formas para acceder al mismo contenido, es decir, generan una gran cantidad de páginas duplicadas, todas válidas, pero con direcciones distintas. La segunda anomalía es el uso de parámetros en la URL, mediante URL Rewriting, que acentúa la primera anomalía ya que sitúa un documento en una estructura física que realmente no existe. Los recolectores cuando encuentran una página que se encuentra a una profundidad física mayor a 2, sacan la última parte de la URL y verifican si sigue siendo una dirección válida. Cuando un CMS utiliza parámetros en la URL, a partir de una dirección se puede llegar a recolectar una cantidad de páginas equivalentes a la profundidad de la dirección. Estas páginas no suelen gatillar errores en el servidor (es decir, del tipo Error 404), sino que usualmente presentan algún tipo de contenido válido y duplicado proporcionado por el CMS.
Dejando de lado las anomalías, resulta natural pensar que los otros sitios que pueden tener una gran cantidad de páginas son los catálogos de productos, en especial en los sitios de remates, y los sitios comunitarios, donde cada usuario tiene una gran cantidad de páginas asignadas (en las cuales puede tener fotos, mensajes, publicaciones, etc., dependiendo del tipo de sitio). Un problema detectado en la mayoría de los catálogos de productos es que muchos de esos sitios duplican el contenido de otros sitios, lo que quiere decir que cuando un sitio agrega un producto, otros sitios también lo agregan, por lo que el número de páginas crece en todos ellos.
En la Figura 3.3 se observa la correlación entre el número de páginas de un sitio y la cantidad de títulos por página que tiene el sitio. El caso ideal es que un sitio tenga un título de documento distinto para cada página. En general no se observa una correlación significativa. Sin embargo, una gran cantidad de sitios tienen una relación cercana a 1, lo cual indica que existe una mayor preocupación por asignar un título a los documentos.
|
|
Al hablar de tamaño de un sitio se considera la suma de los tamaños de las páginas que lo componen. Sólo se considera el contenido HTML, es decir, el texto de las páginas (incluyendo código fuente), no el de sus imágenes u otros documentos o archivos. En la Figura 3.4 se muestra la distribución del tamaño de los sitios, ajustada a una ley de potencias de parámetro 1, 64. La distribución es muy sesgada: un 14 % de los sitios contiene el 99 % del total del contenido.
En el Cuadro 3.3 se listan los 30 sitios con mayor cantidad de texto. De los 30 sitios, 29 son de índole comercial, y se repiten varios sitios del Cuadro 3.2, lo que es natural si se considera que las anomalías que provocan una mayor cantidad de páginas también provocan una mayor cantidad de contenido.
|
|
Para estudiar la edad de un sitio web, se definen tres mediciones: la edad promedio de los documentos; la edad del documento más antiguo, es decir, aquel cuya fecha de actualización es una cota inferior respecto a la de los otros documentos; y la edad del documento más nuevo, es decir, la de aquel cuya actualización se realizó más recientemente.
La distribución de la edad en meses de los sitios se observa en la Figura 3.5. Las tres edades consideradas se pueden ajustar a una ley de potencias: para la edad promedio, el parámetro es 1, 32; para la edad del documento más antiguo,1, 21; para la edad del documento más reciente, 1, 37.
Cerca del 32 % de los sitios fueron creados o actualizados en el último año, lo que indica no solamente que la web Chilena crece a un ritmo acelerado, sino que también constante, ya que el año 2006 creció un 40 % respecto al año 2004 [6].
Aunque cada sitio tiene una dirección única, muchos de ellos están hospedados en los mismos servidores. Determinar esto es posible a través de las direcciones IP de los sitios, y una vez que se tiene la dirección IP, se puede hacer una búsqueda de dns reverso para conocer el proveedor al que pertenece esa dirección. En el Cuadro 3.4 se muestran los 30 proveedores que hospedan más sitios en la Web Chilena.
|
|
Un enlace interno dentro de una página en un sitio es aquel que apunta hacia otra página dentro del mismo sitio. En promedio, un sitio tiene 337 enlaces internos. Del mismo, el promedio de enlaces internos por página es 2, 25 (sin considerar sitios vacíos o con una página, en los cuales no existen los enlaces internos).
La distribución del número de enlaces internos por sitio se muestra en la Figura 3.6, y se ajusta a una ley de potencias con parámetro 1, 54. La distribución del número de enlaces internos por página en los sitios, visible en la Figura 3.7 se ajusta a una ley de potencias de parámetro 2, 98.
Un sitio con pocas páginas no puede tener demasiados enlaces internos. En la Figura 3.7 se muestra un gráfico de dispersión entre el número de páginas y la relación de enlaces internos por página en los sitios. En este gráfico no se aprecia una correlación importante.
El grado interno de un sitio es el número de sitios que tienen al menos un enlace hacia él, mientras que el grado externo de un sitio es el número de sitios distintos que son enlazados desde sus páginas.3
En esta Sección se estudia el grado interno y externo de los sitios de la colección4 . El grado interno de un sitio es una medida de su popularidad, mientras que el grado externo refleja el tipo de sitio que se está visitando. Un sitio comercial difícilmente tendrá enlaces hacia otros sitios porque eso aleja a los usuarios. Por otro lado, aumentar el grado interno es difícil, mientras que aumentar el grado externo es fácil, ya que basta con editar el contenido de las páginas.
En la Figura 3.8 se muestra la distribución del grado interno en los sitios. Esta distribución se ajusta a una ley de potencias de parámetro 1, 83, comparable con Brasil (1, 9 [27]), Grecia (2, 0, [20]) y la Web global (2, 34, [19]).
Asimismo, en la Figura 3.9 se muestra la distribución del grado externo de los sitios. Esta distribución también se ajusta a una ley de potencias de parámetro 1, 83.
Es necesario recordar que los grados interno y externo son relativos a la colección de sitios. Un sitio sin grado interno en la Web Chilena bien puede tener un grado interno alto en la Web Global.
Los 30 sitios más referenciados por otros sitios se muestran en el Cuadro 3.5. Para cada sitio se muestra el total de enlaces que recibe desde los otros sitios. La magnitud de los enlaces es similar a la encontrada el año 2006 [6], y los sitios son, en general, los mismos. También muchas posiciones se han mantenido, lo cual indica que el grado interno de los sitios no presenta grandes variaciones entre un año y otro, posiblemente debido a la dificultad que tienen los sitios, en particular los sitios recientes, para ser enlazados por otros.
|
|
Los 30 sitios que tienen más enlaces a otros sitios se muestran en el Cuadro 3.6. En los primeros lugares destacan buscadores y directorios, aunque se pueden encontrar sitios de instituciones educacionales y sitios comunitarios. La magnitud es muy distinta a la de los estudios anteriores: respecto al estudio del año 2006
|
|
En la Figura 3.10 se muestran las distribuciones de los puntajes por enlaces para los sitios. Si bien las distribuciones tienen formas similares a leyes de potencias, el error es demasiado grande como para considerar que son ajustables. Ello no quiere decir que la distribución no sea sesgada: un 20 % de los sitios tiene el 99 % del Puntaje Authority total; un 7 % de los sitios tiene el 99 % del puntaje Hub; y un 20 % de los sitios tiene el 99 % del Pagerank total.
En un grafo, se dice que una parte de él es una componente conexa o conectada si es posible ir desde cualquier nodo de esa parte a cualquier otro nodo dentro de la misma parte. Se dice que una componente del grafo es una componente fuertemente conectada si esto es posible respetando la dirección de los enlaces. En la Web se está dentro de una componente fuertemente conectada si es posible ir desde cualquier sitio a cualquier otro sitio siguiendo enlaces.
No toda la Web de Chile es fuertemente conectada. En el Cuadro 3.7 se muestra el número de componentes fuertemente conectadas encontradas en la colección (considerando solamente sitios que tienen al menos grado interno o externo no nulo). Se aprecia la aparición de una componente gigante [14], lo que es una señal típica de una red libre de escala. En la Figura 3.11 se muestra la distribución de estas componentes, distribución que se ajusta en su parte inicial a una ley de potencias de parámetro 3, 33, comparable con España (3, 84 [7]), Korea del Sur (2, 6 [8]), Argentina (2, 74 [34]) y la Web Global (2, 81 [19]).
|
|
La componente fuertemente conectada gigante puede ser usada como el punto de partida para distinguir ciertas componentes de la Web [14]:
La Figura 3.12 muestra una representación gráfica de estas componentes. La distribución de sitios por componentes se muestra en el Cuadro 3.8. Se muestra el porcentaje sobre el total de los sitios y sobre aquellos con grado interno o externo no nulo. También se muestra la distribución del número de páginas por componente.
|
|
La estructura de la web presenta una correlación importante con otras características de los sitios. En la Figura 3.13 se muestra la distribucióń de sitios de una sola página por componente. En la componente MAIN hay muy pocos sitios de una sola página, mientras que en la componente ISLAS se encuentra aproximadamente el 66 % de dichos sitios. Se observa, además, que el tipo de sitio también tiene un grado de correlación con la componente: en IN se encuentran más redirecciones y páginas con links, mientras que el caso general es tener una mayor cantidad de sitios con páginas que utilizan Java/Javascript o Flash.
|
|
Otra variable que puede ser importante es la cantidad de información por componentes. En el Cuadro 3.8 se observa que la componente MAIN es la que tiene el mayor porcentaje de páginas, y en la Figura 3.14 se observa que es esta misma componente (en particular MAIN-MAIN) la que tiene la mayor cantidad de enlaces a documentos no HTML que presentan información escrita.
