Características de la Web Chilena 2006

Ricardo Baeza-Yates
Yahoo! Research
Centro de Investigación de la Web

Carlos Castillo
Yahoo! Research

Eduardo Graells
Centro de Investigación de la Web

Documento completo, para descargar e imprimir
(57 páginas, 2.0 MB)

E-Mail: rbaeza@dcc.uchile.cl


Resumen Ejecutivo

En Agosto de 2006 se llevó a cabo una recolección masiva de páginas de la Web de Chile utilizando el sistema WIRE, desarrollado en el CIW. Del análisis de estos datos destacan las siguientes observaciones:

Respecto a la calidad de las páginas y sitios:

Respecto a las tecnologías Web:


Índice General

Introducción

En esta sección presentamos las características de la Web y de la muestra estudiada, así como la metodología para recolectar documentos.

¿Cómo es la Web?

La Web es más que un simple conjunto de documentos en distintos servidores, ya que existen relaciones de información entre los documentos mediante los enlaces que establecen entre ellos. Esto presenta muchas ventajas, tanto para los usuarios, a la hora de buscar información, como para los programas que recorren la Web, a la hora de buscar contenido para recolectar (probablemente para un motor de búsqueda). Debido a esto se plantea que la Web sigue un modelo de grafo dirigido, en el que cada página es un nodo y cada arco representa un enlace entre dos páginas.

En general las páginas enlazan a páginas similares [19], de modo que es posible reconocer páginas mejores que las demás, es decir, páginas que reciben un número mayor de referencias que lo normal. Como se explicó anteriormente en [9], la web tiene una estructura que se puede clasificar como red libre de escala. Dichas redes, al contrario de las redes aleatorias, se caracterizan por una distribución dispareja de enlaces y porque dicha distribución sigue una ley de potencias (power-law)1:

2#2

Los nodos altamente enlazados actúan como centros que conectan muchos de los otros nodos a la red, como se ilustra en la Figura 1.

Figura 1: Ejemplos ilustrativos de una red aleatoria y una red libre de escala. Cada grafo tiene 32 nodos y 32 enlaces.
Image random_network

Esto quiere decir que la distribución de los enlaces es muy sesgada: unas pocas páginas reciben muchos enlaces mientras que la mayoría recibe muy pocos o incluso ninguno. En este estudio se muestra que dicha distribución se puede aplicar a muchos aspectos de la Web, de los cuales se dice que "siguen una ley de Zipf", en honor a Kingsley Zipf que en 1932 enunció la distribución que modela la frecuencia de aparición de las palabras en los textos [43]. De acuerdo a este modelo la probabilidad de encontrar un elemento con un cierto tamaño 3#3 es proporcional a 4#4, con 5#5. Cuando estas distribuciones se representan en un gráfico con escala logarítmica se obtiene una línea recta, tal como se observa en muchos de los gráficos de este estudio.

Estudiando la Web de un país

Las redes libres de escala son auto-similares: una pequeña muestra tiene características de la red completa (es decir, las características trascienden la escala con que se mire la red). Se muestra en este estudio que éste es el caso de la Web chilena, que presenta características muy similares a la red mundial y a las redes de otros países, a pesar de contener menos de 2/3000 de las páginas recolectables2 en la Web global, estimadas el 2005 en 6#6 páginas [27].

Una Web nacional se puede definir como el conjunto de páginas relacionadas con un país. Técnicamente es difícil distinguir si una página está asociada al país en estudio; debido a ello, para el caso chileno se utiliza la heurística de asociar a Chile todos los sitios Web que están hospedados en direcciones IP asignadas a Chile. Esto incluye los dominios chilenos (.cl) y otros dominios genéricos y extranjeros. Conocemos todos los dominios .cl gracias al apoyo de NIC Chile (http://www.nic.cl), que entregó la lista completa de dominios para fines de investigación.

La Web chilena ha sido objetivo constante de estudio, tanto de sus características en los años 2000 [3], 2001-2002 [12] y 2004 [5], como de sus dinámicas [11]. Asimismo, existen recientes estudios sobre las Webs de otros dominios nacionales:

Recolección de páginas

La colección fue obtenida el mes de Agosto de 2006, utilizando el programa para recolectar páginas web WIRE [7]. Se utilizó un computador con dos procesadores Intel Pentium IV de 3 GHz, 1 GiB3 de RAM bajo sistema operativo Gentoo Linux.

El recolector comienza descargando un conjunto de direcciones iniciales (seeds), que corresponden a la lista de dominios que se posee. De las páginas descargadas se extraen nuevos enlaces, de los cuales se discriminan los que no apuntan a páginas o documentos en dominios chilenos o a direcciones IP que no estén asignadas a proveedores chilenos. En total se descargaron más de 7 millones de páginas web (más del doble que las descargadas el año 2004 [5]). La colección utiliza 50 GiB de disco, de los cuales 48 GiB corresponden al texto de los documentos y 2 GiB a metadatos de las páginas.

El Cuadro 1 resume las características principales de la colección.


Tabla 1: Cuadro Resumen de la Colecta.
Páginas Web 7.403.840
Texto en total 48,56 GiB
Texto promedio por página 7,04 KiB
Sitios Web 171.213
Páginas promedio por sitio 43,24
Texto promedio por sitio 304,59 KiB
Dominios 158.853
Sitios promedio por dominio 1,08
Páginas promedio por dominio 46,61
Texto promedio por dominio 328,29 KiB


Dificultades en la caracterización de la Web

La Web es una colección descentralizada, en la cual distintos autores pueden contribuir contenido por su cuenta sin una instancia de control que decida qué se publica y qué no. Esto es la principal ventaja de la Web desde el punto de vista de los usuarios, pero también es la principal causa de dificultades tanto para buscar información como para caracterizar colecciones de páginas.

Las siguientes anomalías constituyen violaciones de estándares o situaciones especiales que dificultan la caracterización de las páginas:

Parámetros en la URL y URL Rewriting
: existen páginas que tienen direcciones más largas de lo que realmente deberían ser. Esto se debe a que entregan sus parámetros en la dirección de la página como si fuera la ruta de acceso a ella, lo que contradice el estándar de URLs [15], puesto que los parámetros de invocación de programas deberían aparecer en la URL después de un signo "?", por ejemplo:

Esta técnica es conocida como URL Rewriting y su uso se ha extendido con la aparición de sistemas de administración de contenido (CMS, Content Management System). Entre sus consecuencias se encuentran: 1) no se puede distinguir si la página es estática o dinámica, y 2) se recorren varias páginas que tienen semánticamente el mismo contenido, ya que por lo general estas direcciones admiten varios parámetros diferentes para entregar una misma página (el identificador, el título, la sección dentro del sitio, la fecha, etc.). Así se encuentran sitios que tienen un tamaño mucho más grande del que tienen realmente, con muchas más páginas que el promedio.

Réplicas de contenido
: Constituye una práctica habitual en la Web el tener varias copias distribuídas geográficamente de los mismos documentos. Normalmente lo que se replica son colecciones completas de gran volumen, y se hace por motivos de eficiencia. Las colecciones más frecuentemente replicadas en la Web son [18]: el sitio de software Tucows, el proyecto de documentación de Linux (LDP), la documentación del servidor web Apache y la documentación del lenguaje de programación Java. La información replicada se estima entre un 20% y un 40% del total en la Web.

Las consecuencias de estas réplicas, sitios con una gran cantidad de texto, son pequeñas considerando la realidad de la Web chilena, donde los documentos que son réplicas de otros son 232.705, un 3,14% del total de las páginas. Una inspección manual de la colección nos lleva a observar mucho contenido repetido que no se detecta como duplicado debido a que el contenido de las páginas también incluye el diseño, y éste por lo general varía a pesar de presentar el mismo contenido. Existen muchos sitios que duplican el contenido entre ellos de forma deliberada y no por las razones de eficiencia o documentación.

Spam en general
: El Spam en la Web se refiere a acciones orientadas a engañar a los sistemas de búsqueda en la Web y a dar algunas páginas una posición más alta de la que merecen en el resultado de una búsqueda en un motor de búsqueda [28]. Estas acciones incluyen cambios en el texto, en los metadatos o en los enlaces de las páginas si es que el visitante es un robot recolector.4

Organización de este informe

Los distintos niveles de análisis posibles para la Web son los siguientes: el más pequeño es el de palabras o bloques de texto o imágenes, pasando por páginas, sub-sitios (unidades coherentes de múltiples páginas), sitios, dominios; hasta llegar a la Web de un país y la Web global. Así está estructurado este informe, presentamos nuestras observaciones de la Web de Chile a varios niveles: a nivel de páginas y documentos en la Sección 2, a nivel de sitios en la Sección 3 y a nivel de dominios en la Sección 4. La Sección 5 presenta nuestras conclusiones, y el Glosario incluye definiciones de algunos términos que se utilizan en este documento

Características de las Páginas

En esta sección se presenta el análisis de las páginas individualmente, sin cosiderar su agrupación en sitios o dominios. Primero enseñamos el número de páginas descargadas correctamente. Luego analizamos los metadatos, como la URL, el título o el tamaño, más tarde el contenido de los documentos y finalmente los enlaces entre ellos.

Páginas descargadas versus enlaces inválidos

El recolector de páginas funciona extrayendo direcciones de las páginas que han sido descargadas, y es frecuente que entre estas direcciones aparezcan páginas que ya no existen o que simplemente se escribieron mal. Cada vez que el recolector se contacta con un servidor Web, éste retorna un código de estado que indica si la página existe o no, o si existe un motivo por el cual no se puede entregar el documento pedido. La Figura 2 muestra la distribución de páginas de acuerdo a estos códigos de estado. Existe una gran cantidad de códigos de estado que se han agrupado de la siguiente manera:

Figura: Distribución del código de estado HTTP
Image server_response

En nuestros experimentos, usualmente obtenemos entre 75% y 85% de transferencias exitosas. En este caso se está dentro del promedio con un 82,5%, disminuyendo 4 puntos porcentuales respecto a nuestro último estudio [5]. También disminuyó cerca de 2 puntos la proporción de los enlaces rotos, ahora en un 4,6%. La disminución de los enlaces rotos puede significar que existe mayor conciencia respecto a verificar la correctitud de los enlaces en un sitio.

URLs

La dirección de una página Web es comúnmente expresada mediante una URL (Uniform Resource Locator) [15]. Las URLs tienen un doble propósito, por una parte identifican un recurso en la Web de manera única y por otra indican cómo es posible acceder a dicho recurso en el servidor.

Las URLs más usadas en la Web son las que corresponden al protocolo de transferencia de hipertextos (HTTP). Estas URLs tienen normalmente la siguiente forma:

http://sitio/directorio/archivo

Por ejemplo, http://www.cwr.cl/projects/WIRE/index.html indica que el sitio a contactar es www.cwr.cl, que el archivo que se necesita se encuentra en el directorio /projects/WIRE/ y que se llama index.html.

En esta sección analizamos algunas de las características observadas de las URLs de la Web de Chile.

Longitud de las URLs

La longitud promedio de una URL, incluyendo la especificación del protocolo http://, nombre de servidor, ruta y parámetros, es de 71 caracteres. Este promedio es mayor al de otros países: 67 para España [9] y 62 para Portugal [24], y 50 caracteres para la Web global [38]. Sin duda influyen en esto las nuevas aplicaciones que se están desarrollando en la Web que requieren un gran número de parámetros; a la vez los parámetros tienden a expresarse como texto, como se mencionó en la Sección 1.

Figura: Distribución del largo de las URLs.
Image url_length

El 60% de las URLs tienen entre 40 y 80 caracteres. Los largos se distribuyen de acuerdo con la Figura 3, que tiene una distribución log-normal con parámetros estimados 7#7 (posición), 8#8 (escala) y 9#9 (forma). Observamos que las URLs más largas, a pesar de pertenecer a sitios distintos, comparten un parámetro que por simple inspección parece ser un identificador de sesión o de servidor. Las URLs que siguen corresponden en su mayoría a URLs con elementos repetidos. Las URLs anómalas tienen formas similares a las siguientes (han sido recortadas por motivos de legibilidad):

Profundidad según URL

Estudiamos la profundidad de una página dentro de un sitio Web. Esta profundidad puede definirse de dos formas:

Profundidad Lógica
La página inicial de un sitio está a profundidad 1; todas las páginas alcanzables directamente desde ella, a profundidad 2; y así sucesivamente. La profundidad lógica mide el número de "clicks" necesarios desde la portada de un sitio hasta la página requerida.
Profundidad Física
La página inicial de un sitio está a profundidad 1, las páginas de la forma http://sitio/pag.html o http://sitio/dir/ están a profundidad 2, y así sucesivamente. La profundidad física mide la organización en archivos y directorios de un sitio Web.

En este estudio analizamos la profundidad física de las páginas, que es directamente extraíble de las URLs. La distribución de esta variable se muestra en la Figura 4, en la cual hemos separado páginas estáticas y dinámicas. Se observa que el máximo de la distribución se encuentra en los niveles 4 y 5.

Es necesario mencionar que en la configuración del recolector se limitó la profundidad máxima a 15 niveles. Probablemente si se hubiese aumentado a 30 se encontrarían anomalías en la distribución en niveles superiores [9].

Figura: Distribución de páginas a diferentes profundidades, según la URL.
Image depth_vs_doc_fraction

Edad de las páginas

Para determinar la edad de las páginas, observamos la fecha de última modificación entregada por los servidores para cada una de ellas. En algunos casos tal fecha es errónea: corresponde a una fecha del futuro o una fecha muy antigua previa a la invención de la Web (como 1 de Enero de 1970). Esto se debe a servidores que no tienen sus relojes sincronizados con la hora actual del país o que simplemente no han sido configurados.

La distribución de las edades de las páginas en términos de meses y años se muestra en la Figura 5.

Figura: Distribuciones de la edad de las páginas web.
Distribución por años de antigüedad.
Image age_years
Distribución por meses de antigüedad.
Image age_months

Entre los años 2005 y 2006 cerca de un 25% de las páginas se creó o se actualizó, lo que indica que la Web chilena está creciendo a una tasa alta, aunque relativamente menor a la tasa de crecimiento del año 2004 (que fue de 25% sólo para el 2004 [5]).

Títulos de las páginas

Examinamos el título de las páginas y encontramos que más de un 12,19% de ellas no tiene título, que un 2,47% tiene algún título por omisión como "Untitled Document", "Documento sin título" o "Página nueva 1" y que un 85,34% tiene un título acorde al sitio (51,12% compartido y 33,22% único), como se aprecia en la Figura 6.

Figura: Distribución del título de las páginas: compartido (es usado por más de una página en el mismo sitio), único (es usado exclusivamente por esa página dentro del sitio).
Image porctitulos

Lo más común es que una página tenga como título el nombre del sitio al que pertenece, nombre que generalmente no describe el contenido del documento. En otros países este fenómeno es bastance crítico, como en la Web de España donde las mayores frecuencias de largo de título se encuentran entre 5 y 10 caracteres [9]. En la Web chilena, sin considerar a las páginas sin título, la distribución de los largos de ellos no es tan sesgada, como se ve en la Figura 7.

Figura: Distribución de los largos de los títulos de las páginas.
Image title_length

En cada sitio se tienen aproximadamente 6 títulos distintos, una cifra que es buena en comparación con España (4 títulos por sitio [9]) y Portugal (5 títulos por sitio [24]). Eso no quiere decir que no existan anomalías: por inspección manual se aprecia que muchos títulos, en especial los compartidos, no sólo incluyen el nombre del sitio sino que también una descripción de éste. Si bien esto no está mal, no se está utilizando correctamente el atributo de título como un ítem descriptivo conciso del documento (para una descripción más elaborada existe el metadato description). Esto incide negativamente en la usabilidad del sitio, porque a quienes visitan el sitio no se les entrega información contextual de los documentos para ser guardados en sus marcadores (bookmarks, o enlaces favoritos). Por el lado de los buscadores, si bien las páginas son indizadas correctamente, lo que se muestra al usuario en los resultados de búsqueda es el título de la página y un extracto del documento. Otra anomalía observada es que muchos sitios, en particular aquellos de contenido manejado por los usuarios, contienen caracteres sin relevancia ni significado en los títulos, entorpeciendo su lectura (por ejemplo: ":::::::: < Mi Página >:::::::::").

Texto en las páginas

De cada página descargada se almacenaron sólo los primeros 100 KiB, lo que es suficiente para la mayoría de ellas. Representamos gráficamente el contenido de las páginas en la Figura 8. Primero se muestra solamente el contenido del documento, y luego el texto completo (contenido más etiquetas HTML y código).

Figura: Distribuciones del tamaño de las páginas de los sitios web.
Distribución del contenido (texto sin HTML).
Image content_length_kb
Distribución del texto completo (texto con HTML).
Image raw_content_length_kb

El tamaño de los documentos se ajusta a una ley de Zipf con parámetro 2,87, similar al valor obtenido para el año 2004, 2,76 [5]. Respecto a otros países, la mayor similitud se da con Corea del Sur, que posee un valor de parámetro de 2,84 [10].

En la Figura 9 se observan las páginas con menos de 100 bytes de texto. Se observa que entre 0 y 10 bytes hay una similitud con una distribución normal, mientras que el resto del rango se puede modelar con una recta que represente una fracción de las páginas de 3/10000.

Figura: Distribución del tamaño de las páginas, páginas de menos de 100 bytes de texto.
Image 100bytes

Al inspeccionar manualmente estas páginas se observa que varias de ellas corresponden a sitios construídos con elementos gráficos o programas insertados en las páginas (como Adobe Flash o Java). También hay muchos documentos que simplemente no tienen contenido, es decir, su texto es " 10#10".

Idioma

WIRE incluye un sistema de detección de idioma basado en stopwords, es decir, palabras que carecen de significado por sí mismas, también llamadas palabras funcionales. La heurística cuenta el número de stopwords dentro del documento para cada idioma del que se tienen stopwords y en base a ellas determina el lenguaje correspondiente. En base a esto se obtuvo la distribución de idiomas de la Figura 10.

Figura: Distribución del idioma en el que están escritas las páginas.
Image idiomas

La proporción de páginas escritas en el idioma oficial del país bajó para Chile en comparación con el estudio del año 2000, de 90% a 80,21%; sin embargo, es mayor a la proporción de 62% presente en España [9], que considera Castellano y Catalán, al 75% de páginas Brasileñas en Portugués [42], y al 35% de Tailandés en Tailandia [37]. 5

Vocabulario

La definición de palabra que usamos es cualquier secuencia alfanumérica de más de un caracter de largo, incluyendo los caracteres acentuados del idioma español. Esto incluye la conversión a caracteres de entidades HTML (como "&aacute;" a "á"). Analizamos 2,6 GB de texto extraído de páginas de la colección. En la Tabla 2 se indican las diez palabras más frecuentes para los dos idiomas con mayor presencia en la Web chilena.


Tabla: Palabras más frecuentes para los dos idiomas principales.
Español de la y en el que los del por para
Inglés the of and to in for by is this on


Naturalmente las palabras más frecuentes son stopwords. En la Figura 11 se muestra la distribución de la frecuencia de las palabras presentes en la colección, obteniendo una ley de Zipf con parámetro 0,84 para el español. En la Web de España el Castellano presenta prácticamente el mismo parámetro [9].

Figura: Distribución de la frecuencia de palabras en la colección.
Image word_freq

En la Tabla 3 se incluye una Nube de Etiquetas (TagCloud, con los sustantivos más frecuentes en la Web chilena. En la Nube de Etiquetas las palabras con mayor presencia tienen un tamaño más grande. Usualmente el término más presente en la Web de un país es el país mismo, y en el caso de Chile se cumple esa regla, al igual que en el caso de Perú (en [40] también se aprecia una nube de etiquetas), España [9] y Brasil [42]. Se observa que, dejando de lado los nombres de ciudades y fechas, en general los términos corresponden a servicios o a tecnologías recientes: en su mayoría son palabras muy frecuentes en foros, blogs, y otros administradores de contenido. Respecto al idioma inglés no se encontró una familia de palabras que perteneciera a un ámbito en particular.


Tabla: Sustantivos y temas más frecuentes en la web Chilena.
chile producto usuario todos servicio mensaje empresa comentario web santiago blog hora foro septiembre sitio tema noticias región proyecto información precio nombre inicio trabajo universidad agosto tiempo vida cuenta hoy compra mundo lecturas venta desarrollo grupo sistema internet forma derechos bien uso contacto personas centro software julio video fecha mar casa lugar seguridad fotos e-mail página estado miembro programa salud medio copyright datos argentina año respuesta ofertas comunidad historia caso condiciones juegos mayo junio total personal amigo rss clave social red equipo calidad ayuda hotel poder eventos semana internacional actividades libre gobierno fax artículos palabras control momento guía ciudad ley abril día sociedad alumnos click publicaciones responsable central favor accesorios dvd cultura viernes resultados director libro correo post digital gente búsqueda detalles marzo server online categorías radio curso fono club visitas acceso estudios lunes error proceso enlaces escuela


Páginas Dinámicas

Más de 3,1 millones (42,5%) de las páginas descargadas eran páginas dinámicas, es decir, páginas generadas en el momento de ser solicitadas sin que existieran previamente. Esto es lo normal cuando hay una consulta a una base de datos involucrada en el proceso de desplegar las páginas.

Figura: Distribución de enlaces a páginas dinámicas
Image paginas_dinamicas

La proporción de páginas dinámicas aumentó un 4% respecto a la medición del año 2004. Sin embargo, se debe considerar también que existe un gran número de páginas dinámicas que no son detectadas como tales, por lo que este aumento es aun mayor. Se estima que siguiendo la tendencia actual de tener sitios cuyo contenido se pueda administrar en línea y que sea independiente del diseño y de la estructura de los documentos, el número de páginas dinámicas seguirá creciendo: es más fácil y práctico tener el contenido de un sitio en una base de datos que en archivos HTML que resultan toscos a la hora de modificarlos para ingresar o modificar información. También se debe considerar que existen páginas estáticas, con extensiones HTML y HTM, que son generadas por procesos en lote en los servidores que se ejecutan constante y automáticamente,

En la Figura 12 se muestra la distribución de páginas dinámicas de acuerdo a la aplicación que las genera. La aplicación más usada es PHP [26], una tecnología de código abierto que domina la Web chilena con un 75% de participación. Su uso disminuyó un 3% respecto al año 2004 [5] y es similar al 73% de uso en Brasil [32], aunque sigue siendo muy superior al 46,24% que recibe en España [9]. Le sigue la tecnología ASP [31], propietaria y de plataforma restringida, con un 21,4%. En otros países o continentes ASP domina el mercado, como en Corea del Sur (75%) [10] y áfrica (63%) [16].

Documentos que no están en HTML

Encontramos aproximadamente 1,1 millones de enlaces a documentos en formatos distintos a HTML. Los formatos más populares son PDF (Acrobat), XML (se consideran archivos SVG, RSS, RDF, XML, etc.) y de texto plano TXT. Respecto al año 2004 se aprecia un avance por parte de las tecnologías XML mientras que los formatos propietarios DOC, XLS y PPT han disminuido su participación (aunque sus contrapartes de código abierto, los llamados Open Document Format, basados en XML, casi no tienen presencia). En la Figura 13 se aprecia la distribución de estos documentos.

Figura: Distribución de enlaces a documentos, excluyendo enlaces a páginas HTML.
Image documentos

Respecto al formato PDF, también es el más usado en otros países, como en Austria [36], Brasil [32], Corea del Sur [10], Grecia [21] y Portugal [24]. En el caso de España ocupa el segundo lugar, con un 41,43% [9].

Audio, vídeo e imágenes

Existen muchos enlaces a archivos multimedia: más de 60.000 enlaces a archivos de audio, 42.000 enlaces a archivos de vídeo, y 120 millones de enlaces a imágenes. La distribución de formatos de archivo se muestra en la Figura 14.

Figura: Distribución de enlaces a distintos archivos multimedia.
Audio.
Image audio
Vídeo.
Image video
Imagen.
Image imagenes

En audio, el formato MP3 casi dobló su participación en la Web chilena respecto al año 2004, probablemente debido al auge de los reproductores portátiles, mientras que formatos cerrados que no han presentado una mayor evolución como Real Player ya no tienen una presencia considerable. En vídeo sucede lo contrario, ya que Real Player (RM) tiene una presencia que no tenía el año 2004, aunque el ganador con un 45% de participación es el formato Windows Media de Microsoft. Los formatos MPEG y AVI han perdido popularidad, al menos en términos de enlaces, y el nuevo formato de vídeo FLV, masificado por los servicios de streaming de vídeo, ya tiene una pequeña presencia que presumiblemente aumentará en el futuro.

Las imágenes GIF son las más populares en la Web con un 83% de los enlaces. Esto se debe a que son muy usados en los sitios comunitarios como smilies (imágenes que representan una situación, un sentimiento o una emoción, como :-) ), y a que son muy útiles a la hora de diseñar páginas ya que no presentan compresión con pérdida (por otro lado, tienen una paleta limitada de colores). Los archivos JPG se utilizan en su mayoría para intercambiar fotografías y tener imágenes de cabecera en los sitios Web, teniendo un 14% de la participación. Lamentablemente los archivos PNG casi no tienen presencia en la red a pesar de haber nacido como un reemplazo de los archivos GIF. Esto se puede deber a dos factores: un mayor peso que GIF y la falta de soporte por parte del navegador más utilizado, Internet Explorer de Microsoft.

Software, código fuente y archivos comprimidos

Encontramos más de 180.000 enlaces a archivos de programas, más de 210.000 enlaces a archivos comprimidos y más de 35.000 enlaces a archivos de código fuente en diversos lenguajes . La distribución de los enlaces se muestra en la Figura 15.

Figura: Distribuciones de enlaces a software, código fuente y archivos comprimidos.
Software.
Image software
Código Fuente.
Image codigo_fuente
Archivos Comprimidos.
Image comprimidos

Si bien los paquetes de software para Linux superan el 50%, se puede decir que entre Linux y Windows se reparten casi equitativamente los enlaces a software, principalmente porque el software de Linux se distribuye en muchos paquetes, generalmente pequeños, mientras que el software de Windows se suele distribuir en solamente un archivo instalador de gran tamaño. Además la participación de los ejecutables de Windows ha aumentado un 10% respecto al año 2004 [5].

La distribución de código fuente muestra el gran auge que ha tenido Javascript como lenguaje para construir páginas web que reaccionen dinámicamente ante las acciones del usuario, por lo general en sitios que utilizan AJAX para crear aplicaciones basadas en Web. Además no sorprende que los archivos de tipo C, C++, Java o Shell hayan disminuído, debido a que tanto el código fuente como los archivos de software ya compilado suelen distribuirse en archivos comprimidos.

La distribución de archivos comprimidos muestra un dominio de los formatos GZ (53,8%) y ZIP(37,7%). Con estos formatos sucede algo similar al fenómeno que afecta al software, ya que muchos paquetes de Linux se distribuyen empaquetados en formato TAR y luego comprimidos en GZIP. Asimismo, el formato ZIP no sólo es utilizado para empaquetar software, sino que también es muy usado para adjuntar documentos a las páginas.

Enlaces entre páginas Web

El número de enlaces que recibe una página Web se llama su "grado interno", nombre que proviene del hecho de tratar la Web como un grafo, del mismo modo el número de enlaces que sale de una página se llama su "grado externo". Las distribuciones de ambos grados se muestra en la Figura 16.

Figura: Distribuciones de los grados internos y externos de las páginas.
Grado Interno.
Image in_degree
Grado Externo.
Image out_degree
Grado Interno Acumulado.
Image doc_fraction_vs_in_degree_fraction
Grado Externo Acumulado.
Image doc_fraction_vs_out_degree_fraction

El grado interno de una página es una medida de su popularidad en la Web, mientras que el grado externo refleja más bien el tipo de página que se está visitando. Una página comercial o de alguna marca en particular difícilmente tendrá enlaces externos porque eso aleja a los usuarios de sus sitios en el cauce de la navegación por la red. Además, tener una página en la que aparezan muchos enlaces es fácil, pero recibir muchos enlaces desde otras páginas es difícil. Cerca de un 75% de los documentos acapara todo el grado interno y solamente un 45% de los documentos contiene todos los enlaces salientes de la Web chilena.

Al ajustar una distribución de Zipf a los datos se obtienen los parámetros 1,95 para el grado interno y 3,51 para el grado externo, comparable al 1,9 de grado interno de áfrica [16]. Los valores más usuales son 2,1 y 2,7 [35], similares a los de España (2,11 y 2,84) [9]. Los valores chilenos se están acercando más al promedio, ya que en el estudio anterior se obtuvieron los valores 1,78 y 4,11 [5].

Figura: Tamaño de las páginas versus número de enlaces.
Tamaño versus Grado Interno.
Image size_vs_in_degree
Tamaño versus Grado Interno.
Image size_vs_out_degree

En la Figura 17 relacionamos el grado con el tamaño de las páginas. Existe una correlación entre el grado externo y el tamaño de las páginas, puesto que una página no puede contener demasiados enlaces en caso de ser es muy pequeña. Respecto al grado interno y el tamaño de las páginas la correlación no es evidente, pero sí se aprecia que páginas de menor tamaño reciben una fracción menor de enlaces.

Ordenamiento usando algoritmos de análisis de enlaces

Existen varios algoritmos de enlaces que intentan inferir cuán importante es cada página en la Web, utilizando la información de los enlaces que recibe cada página. Comparamos la distribución de Pagerank [34] con una variación del algoritmo HITS [29], en el cual usamos la Web completa como el conjunto de análisis. Esto último puede verse como una versión estática de HITS.

El algoritmo Pagerank calcula para cada página un puntaje que refleja la cantidad de enlaces que recibe desde otras páginas con un alto número de enlaces. De cierto modo es una medida de la cantidad y calidad de los enlaces recibidos.

El algoritmo de HITS calcula dos puntajes para cada página: Hub y Authority. El puntaje Hub indica qué tan buena es la página como fuente de enlaces, en términos de qué tan buenos son los enlaces que tiene la página hacia otras páginas. El puntaje Authority indica qué tan buena es la página como recurso de información o contenido, en términos de qué tan buenos son los enlaces que recibe.

La distribución de los puntajes puede verse en la Figura 18.

Figura: Distribución de PageRank y de los puntajes Hub y Authority.
PageRank.
Image pagerank
PageRank Acumulado.
Image doc_fraction_vs_acc_pagerank
Puntaje Hub.
Image hubrank
Puntaje Hub Acumulado.
Image doc_fraction_vs_acc_hubrank
Puntaje Authority.
Image authrank
Puntaje Authority Acumulado.
Image doc_fraction_vs_acc_authrank

Por la fórmula del cálculo de PageRank, en la que se usan saltos aleatorios dentro del procedimiento de cálculo (es decir, se considera que existe una pequeña probabilidad de llegar por azar a una página), incluso páginas con muy pocos enlaces entrantes tienen un valor de PageRank no nulo. De este modo un 80% de las páginas acumula el 100% del PageRank. Por otra parte, una página necesita enlaces de calidad para tener un puntaje Hub o Authority no nulo, de manera que sólo un 18% de las páginas tiene puntaje Hub no nulo y sólo un 3% de las páginas tiene un puntaje Authority no nulo.

Figura: No se observa una correlación significativa entre PageRank, Puntaje Authority y Puntaje Hub.
PageRank vs. Puntaje Authority.
Image pagerank_vs_authority
PageRank vs. Puntaje Hub.
Image pagerank_vs_authority
Puntaje Authority vs. Puntaje Hub.
Image authority_vs_hubrank

De una muestra aleatoria de 10.000 documentos, descartando los que tienen puntajes nulos, no observamos que exista correlación entre los puntajes de análisis de enlaces medidos, como se muestra en la Figura 19.

Características de los Sitios Web

Definimos un sitio Web como un conjunto de páginas que comparten la parte del nombre del servidor de la URL. Además utilizamos la heurística de que http://www.sitio.cl/ y http://sitio.cl corresponden al mismo sitio. 6

Número de páginas

Observamos un promedio de 43 páginas por sitio. La distribución del número de páginas por sitio Web se muestra en la Figura 20.

Figura: Distribuciones del número de páginas por sitio.
Image site_docs_vs_site_fraction Image site_fraction_vs_doc_fraction

La distribución es muy sesgada: un 10% de los sitios tiene un 90% de los documentos. Existen muchos sitios que tienen muy pocas páginas, lo cual puede ser una señal de poco desarrollo de la Web. Ajustando una ley de Zipf se obtiene el parámetro 1,74, muy similar al valor 1,76 obtenido el 2004 [5], comparable a 1,14 en España [9], 1,6 en Brasil [32] y 2,5 en Corea del Sur [10].

Sitios con sólo una página

Hay 36,654 sitios en los cuales el recolector encontró sólo una página Web. Esto representa un 21,4% de los sitios, una cifra que no es tan alta como en la Web de España (donde alcanza el 60%) [9] y que porcentualmente ha disminuido a la mitad de lo que representaba el 2004, un 40% [5]. Dentro de los motivos por los cuales se encuentra solamente una página en el sitio se encuentran:

La proporción de estos sitios y un análisis más detallado se muestra más adelante, en la Figura 29.

Sitios con muchas páginas

Analizamos también los sitios que tenían muchas páginas. Los 30 sitios con mayor número de páginas se listan en la Tabla 4. Normalmente corresponden a sitios que tienen instalados uno o más CMS para brindar servicios de blogs, foros o galerías de imágenes. Los CMSs actuales permiten utilizar URL Rewriting para recuperar las páginas, y una serie distinta de parámetros puede llevar al mismo documento. Además agregan distintos enlaces a distintas partes internas del documento (como los comentarios a una entrada en un blog o las distintas opiniones en un foro), los que crean recursión en las páginas. Estos sistemas no tienen diseños estáticos (por ejemplo, una vista de un documento entregando un identificador muestra enlaces a otras páginas del sitio que verlo entregando la fecha del mensaje como parámetro no se muestran) por lo que es dificil detectar los documentos duplicados.


Tabla: Sitios con mayor número de páginas.
Páginas Sitio Comentario
13654 http://www.graphologychile.cl CMS, CGI con parámetros en URL
11571 http://www.upadiseno.cl No presenta anomalías en la revisión.
10407 http://www.autovia.cl Generador automático de páginas
10083 http://joomla.gsuez.cl CMS, CGI con parámetros en URL
9607 http://www.tabanotv.cl CMS, CGI con parámetros en URL
9471 http://www.cepal.cl URLs mal formadas
9032 http://www.eclac.cl URLs mal formadas
8900 http://www.vmf.cl CMS, CGI con parámetros en URL
8752 http://www.conciencia-animal.cl CMS, URLs mal formadas.
8538 http://www.directorioweb.cl Generador automático de páginas
8444 http://www.kontent.cl URLs mal formadas
8251 http://www.arrayaneduca.cl No presenta anomalías en la revisión.
7935 http://custos.uandes.cl CGI con parámetros en URL
7488 http://www.lunanueva.cl CMS, CGI con parámetros en URL
7409 http://www.jubile.cl CMS, CGI con parámetros en URL
7388 http://www.panoramasonline.cl CMS, CGI con parámetros en URL
7328 http://www.humanidades.uach.cl No presenta anomalías en la revisión.
7208 http://www.suena.cl CMS, CGI con parámetros en URL
7050 http://www.paine.cl CMS, CGI con parámetros en URL
7043 http://www.chiletech.cl CGI con parámetros en URL
6957 http://www.super45.cl CMS, CGI con parámetros en URL
6865 http://www.jarre.cl CMS, CGI con parámetros en URL
6853 http://eltiempo.hispavista.cl Generador automático de páginas
6796 http://www.cuentosdeviajes.cl CMS, CGI con parámetros en URL
6637 http://www.chilote.cl CMS, CGI con parámetros en URL
6380 http://www.millacura.cl CMS, CGI con parámetros en URL
6262 http://www.chilwe.cl CMS, URLs mal formadas
6209 http://www.jotelog.cl Comunidad de fotografías
6158 http://www.psicodocencia.cl CMS, URLs mal formadas
6063 http://www.fam.cl CMS, CGI con parámetros en URL


Tamaño de las páginas en un sitio Web completo

Consideramos en esta sección solamente el texto de las páginas que fueron recolectadas: para determinar el tamaño de un sitio sólo se considera el tamaño de los documentos HTML, no el de sus imágenes u otros documentos o archivos multimedia.

En la Figura 21 se muestra la distribución del tamaño de los sitios. Nuevamente la distribución es muy sesgada, el 20% más grande de los sitios ya contiene el 99% de la Web chilena en términos de tamaño. La distribución se ajusta a una ley de Zipf con parámetro 1,57 hasta un tamaño de 10 MiB.

Figura: Distribuciones del tamaño de los sitios.
Image size_vs_site_fraction Image site_fraction_vs_size_fraction

En la Tabla 5 se listan los 30 sitios con mayor cantidad de texto. Se aprecia una marcada presencia de sitios de casas comerciales que tienen catálogos de productos y de sitios de remates. Generalmente estos últimos se copian automáticamente los productos entre ellos, teniendo una gran cantidad de sitios de remates que tienen gran parte de su contenido replicado.


Tabla 5: Sitios con mayor cantidad de texto.
Texto[MiB] Sitio Comentario
418 http://www.almacenesparis.cl Catálogo de Productos
401 http://www.lanaciondomingo.cl Periódico
394 http://www.lnd.cl Periódico
388 http://www.almacenes-paris.cl Catálogo de Productos
386 http://www.diariolanacion.cl Periódico
378 http://www.fo.cl Catálogo de Productos
370 http://www.bookings.cl Catálogo de Servicios
369 http://www.booking.cl Catálogo de Servicios
354 http://www.lanacion.cl Periódico
348 http://www.concilio.cl Foros y galerías de imágenes
330 http://www.futurix.cl Foros
329 http://www.kontent.cl Catálogo de Productos
321 http://www.vmf.cl Catálogo de Servicios, Foros, galerías
296 http://www.hardmodding.cl Foros, galerías de imágenes y servicios
288 http://www.panoramasonline.cl Foros
287 http://genealogia.felipebarriga.cl Base de datos genealógica
286 http://www.aestoaspiramos.cl Foros
274 http://www.eclac.cl Economía
271 http://buscar.deremate.cl Catálogo de Productos
271 http://www.cepal.cl Economía
262 http://listados.deremate.cl Catálogo de Productos
261 http://foro.rave.cl Foros
254 http://www.zoomby.cl Foros y galerías
252 http://www.inmetsu.cl Foros
249 http://www.lacasadechile.cl Catálogo de Productos
249 http://www.homecenter.cl Catálogo de Productos
248 http://www.portaldelacasa.cl Catálogo de Productos
247 http://www.sodimac.cl Catálogo de Productos
244 http://www.paralacasa.cl Catálogo de Productos
243 http://www.jubile.cl Servicios


Edad

Medimos la edad de los sitios Web, observando la edad de la página más antigua, la edad de la página más reciente, y la edad promedio de las páginas. La edad de la página más antigua es una cota inferior respecto a qué tan viejo es un sitio, mientras que la edad de la página más nueva refleja la última vez que se actualizó el sitio. Los resultados se muestran en la Figura 22.

Figura 22: Edad de los sitios web estudiados.
Image age_vs_site_fraction

De acuerdo a estas cifras, cerca del 70% de los sitios Web fueron creados este año, y cerca de un 80% en los últimos dos años. Esto nuevamente nos indica que la Web chilena crece a un ritmo muy acelerado.

Direcciones IP

Estudiamos a qué proveedor de espacio en la Web (hosting) correspondían las direcciones IP que más se repiten entre sitios, realizando una búsqueda de DNS inverso. Para las 30 instituciones con más direcciones IP el resultado se muestra en la Tabla 6. En este caso mostramos el nombre sin el dominio de primer nivel porque es frecuente que un mismo proveedor utilice simultáneamente el dominio .cl y uno de tipo genérico como .net o .com.


Tabla 6: Instituciones con la mayor cantidad de sitios hospedados.
Proveedor Sitios Proveedor Sitios
ifxnw 8855 ev1servers 738
virtuabyte 4587 smart 724
tchile 4151 uchile 649
tie 2618 webhostingchile 638
dattaweb 2401 intelired 563
puntoweb 2239 puntohost 555
entelchile 1599 intersitio 500
ibizdns 1401 tecnoera 493
idat 1341 vtr 454
chileadmin 1335 gtdinternet 450
cyberiainternet 1099 telmexchile 439
iia 924 altavoz 428
inet 892 icqnet 418
netline 807 scd 408
layeredtech 785 hostingpro 407


Enlaces internos

Un enlace se considera interno si apunta a otra página dentro del mismo sitio Web. Un sitio promedio tiene 314 enlaces internos. Para cada sitio calculamos cuantos enlaces internos por página tenía y promediamos esas cantidades. El resultado es que un sitio Web promedio tiene aproximadamente 1,27 enlaces internos por página. Además existen muchos sitios con un gran número de enlaces internos.

La distribución del número de enlaces internos por sitio se muestra en la Figura 23.

Figura: Distribución del número de enlaces internos.
Image internal_links_vs_site_fraction

Esta distribución está relacionada con la distribución de páginas por sitio Web, a saber, un sitio Web con muy pocas páginas no puede tener demasiados enlaces internos. Sin embargo, si observamos la distribución del número de enlaces internos por página, no existe una correlación importante, como se muestra en la Figura 24. Al medir la distribución de enlaces internos por página se obtuvo una ley de Zipf en la parte central con parámetro 1,38.

Figura: Distribuciones de enlaces internos por página para los documentos del sitio y del número de enlaces internos por página.
Image site_docs_vs_links_per_page Image links_per_page_vs_site_fraction

Enlaces entre sitios Web

En lo siguiente, consideraremos los enlaces entre sitios Web. Un enlace entre dos sitios Web representa uno o varios enlaces entre sus páginas, preservando dirección. Esto significa que si existe al menos un enlace entre, por ejemplo http://www.A.cl/paginaA.html y http://www.B.cl/paginaB.html, entonces diremos que existe un enlace entre www.A.cl y www.B.cl (los enlaces internos no son considerados). Esto se ha llamado también el Hostrank o grafo de servidores [20].

Existen 56.953 sitios con más de una página. De ellos, 27.072 (47,53%) no recibe ninguna referencia desde otro sitio de Chile, y 31.566 (55,42%) no tiene ningún enlace hacia otro sitio de Chile. La distribución del grado interno y externo de los sitios también revela una red libre de escala, como se muestra en la Figura 25.

Figura: Distribución de los grados interno y externo para los sitios estudiados.
Grado Interno.
Image site_in_degree
Grado Interno Acumulado.
Image site_fraction_vs_in_degree
Grado Externo.
Image site_out_degree
Grado Externo Acumulado.
Image site_fraction_vs_out_degree

Los parámetros del ajuste a una ley de Zipf son 1,99 para el grado interno y 1,91 para el grado externo. Esto puede compararse con Brasil (1,9 y 1,9) [32], Grecia (2,0 y 1,6) [21] y España (1,8 y 1,3) [9]. En el caso de la Web global, una estimación de este parámetro para el grado interno es 2,34 [20].

Sitios Web más referenciados

Los 30 sitios más referenciados se muestran en la Tabla 7. Se cuentan todos los sitios distintos que apuntan a un sitio dado.


Tabla: Sitios con mayor número de enlaces desde otros sitios.
Enlaces desde otros sitios Sitio
1192 http://www.sii.cl
963 http://www.uchile.cl
877 http://www.mineduc.cl
804 http://www.meteochile.cl
680 http://www.bcentral.cl
659 http://www.puc.cl
624 http://www.corfo.cl
600 http://www.sernatur.cl
598 http://www.latercera.cl
589 http://www.terra.cl
569 http://www.conama.cl
561 http://www.gobiernodechile.cl
559 http://www.conicyt.cl
556 http://www.udec.cl
497 http://www.lanacion.cl
486 http://www.sence.cl
463 http://www.universia.cl
455 http://www.boonic.cl
451 http://www.minsal.cl
438 http://www.elmostrador.cl
433 http://www.ine.cl
421 http://www.prochile.cl
406 http://www.eldiario.cl
390 http://www.bancoestado.cl
386 http://www.bcn.cl
373 http://www.tvn.cl
373 http://www.estrategia.cl
371 http://www.amarillas.cl
360 http://www.bci.cl
355 http://www.conaf.cl
353 http://www.educarchile.cl
351 http://www.congreso.cl
337 http://www.bancochile.cl
335 http://www.mideplan.cl
333 http://www.usach.cl


Sitios Web con más enlaces

Los 30 sitios que tienen más enlaces a otros sitios se muestran en el Cuadro 7. Entre estos sitios no parece haber una mayoría absoluta de sitios de algún tipo en particular. Se encuentran directorios y servicios, así como sitios de instituciones educacionales y de sitios comunitarios. No faltan los sitios ya mencionados anteriormente de catálogos de productos y de remates.


Tabla: Sitios con mayor número de enlaces hacia otros sitios.
Enlaces hacia otros sitios Sitio
4480 http://www.todocl.cl
3337 http://www.3tetra.cl
2075 http://www.compraseguro.cl
1772 http://www.bingos.cl
1718 http://www.boom.cl
1449 http://www.portalciudadano.cl
1197 http://www.yes.cl
908 http://www.huellas.cl
870 http://www.fotolog.cl
761 http://www.buscamos.cl
740 http://www.webs.cl
733 http://www.servicioweb.cl
726 http://www.universia.cl
639 http://www.e-servicios.cl
530 http://www.123.cl
524 http://www.udp.cl
494 http://www.periodismo.uchile.cl
470 http://www.uchile.cl
458 http://www.boonic.cl
443 http://www.tupendo.cl
439 http://dti.udp.cl
438 http://www.arabe.cl
436 http://www.solositios.cl
416 http://camiseta.boonic.cl
407 http://www.elintruso.cl
402 http://www.bangalore.cl
400 http://www.entelchile.net
393 http://www.thawte.cl
391 http://chile.com
391 http://www.atinachile.cl
390 http://www.compiere.cl
387 http://www.simulacion.cl
387 http://cd.boonic.cl
386 http://www.solteros.cl
384 http://www.chile.cl


Suma de las puntuaciones por enlaces

Estudiamos los puntajes que presentamos en la Figura 18 y los sumamos por sitios Web, obteniendo una medida de calidad para sitio. El resultado se encuentra en la Figura 26. Una acotación importante es que las mejores páginas de la Web chilena se distribuyen en muchos más sitios (por ejemplo el 3% de páginas que tienen buen Puntaje Authority se distribuyen en cerca del 35% de los sitios). Además la distribución de PageRank sigue una ley de Zipf con parámetro 1,05.

Figura 26: Distribuciones de la suma de las puntuaciones por enlaces para los sitios estudiados.
Suma de PageRank.
Image sum_pagerank
Suma de Puntaje Hub.
Image sum_hubrank
Suma de Puntaje Authority.
Image sum_authrank
Suma Acumulada de PageRank.
Image site_fraction_vs_pagerank
Suma Acumulada de Puntaje Hub.
Image site_fraction_vs_hubrank
Suma Acumulada de Puntaje Authority.
Image site_fraction_vs_authrank

Componentes fuertemente conectados

En un grafo, se dice que una parte de él es una componente conexa si es posible ir desde cualquier nodo de esa parte a cualquier otro nodo dentro de la misma parte. Se dice que una componente del grafo es una componente fuertemente conexa si esto es posible respetando la dirección de los enlaces. Dentro de una parte fuertemente conexa es posible ir desde cualquier sitio a cualquier otro sitio siguiendo enlaces. No toda la Web de Chile es fuertemente conexa.

Estudiamos la distribución de los tamaños de las componentes fuertemente conexas en el grafo de sitios Web. Una componente fuertemente conexa gigante aparece, tal como fue observado por Broder y otros [17]. Esta es una señal típica de una red de libre escala. La distribución de los tamaños de las componentes fuertemente conexas se presenta en la Tabla 9.


Tabla: Tamaño de las componentes fuertemente conexas.
Tamaño de Componente SCC Número de Componentes SCC
1 78.244
2 502
3 85
4 32
5 18
6 7
7 5
8 3
9 3
10 2
11 2
12 1
15 1
16 1
17 1
24 1
48 1
456 1
13.129 (Componente Gigante) 1


En este cuadro consideramos en las componentes de tamaño 1 solamente los sitios que tienen al menos un enlace entrante o un enlace saliente. La componente fuertemente conexa gigante corresponde a un 14,03% de los nodos, lo que es muy similar a la Web de España (15,1%) [9] y Corea del Sur (15,1%) [10].

Al representar gráficamente los tamaños de las componentes se observa una ley de Zipf con parámetro 3,4, comparable con 3,84 en España [9], 2,6 en Corea del Sur [10], 4,20 de Grecia [21] y 2,81 de la Web global [20].

Figura: Distribución de los tamaños de las componentes fuertemente conexas.
Image scc_sizes

Estructura de enlaces entre sitios Web

La componente fuertemente conexa gigante que aparece en la Tabla 9 puede ser usada como el punto de partida para distinguir ciertas componentes de la Web. Estas componentes fueron definidas por Broder y otros [17]:

Figura: Estructura macroscópica de la Web.
Image estructura_macro

En [4] extendimos esta notación distinguiendo en la parte MAIN las siguientes componentes:

La distribución de sitios Web en componentes se muestra en la Tabla 10. Nótese que los sitios Web en las componentes IN e ISLAS se encuentran sólo si se conoce a priori la dirección de la página principal de esos sitios, puesto que no son alcanzables siguiendo enlaces. Además, se describe el porcentaje sobre el total de los sitios, así como solamente sobre los sitios que tienen al menos un enlace entrante o un enlace saliente. Finalmente incluímos también la distribución del número de páginas en los sitios de cada componente.


Tabla: Distribución de sitios en las componentes de la Web. La distribución de páginas indica qué porcentaje de las páginas está en los sitios de cada componente.
Componente Total Sitios Sólo con enlaces Total páginas De sitios con enlaces
MAIN IN 1.99% 3.67% 4.36% 4.91%
MAIN OUT 3.92% 7.23% 16.62% 18.74%
MAIN MAIN 3.76% 6.95% 24.8% 27.97%
MAIN NORM 4.36% 8.05% 7.23% 8.16%
MAIN 14.03% 25.9% 53.31% 59.78%
IN 7.98% 14.73% 14.89% 16.8%
OUT 21.52% 39.72% 12.09% 13.63%
TOUT 3.81% 7.04% 2.73% 3.08%
TIN 2.9% 5.35% 2.91% 3.28%
TUNNEL 0.27% 0.5% 0.27% 0.31%
ISLAND 49.49% 6.78% 14.09% 3.11%


La estructura de la Web como un grafo presenta una correlación importante con otras características de los sitios. Estudiamos la distribución de los sitios de una sola página, que se muestran en la Figura 29, en las distintas componentes. En la componente MAIN hay muy pocos sitios de una sola página, mientras que en la componente ISLAS se encuentra aproximadamente el 50% de dichos sitios.

Figura: Distribución de sitios con una sola página de acuerdo a la estructura macroscópica de la Web.
Image 1pagesites

Otra característica que estudiamos es el dominio de primer nivel de residencia de los sitios de cada componente. El resultado se muestra en la Tabla 11.


Tabla: Distribución de los dominios en que están los sitios de cada componente.
Componente Total Sitios cl com org net otro
MAIN IN 1.99% 99.09% 0.75% 0.05% 0.11% 0%
MAIN OUT 3.92% 99.37% 0.38% 0.11% 0.14% 0%
MAIN MAIN 3.76% 98.33% 1.39% 0.17% 0.11% 0%
MAIN NORM 4.36% 99.68% 0.22% 0.07% 0.02% 0%
IN 7.98% 99.79% 0.17% 0.03% 0% 0.01%
OUT 21.52% 99.17% 0.66% 0.08% 0.09% 0%
TOUT 3.81% 99.55% 0.42% 0.03% 0% 0%
TIN 2.9% 99.67% 0.29% 0.04% 0% 0%
TUNNEL 0.27% 99.6% 0.4% 0% 0% 0%
ISLAND 49.49% 99.73% 0.19% 0.04% 0.04% 0%


Características de los Dominios

Definimos el dominio de una página como un sufijo de su nombre de sitio Web, siguiendo la siguiente regla: si el sitio es de la forma www.A.cl o www.xxx.A.cl, entonces el dominio es A.cl. En total se encontraron 158.853 dominios distintos.

Dirección IP y proveedor de hosting

Realizamos una búsqueda DNS de la dirección IP de cada uno de los sitios estudiados, pudiendo contactar en ese momento al 66% de ellos. Los sitios que no se pudieron contactar con gran probabilidad ya no existen.

Agrupamos las direcciones IP por dominio, de manera de contar para cuántos dominios distintos se utilizaba la misma IP. La distribución del número de dominios por IP se muestra en la Figura 30.

Figura: Distribución del número de dominios por dirección IP.
Image ips

En total hay cerca de 13.500 direcciones IP para todos los dominios. Esto significa que cada dirección tiene en promedio 12 sitios; sin embargo, la distribución es muy sesgada; existen 3 direcciones IP con más de 1.000 dominios distintos cada una, y 8.391 direcciones IP que sólo hospedan 1 dominio. El parámetro de ajuste de la ley de Zipf es 1,31.

Software utilizado como servidor

Para cada dirección IP examinamos cuál es el software para servidor Web que se utiliza y cuál sistema operativo. Esto se realiza mediante un requerimiento HTTP HEAD que solicita solamente el encabezado de la página inicial de un sitio. Una respuesta típica tiene la siguiente forma:

HTTP/1.1 200 OK
Server: Apache/1.3.33 (Debian GNU/Linux) PHP/4.3.10-9 mod_ssl/2.8...

En algunos casos -como en el ejemplo- la información es bastante completa, incluyendo el nombre del servidor (Apache), la versión (1.3.33), el sistema operativo (Linux) y las extensiones instaladas (PHP y ModSSL). La distribución del tipo de servidor y de sistema operativo se muestra en la Figura 38.

Figura: Distribución del tipo de servidor Web y el sistema operativo por dirección IP.
Servidores.
Image servidores
Sistemas Operativos.
Image sistemas_operativos

Los dos servidores dominantes son Apache y Microsoft IIS (Internet Information Server), con Apache doblando la participación de IIS. Sin embargo, un 39% de las IP's no entrega información sobre el servidor Web que está utilizando, por lo que no se puede decir con certeza que Apache tiene la mayor participación en el mercado. Conociendo la tendencia histórica de la Web chilena probablemente una parte considerable de los servidores no determinados sea Apache. En la Web mundial la proporción de servidores es 69% para Apache y 21% para IIS [33].

El mismo fenómeno ocurre con la información de sistema operativo: Unix/Linux tiene un 31% de participación versus un 20% de Windows, aunque en un 48% de los casos no se entrega información sobre el sistema operativo, por lo que no se puede determinar claramente cuál tiene mayor presencia. Si los casos no determinados se distribuyeran proporcionalmente de acuerdo a los casos conocidos, Windows habría disminuido la brecha con los sistemas operativos de código abierto. No es así en todos los países: en España se invierten los papeles, la presencia de Windows alcanza el 43%, y la de Unix/Linux es de 41% [9].

Número de sitios por dominio

En promedio encontramos 1,08 sitios por dominio. Existen 155.784 dominios con solamente un sitio, aunque varios dominios superan con creces el promedio. La distribución del número de sitios para cada uno de los 10.000 dominios más grandes se muestra en la Figura 32.

Figura: Distribución del número de sitios por dominio.
Image domain_vs_sites

Los 30 dominios con más sitios que encontramos se muestran en la Tabla 12. Algunos dominios fueron imposibles de contactar nuevamente, y se marcan como "Imposible conectar".


Tabla: Dominios con mayor número de sitios.
Sitios Páginas Dominio Sitios Páginas Dominio
1407 3641 portalciudadano 104 13125 usach
499 86174 uchile 92 6455 utalca
459 17052 boonic 90 14495 gob
340 2571 scd 84 26419 canal13
329 74542 terra 73 16493 uach
308 10083 ucn 67 6953 123
285 117 notarial 59 1097 zp
249 3331 co 59 20370 ubiobio
156 23083 gov 54 5467 ufro
146 25019 utfsm 51 2361 olx
142 20639 puc 50 1970 contador
132 969 tie 48 9086 uandes
128 16525 ucv 40 10325 udp
127 17013 vivastreet 39 1002 dm
111 20335 udec 39 1277 ulagos


Número de páginas por dominio

Hay un promedio de 47 páginas por dominio. La distribución del número de páginas por dominio es muy sesgada, y sigue una ley de potencias con parámetro 1,67 en su parte central, comparable con el parámetro 1,18 en la Web de España [9]. La Figura 33 muestra la distribución de esta variable, muy similar a la de páginas por sitio que se muestra en la Figura 20.

Figura: Distribución del número de páginas por dominio.
Image docs_in_domain_vs_domain_fraction

Hay 34.810 dominios con una única página Web, lo que representa un 21% de los dominios, prácticamente la misma proporción respecto a los sitios (21,4%). Este comportamiento es totalmente distinto al que presenta la Web Española, donde la proporción de dominios de una sola página es mucho menor.

Tamaño total de los dominios

El tamaño promedio de un dominio Web completo es de aproximadamente 328 KiB. La distribución del tamaño total de páginas por dominios se muestra en la Figura 34, y sigue una ley de potencias con parámetro 1,28.

Figura: Tamaño total por dominio, considerando sólo el texto.
Image domain_size_vs_domain_fraction

Los dominios con mayor cantidad de texto se muestran en la Tabla 13. Una gran mayoría corresponde a sitios de cadenas comerciales o de remates, Este comportamiento es similar al de la Web de Corea del Sur [10], mientras que en España [9] y Tailandia [37] los primeros lugares corresponden a sitios de instituciones educacionales o del gobierno.


Tabla 13: Dominios con mayor cantidad de texto.
Tamaño[MiB] Nombre del Dominio Tipo
2131 decompras Comercial
1782 buy7 Comercial
1313 qsale Comercial
1173 uchile Educacional
1107 terra Comercial
900 k21 Comercial
648 deremate Comercial
603 mercadolibre Comercial
569 canal13 Comercial
480 laguiachile Comercial
457 gov Gobierno
454 rave Comercial
450 latercera Comercial
425 rvt Comercial
418 almacenesparis Comercial
408 tercera Comercial
405 boonic Comercial
405 vivastreet Comercial
401 lanaciondomingo Comercial
394 lnd Comercial
388 almacenes-paris Comercial
386 diariolanacion Comercial
378 fo Comercial
372 gob Gobierno
370 bookings Comercial
369 booking Comercial
354 lanacion Comercial
348 concilio Comercial
341 atinachile Comercial
338 hispavista Comercial
330 futurix Comercial
330 uach Educacional
329 kontent Comercial
321 vmf Comercial
310 cooperativa Comercial


Títulos de las páginas en un dominio

A continuación analizamos la distribución de títulos distintos por dominio. Medimos la razón entre títulos distintos y páginas de un sitio; por ejemplo, si un sitio tiene 10 páginas y 4 títulos distintos, entonces el valor de este parámetro es 0,25. Esta distribución se aprecia en la Figura 35.

Figura: Distribución del número de títulos distintos versus el número de páginas de cada dominio.
Image paginas_vs_titulos_distintos

En general no observamos una correlación significativa entre estas dos variables: un sitio grande puede tener la misma proporción de títulos distintos que uno pequeño, por lo que este parámetro depende más de la calidad de diseño y planteamiento de un sitio Web que de su magnitud. Sin embargo, la densidad es mayor en la parte inferior del gráfico, lo que indica que es algo más difícil en los dominios grandes tener varios títulos distintos para sus páginas.

Enlaces entre dominios

A continuación medimos el número de enlaces entre dominios, con el propósito de obtener una representación gráfica de las relaciones entre ellos. En la Figura 36 hemos incluído los 50 dominios que más se relacionan mediante enlaces en la Web Chilena. Los dominios se dividen en tres grupos: comercial (rectángulos), educacional (elipses) y gobierno (rombos), y una línea más oscura significa un mayor número de enlaces.

Utilizamos el programa neato del parquete graphviz [25], que mediante un modelo de resortes y un algoritmo iterativo encuentra una configuración de baja energía para el grafo. La entrada al programa es un largo mínimo para cada arco, en nuestro caso inversamente proporcional al número de enlaces, y el número de enlaces de cada arco.

Figura: Representación gráfica de los enlaces entre dominios.
Image chile

El dominio de los sitios comerciales ha desplazado la presencia de sitios de gobierno y educacionales, por lo que es virtualmente imposible apreciar la agrupación entre dominios del mismo tipo que se observó el año 2004 [5] y que se observa en la Web Española [9]; no obstante, algunos sitios, especialmente universitarios, han logrado permanecer unidos.

En la Tabla 14 listamos los 30 dominios que tienen mayor cantidad de enlaces desde otros dominios. Cuando hablamos de dominios y no de sitios sí aparecen dominios educacionales y de gobierno, haciendo más uniforme la distribución, a pesar de que el primer lugar lo tenga un sitio comercial. También aparecen medios de comunicación y sitios gubernamentales de ciencia y cultura.


Tabla 14: Dominios con mayor cantidad de enlaces desde otros dominios.
Enlaces Nombre del Dominio Tipo
24610 boonic Comercial
6016 uchile Educacional
4648 vivastreet Comercial
2402 olx Comercial
1773 puc Educacional
1496 terra Comercial
1450 portalciudadano Comercial
1307 123 Comercial
1197 sii Gobierno
1171 gov Gobierno
1158 udec Educacional
1083 utfsm Educacional
1065 gob Gobierno
1059 mineduc Gobierno
1015 scd Comercial
918 latercera Comercial
906 bcentral Gobierno
804 meteochile Gobierno / Cultura, Educación o Ciencia
801 ucv Educacional
742 canal13 Comercial
718 utalca Educacional
645 usach Educacional
635 corfo Gobierno
634 uach Educacional
600 sernatur Gobierno
577 conicyt Gobierno / Cultura, Educació