|
Documento completo, para descargar e imprimir (57 páginas, 2.0 MB) |
|
E-Mail: rbaeza@dcc.uchile.cl
En Agosto de 2006 se llevó a cabo una recolección masiva de páginas de la Web de Chile utilizando el sistema WIRE, desarrollado en el CIW. Del análisis de estos datos destacan las siguientes observaciones:
Respecto a la calidad de las páginas y sitios:
Respecto a las tecnologías Web:
En esta sección presentamos las características de la Web y de la muestra estudiada, así como la metodología para recolectar documentos.
La Web es más que un simple conjunto de documentos en distintos servidores, ya que existen relaciones de información entre los documentos mediante los enlaces que establecen entre ellos. Esto presenta muchas ventajas, tanto para los usuarios, a la hora de buscar información, como para los programas que recorren la Web, a la hora de buscar contenido para recolectar (probablemente para un motor de búsqueda). Debido a esto se plantea que la Web sigue un modelo de grafo dirigido, en el que cada página es un nodo y cada arco representa un enlace entre dos páginas.
En general las páginas enlazan a páginas similares [19], de modo que es posible reconocer páginas mejores que las demás, es decir, páginas que reciben un número mayor de referencias que lo normal. Como se explicó anteriormente en [9], la web tiene una estructura que se puede clasificar como red libre de escala. Dichas redes, al contrario de las redes aleatorias, se caracterizan por una distribución dispareja de enlaces y porque dicha distribución sigue una ley de potencias (power-law)1:
Los nodos altamente enlazados actúan como centros que conectan muchos de los otros nodos a la red, como se ilustra en la Figura 1.
 |
Esto quiere decir que la distribución de los enlaces es muy sesgada: unas pocas páginas reciben muchos enlaces mientras que la mayoría recibe muy pocos o incluso ninguno. En este estudio se muestra que dicha distribución se puede aplicar a muchos aspectos de la Web, de los cuales se dice que "siguen una ley de Zipf", en honor a Kingsley Zipf que en 1932 enunció la distribución que modela la frecuencia de aparición de las palabras en los textos [43]. De acuerdo a este modelo la probabilidad de encontrar un elemento con un cierto tamaño 3#3 es proporcional a 4#4, con 5#5. Cuando estas distribuciones se representan en un gráfico con escala logarítmica se obtiene una línea recta, tal como se observa en muchos de los gráficos de este estudio.
Las redes libres de escala son auto-similares: una pequeña muestra tiene características de la red completa (es decir, las características trascienden la escala con que se mire la red). Se muestra en este estudio que éste es el caso de la Web chilena, que presenta características muy similares a la red mundial y a las redes de otros países, a pesar de contener menos de 2/3000 de las páginas recolectables2 en la Web global, estimadas el 2005 en 6#6 páginas [27].
Una Web nacional se puede definir como el conjunto de páginas relacionadas con un país. Técnicamente es difícil distinguir si una página está asociada al país en estudio; debido a ello, para el caso chileno se utiliza la heurística de asociar a Chile todos los sitios Web que están hospedados en direcciones IP asignadas a Chile. Esto incluye los dominios chilenos (.cl) y otros dominios genéricos y extranjeros. Conocemos todos los dominios .cl gracias al apoyo de NIC Chile (http://www.nic.cl), que entregó la lista completa de dominios para fines de investigación.
La Web chilena ha sido objetivo constante de estudio, tanto de sus características en los años 2000 [3], 2001-2002 [12] y 2004 [5], como de sus dinámicas [11]. Asimismo, existen recientes estudios sobre las Webs de otros dominios nacionales:
La colección fue obtenida el mes de Agosto de 2006, utilizando el programa para recolectar páginas web WIRE [7]. Se utilizó un computador con dos procesadores Intel Pentium IV de 3 GHz, 1 GiB3 de RAM bajo sistema operativo Gentoo Linux.
El recolector comienza descargando un conjunto de direcciones iniciales (seeds), que corresponden a la lista de dominios que se posee. De las páginas descargadas se extraen nuevos enlaces, de los cuales se discriminan los que no apuntan a páginas o documentos en dominios chilenos o a direcciones IP que no estén asignadas a proveedores chilenos. En total se descargaron más de 7 millones de páginas web (más del doble que las descargadas el año 2004 [5]). La colección utiliza 50 GiB de disco, de los cuales 48 GiB corresponden al texto de los documentos y 2 GiB a metadatos de las páginas.
El Cuadro 1 resume las características principales de la colección.
La Web es una colección descentralizada, en la cual distintos autores pueden contribuir contenido por su cuenta sin una instancia de control que decida qué se publica y qué no. Esto es la principal ventaja de la Web desde el punto de vista de los usuarios, pero también es la principal causa de dificultades tanto para buscar información como para caracterizar colecciones de páginas.
Las siguientes anomalías constituyen violaciones de estándares o situaciones especiales que dificultan la caracterización de las páginas:
Esta técnica es conocida como URL Rewriting y su uso se ha extendido con la aparición de sistemas de administración de contenido (CMS, Content Management System). Entre sus consecuencias se encuentran: 1) no se puede distinguir si la página es estática o dinámica, y 2) se recorren varias páginas que tienen semánticamente el mismo contenido, ya que por lo general estas direcciones admiten varios parámetros diferentes para entregar una misma página (el identificador, el título, la sección dentro del sitio, la fecha, etc.). Así se encuentran sitios que tienen un tamaño mucho más grande del que tienen realmente, con muchas más páginas que el promedio.
Las consecuencias de estas réplicas, sitios con una gran cantidad de texto, son pequeñas considerando la realidad de la Web chilena, donde los documentos que son réplicas de otros son 232.705, un 3,14% del total de las páginas. Una inspección manual de la colección nos lleva a observar mucho contenido repetido que no se detecta como duplicado debido a que el contenido de las páginas también incluye el diseño, y éste por lo general varía a pesar de presentar el mismo contenido. Existen muchos sitios que duplican el contenido entre ellos de forma deliberada y no por las razones de eficiencia o documentación.
Los distintos niveles de análisis posibles para la Web son los siguientes: el más pequeño es el de palabras o bloques de texto o imágenes, pasando por páginas, sub-sitios (unidades coherentes de múltiples páginas), sitios, dominios; hasta llegar a la Web de un país y la Web global. Así está estructurado este informe, presentamos nuestras observaciones de la Web de Chile a varios niveles: a nivel de páginas y documentos en la Sección 2, a nivel de sitios en la Sección 3 y a nivel de dominios en la Sección 4. La Sección 5 presenta nuestras conclusiones, y el Glosario incluye definiciones de algunos términos que se utilizan en este documento
En esta sección se presenta el análisis de las páginas individualmente, sin cosiderar su agrupación en sitios o dominios. Primero enseñamos el número de páginas descargadas correctamente. Luego analizamos los metadatos, como la URL, el título o el tamaño, más tarde el contenido de los documentos y finalmente los enlaces entre ellos.
El recolector de páginas funciona extrayendo direcciones de las páginas que han sido descargadas, y es frecuente que entre estas direcciones aparezcan páginas que ya no existen o que simplemente se escribieron mal. Cada vez que el recolector se contacta con un servidor Web, éste retorna un código de estado que indica si la página existe o no, o si existe un motivo por el cual no se puede entregar el documento pedido. La Figura 2 muestra la distribución de páginas de acuerdo a estos códigos de estado. Existe una gran cantidad de códigos de estado que se han agrupado de la siguiente manera:
En nuestros experimentos, usualmente obtenemos entre 75% y 85% de transferencias exitosas. En este caso se está dentro del promedio con un 82,5%, disminuyendo 4 puntos porcentuales respecto a nuestro último estudio [5]. También disminuyó cerca de 2 puntos la proporción de los enlaces rotos, ahora en un 4,6%. La disminución de los enlaces rotos puede significar que existe mayor conciencia respecto a verificar la correctitud de los enlaces en un sitio.
La dirección de una página Web es comúnmente expresada mediante una URL (Uniform Resource Locator) [15]. Las URLs tienen un doble propósito, por una parte identifican un recurso en la Web de manera única y por otra indican cómo es posible acceder a dicho recurso en el servidor.
Las URLs más usadas en la Web son las que corresponden al protocolo de transferencia de hipertextos (HTTP). Estas URLs tienen normalmente la siguiente forma:
Por ejemplo, http://www.cwr.cl/projects/WIRE/index.html indica que el sitio a contactar es www.cwr.cl, que el archivo que se necesita se encuentra en el directorio /projects/WIRE/ y que se llama index.html.
En esta sección analizamos algunas de las características observadas de las URLs de la Web de Chile.
La longitud promedio de una URL, incluyendo la especificación del protocolo http://, nombre de servidor, ruta y parámetros, es de 71 caracteres. Este promedio es mayor al de otros países: 67 para España [9] y 62 para Portugal [24], y 50 caracteres para la Web global [38]. Sin duda influyen en esto las nuevas aplicaciones que se están desarrollando en la Web que requieren un gran número de parámetros; a la vez los parámetros tienden a expresarse como texto, como se mencionó en la Sección 1.
El 60% de las URLs tienen entre 40 y 80 caracteres. Los largos se distribuyen de acuerdo con la Figura 3, que tiene una distribución log-normal con parámetros estimados 7#7 (posición), 8#8 (escala) y 9#9 (forma). Observamos que las URLs más largas, a pesar de pertenecer a sitios distintos, comparten un parámetro que por simple inspección parece ser un identificador de sesión o de servidor. Las URLs que siguen corresponden en su mayoría a URLs con elementos repetidos. Las URLs anómalas tienen formas similares a las siguientes (han sido recortadas por motivos de legibilidad):
Estudiamos la profundidad de una página dentro de un sitio Web. Esta profundidad puede definirse de dos formas:
En este estudio analizamos la profundidad física de las páginas, que es directamente extraíble de las URLs. La distribución de esta variable se muestra en la Figura 4, en la cual hemos separado páginas estáticas y dinámicas. Se observa que el máximo de la distribución se encuentra en los niveles 4 y 5.
Es necesario mencionar que en la configuración del recolector se limitó la profundidad máxima a 15 niveles. Probablemente si se hubiese aumentado a 30 se encontrarían anomalías en la distribución en niveles superiores [9].
Para determinar la edad de las páginas, observamos la fecha de última modificación entregada por los servidores para cada una de ellas. En algunos casos tal fecha es errónea: corresponde a una fecha del futuro o una fecha muy antigua previa a la invención de la Web (como 1 de Enero de 1970). Esto se debe a servidores que no tienen sus relojes sincronizados con la hora actual del país o que simplemente no han sido configurados.
La distribución de las edades de las páginas en términos de meses y años se muestra en la Figura 5.
|
|
Entre los años 2005 y 2006 cerca de un 25% de las páginas se creó o se actualizó, lo que indica que la Web chilena está creciendo a una tasa alta, aunque relativamente menor a la tasa de crecimiento del año 2004 (que fue de 25% sólo para el 2004 [5]).
Examinamos el título de las páginas y encontramos que más de un 12,19% de ellas no tiene título, que un 2,47% tiene algún título por omisión como "Untitled Document", "Documento sin título" o "Página nueva 1" y que un 85,34% tiene un título acorde al sitio (51,12% compartido y 33,22% único), como se aprecia en la Figura 6.
|
Lo más común es que una página tenga como título el nombre del sitio al que pertenece, nombre que generalmente no describe el contenido del documento. En otros países este fenómeno es bastance crítico, como en la Web de España donde las mayores frecuencias de largo de título se encuentran entre 5 y 10 caracteres [9]. En la Web chilena, sin considerar a las páginas sin título, la distribución de los largos de ellos no es tan sesgada, como se ve en la Figura 7.
En cada sitio se tienen aproximadamente 6 títulos distintos, una cifra que es buena en comparación con España (4 títulos por sitio [9]) y Portugal (5 títulos por sitio [24]). Eso no quiere decir que no existan anomalías: por inspección manual se aprecia que muchos títulos, en especial los compartidos, no sólo incluyen el nombre del sitio sino que también una descripción de éste. Si bien esto no está mal, no se está utilizando correctamente el atributo de título como un ítem descriptivo conciso del documento (para una descripción más elaborada existe el metadato description). Esto incide negativamente en la usabilidad del sitio, porque a quienes visitan el sitio no se les entrega información contextual de los documentos para ser guardados en sus marcadores (bookmarks, o enlaces favoritos). Por el lado de los buscadores, si bien las páginas son indizadas correctamente, lo que se muestra al usuario en los resultados de búsqueda es el título de la página y un extracto del documento. Otra anomalía observada es que muchos sitios, en particular aquellos de contenido manejado por los usuarios, contienen caracteres sin relevancia ni significado en los títulos, entorpeciendo su lectura (por ejemplo: ":::::::: < Mi Página >:::::::::").
De cada página descargada se almacenaron sólo los primeros 100 KiB, lo que es suficiente para la mayoría de ellas. Representamos gráficamente el contenido de las páginas en la Figura 8. Primero se muestra solamente el contenido del documento, y luego el texto completo (contenido más etiquetas HTML y código).
|
|
El tamaño de los documentos se ajusta a una ley de Zipf con parámetro 2,87, similar al valor obtenido para el año 2004, 2,76 [5]. Respecto a otros países, la mayor similitud se da con Corea del Sur, que posee un valor de parámetro de 2,84 [10].
En la Figura 9 se observan las páginas con menos de 100 bytes de texto. Se observa que entre 0 y 10 bytes hay una similitud con una distribución normal, mientras que el resto del rango se puede modelar con una recta que represente una fracción de las páginas de 3/10000.
Al inspeccionar manualmente estas páginas se observa que varias de ellas corresponden a sitios construídos con elementos gráficos o programas insertados en las páginas (como Adobe Flash o Java). También hay muchos documentos que simplemente no tienen contenido, es decir, su texto es " 10#10".
WIRE incluye un sistema de detección de idioma basado en stopwords, es decir, palabras que carecen de significado por sí mismas, también llamadas palabras funcionales. La heurística cuenta el número de stopwords dentro del documento para cada idioma del que se tienen stopwords y en base a ellas determina el lenguaje correspondiente. En base a esto se obtuvo la distribución de idiomas de la Figura 10.
La proporción de páginas escritas en el idioma oficial del país bajó para Chile en comparación con el estudio del año 2000, de 90% a 80,21%; sin embargo, es mayor a la proporción de 62% presente en España [9], que considera Castellano y Catalán, al 75% de páginas Brasileñas en Portugués [42], y al 35% de Tailandés en Tailandia [37]. 5
La definición de palabra que usamos es cualquier secuencia alfanumérica de más de un caracter de largo, incluyendo los caracteres acentuados del idioma español. Esto incluye la conversión a caracteres de entidades HTML (como "á" a "á"). Analizamos 2,6 GB de texto extraído de páginas de la colección. En la Tabla 2 se indican las diez palabras más frecuentes para los dos idiomas con mayor presencia en la Web chilena.
Naturalmente las palabras más frecuentes son stopwords. En la Figura 11 se muestra la distribución de la frecuencia de las palabras presentes en la colección, obteniendo una ley de Zipf con parámetro 0,84 para el español. En la Web de España el Castellano presenta prácticamente el mismo parámetro [9].
En la Tabla 3 se incluye una Nube de Etiquetas (TagCloud, con los sustantivos más frecuentes en la Web chilena. En la Nube de Etiquetas las palabras con mayor presencia tienen un tamaño más grande. Usualmente el término más presente en la Web de un país es el país mismo, y en el caso de Chile se cumple esa regla, al igual que en el caso de Perú (en [40] también se aprecia una nube de etiquetas), España [9] y Brasil [42]. Se observa que, dejando de lado los nombres de ciudades y fechas, en general los términos corresponden a servicios o a tecnologías recientes: en su mayoría son palabras muy frecuentes en foros, blogs, y otros administradores de contenido. Respecto al idioma inglés no se encontró una familia de palabras que perteneciera a un ámbito en particular.
|
chile producto usuario todos servicio mensaje empresa comentario web santiago blog hora foro septiembre sitio tema noticias región proyecto información precio nombre inicio trabajo universidad agosto tiempo vida cuenta hoy compra mundo lecturas venta desarrollo grupo sistema internet forma derechos bien uso contacto personas centro software julio video fecha mar casa lugar seguridad fotos e-mail página estado miembro programa salud medio copyright datos argentina año respuesta ofertas comunidad historia caso condiciones juegos mayo junio total personal amigo rss clave social red equipo calidad ayuda hotel poder eventos semana internacional actividades libre gobierno fax artículos palabras control momento guía ciudad ley abril día sociedad alumnos click publicaciones responsable central favor accesorios dvd cultura viernes resultados director libro correo post digital gente búsqueda detalles marzo server online categorías radio curso fono club visitas acceso estudios lunes error proceso enlaces escuela
|
Más de 3,1 millones (42,5%) de las páginas descargadas eran páginas dinámicas, es decir, páginas generadas en el momento de ser solicitadas sin que existieran previamente. Esto es lo normal cuando hay una consulta a una base de datos involucrada en el proceso de desplegar las páginas.
La proporción de páginas dinámicas aumentó un 4% respecto a la medición del año 2004. Sin embargo, se debe considerar también que existe un gran número de páginas dinámicas que no son detectadas como tales, por lo que este aumento es aun mayor. Se estima que siguiendo la tendencia actual de tener sitios cuyo contenido se pueda administrar en línea y que sea independiente del diseño y de la estructura de los documentos, el número de páginas dinámicas seguirá creciendo: es más fácil y práctico tener el contenido de un sitio en una base de datos que en archivos HTML que resultan toscos a la hora de modificarlos para ingresar o modificar información. También se debe considerar que existen páginas estáticas, con extensiones HTML y HTM, que son generadas por procesos en lote en los servidores que se ejecutan constante y automáticamente,
En la Figura 12 se muestra la distribución de páginas dinámicas de acuerdo a la aplicación que las genera. La aplicación más usada es PHP [26], una tecnología de código abierto que domina la Web chilena con un 75% de participación. Su uso disminuyó un 3% respecto al año 2004 [5] y es similar al 73% de uso en Brasil [32], aunque sigue siendo muy superior al 46,24% que recibe en España [9]. Le sigue la tecnología ASP [31], propietaria y de plataforma restringida, con un 21,4%. En otros países o continentes ASP domina el mercado, como en Corea del Sur (75%) [10] y áfrica (63%) [16].
Encontramos aproximadamente 1,1 millones de enlaces a documentos en formatos distintos a HTML. Los formatos más populares son PDF (Acrobat), XML (se consideran archivos SVG, RSS, RDF, XML, etc.) y de texto plano TXT. Respecto al año 2004 se aprecia un avance por parte de las tecnologías XML mientras que los formatos propietarios DOC, XLS y PPT han disminuido su participación (aunque sus contrapartes de código abierto, los llamados Open Document Format, basados en XML, casi no tienen presencia). En la Figura 13 se aprecia la distribución de estos documentos.
Respecto al formato PDF, también es el más usado en otros países, como en Austria [36], Brasil [32], Corea del Sur [10], Grecia [21] y Portugal [24]. En el caso de España ocupa el segundo lugar, con un 41,43% [9].
Existen muchos enlaces a archivos multimedia: más de 60.000 enlaces a archivos de audio, 42.000 enlaces a archivos de vídeo, y 120 millones de enlaces a imágenes. La distribución de formatos de archivo se muestra en la Figura 14.
En audio, el formato MP3 casi dobló su participación en la Web chilena respecto al año 2004, probablemente debido al auge de los reproductores portátiles, mientras que formatos cerrados que no han presentado una mayor evolución como Real Player ya no tienen una presencia considerable. En vídeo sucede lo contrario, ya que Real Player (RM) tiene una presencia que no tenía el año 2004, aunque el ganador con un 45% de participación es el formato Windows Media de Microsoft. Los formatos MPEG y AVI han perdido popularidad, al menos en términos de enlaces, y el nuevo formato de vídeo FLV, masificado por los servicios de streaming de vídeo, ya tiene una pequeña presencia que presumiblemente aumentará en el futuro.
Las imágenes GIF son las más populares en la Web con un 83% de los enlaces. Esto se debe a que son muy usados en los sitios comunitarios como smilies (imágenes que representan una situación, un sentimiento o una emoción, como :-) ), y a que son muy útiles a la hora de diseñar páginas ya que no presentan compresión con pérdida (por otro lado, tienen una paleta limitada de colores). Los archivos JPG se utilizan en su mayoría para intercambiar fotografías y tener imágenes de cabecera en los sitios Web, teniendo un 14% de la participación. Lamentablemente los archivos PNG casi no tienen presencia en la red a pesar de haber nacido como un reemplazo de los archivos GIF. Esto se puede deber a dos factores: un mayor peso que GIF y la falta de soporte por parte del navegador más utilizado, Internet Explorer de Microsoft.
Encontramos más de 180.000 enlaces a archivos de programas, más de 210.000 enlaces a archivos comprimidos y más de 35.000 enlaces a archivos de código fuente en diversos lenguajes . La distribución de los enlaces se muestra en la Figura 15.
|
|
|
Si bien los paquetes de software para Linux superan el 50%, se puede decir que entre Linux y Windows se reparten casi equitativamente los enlaces a software, principalmente porque el software de Linux se distribuye en muchos paquetes, generalmente pequeños, mientras que el software de Windows se suele distribuir en solamente un archivo instalador de gran tamaño. Además la participación de los ejecutables de Windows ha aumentado un 10% respecto al año 2004 [5].
La distribución de código fuente muestra el gran auge que ha tenido Javascript como lenguaje para construir páginas web que reaccionen dinámicamente ante las acciones del usuario, por lo general en sitios que utilizan AJAX para crear aplicaciones basadas en Web. Además no sorprende que los archivos de tipo C, C++, Java o Shell hayan disminuído, debido a que tanto el código fuente como los archivos de software ya compilado suelen distribuirse en archivos comprimidos.
La distribución de archivos comprimidos muestra un dominio de los formatos GZ (53,8%) y ZIP(37,7%). Con estos formatos sucede algo similar al fenómeno que afecta al software, ya que muchos paquetes de Linux se distribuyen empaquetados en formato TAR y luego comprimidos en GZIP. Asimismo, el formato ZIP no sólo es utilizado para empaquetar software, sino que también es muy usado para adjuntar documentos a las páginas.
El número de enlaces que recibe una página Web se llama su "grado interno", nombre que proviene del hecho de tratar la Web como un grafo, del mismo modo el número de enlaces que sale de una página se llama su "grado externo". Las distribuciones de ambos grados se muestra en la Figura 16.
|
| ||
|
|
El grado interno de una página es una medida de su popularidad en la Web, mientras que el grado externo refleja más bien el tipo de página que se está visitando. Una página comercial o de alguna marca en particular difícilmente tendrá enlaces externos porque eso aleja a los usuarios de sus sitios en el cauce de la navegación por la red. Además, tener una página en la que aparezan muchos enlaces es fácil, pero recibir muchos enlaces desde otras páginas es difícil. Cerca de un 75% de los documentos acapara todo el grado interno y solamente un 45% de los documentos contiene todos los enlaces salientes de la Web chilena.
Al ajustar una distribución de Zipf a los datos se obtienen los parámetros 1,95 para el grado interno y 3,51 para el grado externo, comparable al 1,9 de grado interno de áfrica [16]. Los valores más usuales son 2,1 y 2,7 [35], similares a los de España (2,11 y 2,84) [9]. Los valores chilenos se están acercando más al promedio, ya que en el estudio anterior se obtuvieron los valores 1,78 y 4,11 [5].
|
|
En la Figura 17 relacionamos el grado con el tamaño de las páginas. Existe una correlación entre el grado externo y el tamaño de las páginas, puesto que una página no puede contener demasiados enlaces en caso de ser es muy pequeña. Respecto al grado interno y el tamaño de las páginas la correlación no es evidente, pero sí se aprecia que páginas de menor tamaño reciben una fracción menor de enlaces.
Existen varios algoritmos de enlaces que intentan inferir cuán importante es cada página en la Web, utilizando la información de los enlaces que recibe cada página. Comparamos la distribución de Pagerank [34] con una variación del algoritmo HITS [29], en el cual usamos la Web completa como el conjunto de análisis. Esto último puede verse como una versión estática de HITS.
El algoritmo Pagerank calcula para cada página un puntaje que refleja la cantidad de enlaces que recibe desde otras páginas con un alto número de enlaces. De cierto modo es una medida de la cantidad y calidad de los enlaces recibidos.
El algoritmo de HITS calcula dos puntajes para cada página: Hub y Authority. El puntaje Hub indica qué tan buena es la página como fuente de enlaces, en términos de qué tan buenos son los enlaces que tiene la página hacia otras páginas. El puntaje Authority indica qué tan buena es la página como recurso de información o contenido, en términos de qué tan buenos son los enlaces que recibe.
La distribución de los puntajes puede verse en la Figura 18.
|
| ||
|
| ||
|
|
Por la fórmula del cálculo de PageRank, en la que se usan saltos aleatorios dentro del procedimiento de cálculo (es decir, se considera que existe una pequeña probabilidad de llegar por azar a una página), incluso páginas con muy pocos enlaces entrantes tienen un valor de PageRank no nulo. De este modo un 80% de las páginas acumula el 100% del PageRank. Por otra parte, una página necesita enlaces de calidad para tener un puntaje Hub o Authority no nulo, de manera que sólo un 18% de las páginas tiene puntaje Hub no nulo y sólo un 3% de las páginas tiene un puntaje Authority no nulo.
|
|
|
De una muestra aleatoria de 10.000 documentos, descartando los que tienen puntajes nulos, no observamos que exista correlación entre los puntajes de análisis de enlaces medidos, como se muestra en la Figura 19.
Definimos un sitio Web como un conjunto de páginas que comparten la parte del nombre del servidor de la URL. Además utilizamos la heurística de que http://www.sitio.cl/ y http://sitio.cl corresponden al mismo sitio. 6
Observamos un promedio de 43 páginas por sitio. La distribución del número de páginas por sitio Web se muestra en la Figura 20.
La distribución es muy sesgada: un 10% de los sitios tiene un 90% de los documentos. Existen muchos sitios que tienen muy pocas páginas, lo cual puede ser una señal de poco desarrollo de la Web. Ajustando una ley de Zipf se obtiene el parámetro 1,74, muy similar al valor 1,76 obtenido el 2004 [5], comparable a 1,14 en España [9], 1,6 en Brasil [32] y 2,5 en Corea del Sur [10].
Hay 36,654 sitios en los cuales el recolector encontró sólo una página Web. Esto representa un 21,4% de los sitios, una cifra que no es tan alta como en la Web de España (donde alcanza el 60%) [9] y que porcentualmente ha disminuido a la mitad de lo que representaba el 2004, un 40% [5]. Dentro de los motivos por los cuales se encuentra solamente una página en el sitio se encuentran:
La proporción de estos sitios y un análisis más detallado se muestra más adelante, en la Figura 29.
Analizamos también los sitios que tenían muchas páginas. Los 30 sitios con mayor número de páginas se listan en la Tabla 4. Normalmente corresponden a sitios que tienen instalados uno o más CMS para brindar servicios de blogs, foros o galerías de imágenes. Los CMSs actuales permiten utilizar URL Rewriting para recuperar las páginas, y una serie distinta de parámetros puede llevar al mismo documento. Además agregan distintos enlaces a distintas partes internas del documento (como los comentarios a una entrada en un blog o las distintas opiniones en un foro), los que crean recursión en las páginas. Estos sistemas no tienen diseños estáticos (por ejemplo, una vista de un documento entregando un identificador muestra enlaces a otras páginas del sitio que verlo entregando la fecha del mensaje como parámetro no se muestran) por lo que es dificil detectar los documentos duplicados.
Consideramos en esta sección solamente el texto de las páginas que fueron recolectadas: para determinar el tamaño de un sitio sólo se considera el tamaño de los documentos HTML, no el de sus imágenes u otros documentos o archivos multimedia.
En la Figura 21 se muestra la distribución del tamaño de los sitios. Nuevamente la distribución es muy sesgada, el 20% más grande de los sitios ya contiene el 99% de la Web chilena en términos de tamaño. La distribución se ajusta a una ley de Zipf con parámetro 1,57 hasta un tamaño de 10 MiB.
En la Tabla 5 se listan los 30 sitios con mayor cantidad de texto. Se aprecia una marcada presencia de sitios de casas comerciales que tienen catálogos de productos y de sitios de remates. Generalmente estos últimos se copian automáticamente los productos entre ellos, teniendo una gran cantidad de sitios de remates que tienen gran parte de su contenido replicado.
|
Medimos la edad de los sitios Web, observando la edad de la página más antigua, la edad de la página más reciente, y la edad promedio de las páginas. La edad de la página más antigua es una cota inferior respecto a qué tan viejo es un sitio, mientras que la edad de la página más nueva refleja la última vez que se actualizó el sitio. Los resultados se muestran en la Figura 22.
De acuerdo a estas cifras, cerca del 70% de los sitios Web fueron creados este año, y cerca de un 80% en los últimos dos años. Esto nuevamente nos indica que la Web chilena crece a un ritmo muy acelerado.
Estudiamos a qué proveedor de espacio en la Web (hosting) correspondían las direcciones IP que más se repiten entre sitios, realizando una búsqueda de DNS inverso. Para las 30 instituciones con más direcciones IP el resultado se muestra en la Tabla 6. En este caso mostramos el nombre sin el dominio de primer nivel porque es frecuente que un mismo proveedor utilice simultáneamente el dominio .cl y uno de tipo genérico como .net o .com.
|
Un enlace se considera interno si apunta a otra página dentro del mismo sitio Web. Un sitio promedio tiene 314 enlaces internos. Para cada sitio calculamos cuantos enlaces internos por página tenía y promediamos esas cantidades. El resultado es que un sitio Web promedio tiene aproximadamente 1,27 enlaces internos por página. Además existen muchos sitios con un gran número de enlaces internos.
La distribución del número de enlaces internos por sitio se muestra en la Figura 23.
Esta distribución está relacionada con la distribución de páginas por sitio Web, a saber, un sitio Web con muy pocas páginas no puede tener demasiados enlaces internos. Sin embargo, si observamos la distribución del número de enlaces internos por página, no existe una correlación importante, como se muestra en la Figura 24. Al medir la distribución de enlaces internos por página se obtuvo una ley de Zipf en la parte central con parámetro 1,38.
|
|
En lo siguiente, consideraremos los enlaces entre sitios Web. Un enlace entre dos sitios Web representa uno o varios enlaces entre sus páginas, preservando dirección. Esto significa que si existe al menos un enlace entre, por ejemplo http://www.A.cl/paginaA.html y http://www.B.cl/paginaB.html, entonces diremos que existe un enlace entre www.A.cl y www.B.cl (los enlaces internos no son considerados). Esto se ha llamado también el Hostrank o grafo de servidores [20].
Existen 56.953 sitios con más de una página. De ellos, 27.072 (47,53%) no recibe ninguna referencia desde otro sitio de Chile, y 31.566 (55,42%) no tiene ningún enlace hacia otro sitio de Chile. La distribución del grado interno y externo de los sitios también revela una red libre de escala, como se muestra en la Figura 25.
|
| ||
|
|
Los parámetros del ajuste a una ley de Zipf son 1,99 para el grado interno y 1,91 para el grado externo. Esto puede compararse con Brasil (1,9 y 1,9) [32], Grecia (2,0 y 1,6) [21] y España (1,8 y 1,3) [9]. En el caso de la Web global, una estimación de este parámetro para el grado interno es 2,34 [20].
Los 30 sitios más referenciados se muestran en la Tabla 7. Se cuentan todos los sitios distintos que apuntan a un sitio dado.
|
Los 30 sitios que tienen más enlaces a otros sitios se muestran en el Cuadro 7. Entre estos sitios no parece haber una mayoría absoluta de sitios de algún tipo en particular. Se encuentran directorios y servicios, así como sitios de instituciones educacionales y de sitios comunitarios. No faltan los sitios ya mencionados anteriormente de catálogos de productos y de remates.
|
Estudiamos los puntajes que presentamos en la Figura 18 y los sumamos por sitios Web, obteniendo una medida de calidad para sitio. El resultado se encuentra en la Figura 26. Una acotación importante es que las mejores páginas de la Web chilena se distribuyen en muchos más sitios (por ejemplo el 3% de páginas que tienen buen Puntaje Authority se distribuyen en cerca del 35% de los sitios). Además la distribución de PageRank sigue una ley de Zipf con parámetro 1,05.
|
|
| |||
|
|
|
En un grafo, se dice que una parte de él es una componente conexa si es posible ir desde cualquier nodo de esa parte a cualquier otro nodo dentro de la misma parte. Se dice que una componente del grafo es una componente fuertemente conexa si esto es posible respetando la dirección de los enlaces. Dentro de una parte fuertemente conexa es posible ir desde cualquier sitio a cualquier otro sitio siguiendo enlaces. No toda la Web de Chile es fuertemente conexa.
Estudiamos la distribución de los tamaños de las componentes fuertemente conexas en el grafo de sitios Web. Una componente fuertemente conexa gigante aparece, tal como fue observado por Broder y otros [17]. Esta es una señal típica de una red de libre escala. La distribución de los tamaños de las componentes fuertemente conexas se presenta en la Tabla 9.
En este cuadro consideramos en las componentes de tamaño 1 solamente los sitios que tienen al menos un enlace entrante o un enlace saliente. La componente fuertemente conexa gigante corresponde a un 14,03% de los nodos, lo que es muy similar a la Web de España (15,1%) [9] y Corea del Sur (15,1%) [10].
Al representar gráficamente los tamaños de las componentes se observa una ley de Zipf con parámetro 3,4, comparable con 3,84 en España [9], 2,6 en Corea del Sur [10], 4,20 de Grecia [21] y 2,81 de la Web global [20].
La componente fuertemente conexa gigante que aparece en la Tabla 9 puede ser usada como el punto de partida para distinguir ciertas componentes de la Web. Estas componentes fueron definidas por Broder y otros [17]:
En [4] extendimos esta notación distinguiendo en la parte MAIN las siguientes componentes:
La distribución de sitios Web en componentes se muestra en la Tabla 10. Nótese que los sitios Web en las componentes IN e ISLAS se encuentran sólo si se conoce a priori la dirección de la página principal de esos sitios, puesto que no son alcanzables siguiendo enlaces. Además, se describe el porcentaje sobre el total de los sitios, así como solamente sobre los sitios que tienen al menos un enlace entrante o un enlace saliente. Finalmente incluímos también la distribución del número de páginas en los sitios de cada componente.
|
La estructura de la Web como un grafo presenta una correlación importante con otras características de los sitios. Estudiamos la distribución de los sitios de una sola página, que se muestran en la Figura 29, en las distintas componentes. En la componente MAIN hay muy pocos sitios de una sola página, mientras que en la componente ISLAS se encuentra aproximadamente el 50% de dichos sitios.
 |
Otra característica que estudiamos es el dominio de primer nivel de residencia de los sitios de cada componente. El resultado se muestra en la Tabla 11.
|
Definimos el dominio de una página como un sufijo de su nombre de sitio Web, siguiendo la siguiente regla: si el sitio es de la forma www.A.cl o www.xxx.A.cl, entonces el dominio es A.cl. En total se encontraron 158.853 dominios distintos.
Realizamos una búsqueda DNS de la dirección IP de cada uno de los sitios estudiados, pudiendo contactar en ese momento al 66% de ellos. Los sitios que no se pudieron contactar con gran probabilidad ya no existen.
Agrupamos las direcciones IP por dominio, de manera de contar para cuántos dominios distintos se utilizaba la misma IP. La distribución del número de dominios por IP se muestra en la Figura 30.
En total hay cerca de 13.500 direcciones IP para todos los dominios. Esto significa que cada dirección tiene en promedio 12 sitios; sin embargo, la distribución es muy sesgada; existen 3 direcciones IP con más de 1.000 dominios distintos cada una, y 8.391 direcciones IP que sólo hospedan 1 dominio. El parámetro de ajuste de la ley de Zipf es 1,31.
Para cada dirección IP examinamos cuál es el software para servidor Web que se utiliza y cuál sistema operativo. Esto se realiza mediante un requerimiento HTTP HEAD que solicita solamente el encabezado de la página inicial de un sitio. Una respuesta típica tiene la siguiente forma:
HTTP/1.1 200 OK Server: Apache/1.3.33 (Debian GNU/Linux) PHP/4.3.10-9 mod_ssl/2.8...
En algunos casos -como en el ejemplo- la información es bastante completa, incluyendo el nombre del servidor (Apache), la versión (1.3.33), el sistema operativo (Linux) y las extensiones instaladas (PHP y ModSSL). La distribución del tipo de servidor y de sistema operativo se muestra en la Figura 38.
|
|
Los dos servidores dominantes son Apache y Microsoft IIS (Internet Information Server), con Apache doblando la participación de IIS. Sin embargo, un 39% de las IP's no entrega información sobre el servidor Web que está utilizando, por lo que no se puede decir con certeza que Apache tiene la mayor participación en el mercado. Conociendo la tendencia histórica de la Web chilena probablemente una parte considerable de los servidores no determinados sea Apache. En la Web mundial la proporción de servidores es 69% para Apache y 21% para IIS [33].
El mismo fenómeno ocurre con la información de sistema operativo: Unix/Linux tiene un 31% de participación versus un 20% de Windows, aunque en un 48% de los casos no se entrega información sobre el sistema operativo, por lo que no se puede determinar claramente cuál tiene mayor presencia. Si los casos no determinados se distribuyeran proporcionalmente de acuerdo a los casos conocidos, Windows habría disminuido la brecha con los sistemas operativos de código abierto. No es así en todos los países: en España se invierten los papeles, la presencia de Windows alcanza el 43%, y la de Unix/Linux es de 41% [9].
En promedio encontramos 1,08 sitios por dominio. Existen 155.784 dominios con solamente un sitio, aunque varios dominios superan con creces el promedio. La distribución del número de sitios para cada uno de los 10.000 dominios más grandes se muestra en la Figura 32.
Los 30 dominios con más sitios que encontramos se muestran en la Tabla 12. Algunos dominios fueron imposibles de contactar nuevamente, y se marcan como "Imposible conectar".
|
Hay un promedio de 47 páginas por dominio. La distribución del número de páginas por dominio es muy sesgada, y sigue una ley de potencias con parámetro 1,67 en su parte central, comparable con el parámetro 1,18 en la Web de España [9]. La Figura 33 muestra la distribución de esta variable, muy similar a la de páginas por sitio que se muestra en la Figura 20.
Hay 34.810 dominios con una única página Web, lo que representa un 21% de los dominios, prácticamente la misma proporción respecto a los sitios (21,4%). Este comportamiento es totalmente distinto al que presenta la Web Española, donde la proporción de dominios de una sola página es mucho menor.
El tamaño promedio de un dominio Web completo es de aproximadamente 328 KiB. La distribución del tamaño total de páginas por dominios se muestra en la Figura 34, y sigue una ley de potencias con parámetro 1,28.
Los dominios con mayor cantidad de texto se muestran en la Tabla 13. Una gran mayoría corresponde a sitios de cadenas comerciales o de remates, Este comportamiento es similar al de la Web de Corea del Sur [10], mientras que en España [9] y Tailandia [37] los primeros lugares corresponden a sitios de instituciones educacionales o del gobierno.
|
A continuación analizamos la distribución de títulos distintos por dominio. Medimos la razón entre títulos distintos y páginas de un sitio; por ejemplo, si un sitio tiene 10 páginas y 4 títulos distintos, entonces el valor de este parámetro es 0,25. Esta distribución se aprecia en la Figura 35.
En general no observamos una correlación significativa entre estas dos variables: un sitio grande puede tener la misma proporción de títulos distintos que uno pequeño, por lo que este parámetro depende más de la calidad de diseño y planteamiento de un sitio Web que de su magnitud. Sin embargo, la densidad es mayor en la parte inferior del gráfico, lo que indica que es algo más difícil en los dominios grandes tener varios títulos distintos para sus páginas.
A continuación medimos el número de enlaces entre dominios, con el propósito de obtener una representación gráfica de las relaciones entre ellos. En la Figura 36 hemos incluído los 50 dominios que más se relacionan mediante enlaces en la Web Chilena. Los dominios se dividen en tres grupos: comercial (rectángulos), educacional (elipses) y gobierno (rombos), y una línea más oscura significa un mayor número de enlaces.
Utilizamos el programa neato del parquete graphviz [25], que mediante un modelo de resortes y un algoritmo iterativo encuentra una configuración de baja energía para el grafo. La entrada al programa es un largo mínimo para cada arco, en nuestro caso inversamente proporcional al número de enlaces, y el número de enlaces de cada arco.
El dominio de los sitios comerciales ha desplazado la presencia de sitios de gobierno y educacionales, por lo que es virtualmente imposible apreciar la agrupación entre dominios del mismo tipo que se observó el año 2004 [5] y que se observa en la Web Española [9]; no obstante, algunos sitios, especialmente universitarios, han logrado permanecer unidos.
En la Tabla 14 listamos los 30 dominios que tienen mayor cantidad de enlaces desde otros dominios. Cuando hablamos de dominios y no de sitios sí aparecen dominios educacionales y de gobierno, haciendo más uniforme la distribución, a pesar de que el primer lugar lo tenga un sitio comercial. También aparecen medios de comunicación y sitios gubernamentales de ciencia y cultura.
|
Nuestra colección de páginas incluye servidores que están en territorio chileno pero que no necesariamente corresponden al dominio .cl. La Tabla 15 muestra como se distribuyen los dominios de primer nivel de la Web de Chile.
Se aprecia que en Chile el dominio más valorado es el dominio de primer nivel nacional, con casi la totalidad de los sitios. Es probable que existan otros sitios con dominios genéricos o extranjeros que se encuentren en la red chilena pero de los cuales no se tiene conocimiento pues no tienen un dominio .cl adicional o no reciben enlaces desde otros sitios de la Web nacional.
Encontramos más de 90.000.000 de enlaces hacia páginas o documentos fuera de Chile. Los 30 dominios más referenciados se muestran en la Tabla 16, donde se indica el ranking dentro de la Web chilena, el ranking de uso de ese dominio en la Web global [1], el nombre del dominio y el porcentaje de los enlaces que le corresponde dentro del total.
La Figura 37 muestra la distribución de los enlaces a estos dominios. Se observa una ley de potencias con parámetro 4,15 en su parte central, aunque los dominios más importantes en términos de enlaces se alejan de la estimación. Esta distribución está mucho más sesgada que en la Web Española, que tiene parámetro 1,80 y donde el dominio .com recibe solamente un 50% de los enlaces [9]. Nótese que el gráfico continúa más allá de los 200 o 300 dominios válidos por la presencia de errores tipográficos en los nombres de dominio, como .con y .orq.
 |
Los enlaces tienen destinos heterogéneos, al contrario de lo que podría pensarse, pues sólo 8 países de la lista son de habla hispana. Algunos dominios tienen una posición similar a la del ranking de uso de estos dominios en la Web global, como .com, .net, .de, .br y .ec [1]. El resto de los dominios presenta diferencias en su ranking, siendo la más considerable la del dominio de las Islas Tokelau (.tk). 7
|
Utilizamos datos de intercambio comercial con el exterior de Aduana de Chile [23], y los comparamos con el número de enlaces encontrados. Los resultados se muestran en la Figura 39(a) para las importaciones y en la Figura 39(b) para las exportaciones. Hay una relación significativa entre el número de enlaces y el volumen de intercambio comercial, y las desviaciones más significativas de esta regla se aprecian en los países asiáticos, que posiblemente debido a una barrera de lenguaje están más conectados con nosotros en términos de intercambio comercial que en la Web. Esta relación se ha estudiado con mayor profundidad en [6].
|
|
|
|
Al realizar este Estudio hemos tomado una fotografía de la Web Chilena durante el mes de Agosto de 2006. Esto es similar a lo que hace un astrónomo cuando observa las estrellas en el Universo [2]: lo que ve es la luz que viajó desde las estrellas, que en ese momento ya pudieron dejar de existir, del mismo modo en que ya no existen algunos de los sitios que se mostraron relevantes ante algún indicador, como el tamaño en documentos o en bytes de los sitios.
Se puede decir que las evoluciones más notables de la Web chilena se refieren a su número de páginas, que se duplicó en un período de dos años desde el 2004; o al número de sitios, que se triplicó. Esta explosión ha incidido en la calidad de los sitios: el bajo porcentaje de páginas de calidad, en términos de enlaces, hace dos años se repartía en más de la mitad de los sitios, mientras que el 2006 se repartió sólo en poco más de un tercio de ellos.
De todas las páginas existentes en la Web chilena, un 25% de ellas fue creada o modificada durante el período 2005-2006. A pesar de ello, es necesario considerar que la mayoría de los usuarios no va muy profundo dentro de los sitios Web; esto significa que hay miles o millones de páginas que son visitadas muy raras vez o casi nunca. De hecho existe una fracción no despreciable de páginas que no han sido modificadas en los últimos 8 años.
No deja de sorprender lo arraigado que está el dominio nacional y la aparente ausencia de spam en la Web chilena; sí tienen presencia sitios que replican contenido entre sí y generan automáticamente miles de páginas con el mismo contenido. A pesar de ello la presencia de sitios de universidades y otras entidades educacionales, como de sitios del gobierno y de medios de comunicación siguen teniendo una presencia importante en términos cuantitativos y cualitativos: los sitios más referenciados prácticamente se repiten.
Un estudio de la Web como el que hemos presentado tiene varias y distintas aplicaciones. La más directa tiene que ver con el desarrollo de mejores sistemas de búsqueda y de estructuras de datos especiales para la Web. Por ejemplo, la presencia de los nuevos CMS más enfocados a los usuarios han puesto algunas barreras a la labor de los recolectores e indizadores: tales sistemas buscan no sólo brindar una mejor experiencia a los usuarios, sino que mejorar sus posiciones en los resultados de búsqueda (fomentando el uso semánticamente correcto de las etiquetas HTML y re-escribiendo las URLs con las palabras clave y títulos de los documentos), pero entorpecen el recorrido de la Web ya que algunas de esas prácticas sesgan las estadísticas.
Otro fin de este informe es mostrar la heterogeneidad de la Web, por un lado positiva debido a su diversidad; por otro, negativa, debido a su poca calidad, por la presencia de numerosos sitios aislados, con poco contenido y pocas referencias.
Es posible observar que esta muestra presenta propiedades estadísticas muy similares a los de otras muestras, lo que indica que puede ser usada en estudios que sean al menos parcialmente extrapolables a la realidad de la red global.
Rodrigo Scheihing realizó la operación del recolector durante el proceso de descarga de páginas.
El siguiente glosario incluye términos básicos de Internet en general y de la Web en particular que son usados en este documento:
This document was generated using the LaTeX2HTML translator Version 2002-2-1 (1.71)
Copyright © 1993, 1994, 1995, 1996,
Nikos Drakos,
Computer Based Learning Unit, University of Leeds.
Copyright © 1997, 1998, 1999,
Ross Moore,
Mathematics Department, Macquarie University, Sydney.
The command line arguments were:
latex2html -split 0 -notop_navigation -nobottom_navigation estudioweb.tex
The translation was initiated by Eduardo on 2007-03-17
