8. Méthodologie
La méthode retenue dans la démarche est basée sur une technologie innovante de traceurs d’événements développée par ip-label.newtest : elle collecte directement au plus près de l’utilisateur le temps de chargement de sa page web et les conditions d’environnements dans lesquelles il se plaçait lors de cette visite. La performance représente donc l’image fidèle du temps de d’attente de l’internaute pour charger cette page.
Techniquement la technologie de mesure de la performance est inscrite directement dans le contenu des pages. Ainsi, chaque navigation déclenche deux évènements (début chrono, fin chrono), permettant de mesurer précisément le temps de chargement des pages et de recueillir les informations techniques du poste client (USER-AGENT). Cette technologie est totalement non intrusive et s’apparente aux technologies de mesure d’audiences.
Le chronomètre est (pour une même page), toujours déclenché au même moment (début et fin). Ainsi, les données sont comparables.
Le système d’analyse permet ainsi de travailler sur différentes dimensions :
A) Configuration utilisateur :
- Type de terminal (PC, console, mobile…)
- Système d’exploitation (Windows, Linux, Mac OS…),
- Version du système d’exploitation (XP, Seven, Tiger…)
- Type de navigateur internet (Internet Explorer, Firefox, Safari…),
- Version du navigateur,
- Langue du système.
B) Réseau opérateur de provenance (FAI)
C) Localisation géographique (Pays, Région, Ville),
D) Calendrier,
E) Page visitée du site
Cette infrastructure technique basée sur le trafic réel permet d'intégrer à la mesure, "de bout en bout", l’ensemble des maillons de la chaîne de l’Internet : terminal utilisé, navigateurs, OS, Opérateurs, réseaux d’accès, localisations géographiques jusqu’au site web de référence.
Les mesures ainsi effectuées rendent compte au plus près de la qualité d’expérience telle qu'elle est vécue par l’utilisateur final.
COUVERTURE FONCTIONNELLE
La technologie de mesure a été entièrement développée par ip-label.newtest. Elle permet une couverture fonctionnelle permettant de tester les univers fonctionnels essentiels des sites web :
- HTTP 1.0 et 1.1
- Navigation et téléchargement de pages web
- Dénombrement des visites
- Temps de chargement des pages
- Analyse et détermination des contextes d’usages
ECHANTILLONS
Sur le mois de Septembre, 15 millions des mesures ont été prélevées et analysées pour effectuer les synthèses des tableaux de Best Of Media.
Dans certains cas, l’étude et la mise en place de filtre empirique peuvent réduire la base d’échantillons analysés, mais nous nous sommes attachés à avoir toujours, pour chaque ligne du tableau, un niveau de contexte d’au moins 500 enregistrements pour faire entrer le contexte dans le tableau de synthèse.
INDICATEURS MESURES
Les indicateurs découlant de ces analyses sont principalement :
- La moyenne du temps de chargement des pages web
- Le nombre de visites dans l’environnement considéré
SYSTEME 360 OBSERVER
Le système 360 Observer est un système expert de mesure de la qualité d’expérience des applications web. Il est constitué d’un réseau de collecteurs automatiques de mesures répartis sur le territoire de la France métropolitaine, et remonte en continu vers un centre de collecte et d'analyse de données les temps de chargement de pages d’un site web de référence.
Ce site, choisi pour sa popularité et son audience, génère un grand nombre de visites mensuelles. Cette base d’échantillons permet l’étude de performance de la qualité des différents contextes d’accès des internautes.
Les dimensions d’analyses suivantes sont disponibles :
- Dimension temps (Jours, Semaine, Mois)
- Dimensions Environnements Techniques (OS et Navigateurs)
- Dimensions de Type de plate-forme (PC individuels, Mobiles, consoles…)
- Dimensions de réseaux d’accès (Providers, ISP, FAI, etc…)
- Dimensions de localisation géographique (Pays, Région, Département, Ville…)
Ainsi le système opère en continu et génère plus de 800 000 enregistrements de mesures par jour.
Conçu pour la mesure de la qualité de service Internet, le système 360 Observer s’appuie sur le savoir-faire, l’indépendance et la rigueur d’ip-label.newtest.
La fiabilité des informations fournies repose sur :
- l’indépendance des mesures produites : le système est entièrement administré et exploité par ip-label newtest ;
- la quantité et la répartition des mesures effectuées : le système s’assure que le nombre de tests réalisés est en accord avec les objectifs de précisions statistiques ;
- une couverture fonctionnelle exhaustive ;
- une couverture géographique inégalée en France.
On doit vous la faire tous les mois, mais regrouper les différentes versions des mêmes navigateurs, c'est pas très représentatif!
Mouais bizzare quand meme les mesures :
Internet Explorer plus rapide qu'Opera
Icewe bcp plus lent que Firefox alors que c'est la meme chose
La région Limousin classé comme rapide alors que Limoges est lent...
Bref, je crois pas à la veracité de ces tests...
Jeff
Les navigateurs ne sont représentés que par leur dernière version en date.
J'ai bien du mal à y croire...
Mon PC principal sous XP est bien plus lent que mon pc sous Ubuntu (pour la réactivité des sites sous firefox). De plus je suis à Besançon où j'ai une connexion plutôt rapide par rapport à la moyenne (2 Mio/s en down) et je suis à plus d'un kilomètre (je suis chez Free). Bizarre
Encore une fois, comme nous l'expliquons chaque mois, un cas particulier ne fait pas le cas général. Les 30 millions de mesures effectuées par notre partenaire tous les mois, permettent justement de lisser ces cas là.
Encore une fois, on vous l'explique chaque mois, marquer ces informations sans tenir compte du matériel est purement ridicule, et n'est qu'une preuve de votre incompétence dans le domaine.
Il faut aussi dire que ces mesures ne sont pas à interpréter directement par "machin" est plus performant que "truc" .... un exemple tout bete : windows7 est très bien placé dans le classement simplement parce qu'il est essentiellement installé sur des machines dernier cri mais ca ne vet pas dire qu'il est plus rapide en lui meme que XP, Ubuntu ou autre.... De meme pour Ubuntu qui est souvent installé sur des machines bas de gamme ce qui fausse les résultats. Et l'on pourrait dire le meme genre de choses pour les navigateurs ou OS mobiles (iPhone OS seulement sur des iPhones qui sont plutôt performants, etc).
Donc bref, tout ca pour dire qu'il ne faut à mon avis pas interpréter ca comme une preuve de performance.
Cet utilisateur Mac de Perpignant je le prend quand il veut avec une connexion fibre et un navigateur en mode texte dans le genre lynx.
Les mesures de votre partenaires sont pour moi complètement fausses ...
Ce n'est pas parce qu'un navigateur ne peut pas être authentifier qu'il n'existe pas !
Je confirme ce que dit billdangerous.
Dans mon cas, j'ai ubuntu sur un vieux portable avec un celeron, difficile d'etre dans le top du classement.
Les distributions linux sont souvent installés sur des PC plus anciens.
Et quand a la rapidité de windows 7 et de mac 10.6, normal,quand on achete un ordi neuf, elles sont installés dessus.
A quand un VRAI test a partir de la meme connexion, en utilisant plusieurs combinaisons mac/pc + OS + navigateur ?
C'est quand même très étonnant de voir que vous jugez un test fait à partir d'une seule connexion plus pertinent qu'une étude réalisée sur 30 millions de mesures !
Pour JSZ, je vais prendre un exemple volontairement extrème.
Vous faites jouer une équipe de football de niveau international avec un maillot jaune contre une équipe d'amateur en maillot vert et tout cela, 30 millions de fois.
Si j'en arrive à la conclusion que parce que j'ai fait 30 millions de match et que l'équipe internationale a toujours gagné, le maillot jaune est plus performant que le maillot vert, ai je fait une analyse intelligente ?
Exemple volontairement extrème...
@JSZ : Il est vrai que vous vous appuyez sur les chiffres pour dire que vos informations sont valables.
Seulement "Généralement" comme dit plus haut, Ubuntu sera installé (par exemple dans le cas des OS) sur des machines plus anciennes...
Que ce soit sur 30 millions de test ou encore 500 millions, ce sera pareil, Ubuntu sera toujours (généralement) sur des machines moins performantes, c'est ce coté du test qui est réellement décevant...
La méthodologie de comparaison pour les OS et les navigateurs est fausse scientifiquement. Il faut toujours comparer à hardware égal, sinon le test n'a aucun sens !
Et comme toute chose non pertinente, il ne devrait pas être publié du tout, ou bien avec force de réserves...
Une réponse, M Jean-Sébastien Zanchi ??
@ JSZ Ce qu'on aimerai savoir c'est :
- Sur le meme OS meme machine quel est le navigateur le plus rapide ?
- Sur le meme ordi quel os est le plus rapide ?
- Avec la meme configuration machine + OS + navigateur, quelle est la connexion la plus rapide ?
Parce que la c'est un peu comme si, par exemple, que Robert Chombier portait des Nike, Ronaldinho des reebok, donc resultat du test Reebok est meilleur !!!
billdangerous : voici un exemple réellement ... exemplaire d'une incapacité chronique à comparer les choses.
Un meilleur exemple aurait été, faites une grosse battle royale avec 100 000 personnes toute catégorie de poids confondue, donnez leur des maillots de couleurs différentes selon leur poids, et faites les se battre ensemble.
Il est probable que les plus gros gagnent, mais pas tjr ...
Ou alors, Windows 7 demande plus de puissance qu'un ubuntu, certains l'ayant installé sans avoir une machine de guerre, et ça devrait ramer plus...
Moi j'ai un ubuntu sur une bonne machine, et je fais partie des échantillons. Arrétez de trouver des arguments qui ne vont que dans votre sens, l'incompétence a l'air contagieuse...
Si on sait lire ce test, on peut en sortir des choses intéressantes.
Tout s'explique, la bonne vitesse moyenne d'une région sans que la plus grosse ville soit au top s'explique par une bonne répartition générale des DSLAM... Intéressant aussi que ça ne soit que des villes de taille moyenne qui soient au top, ça montre bien la difficulté des grandes villes à bien s'équiper...
Critiquer pour critiquer, ça devient rédhibitoire par ici, et c'est décevant...
pour Angi21:
Tout est une question de proportions : combien ont installé Windows 7 sur une vielle machine ? Combien font tourner Ubuntu sur une machine récente ?
La réponse est : on ne sait pas ! Donc on ne publie pas, car ça ne veut rien dire.
Pour les fournisseurs et le reste je veux bien discuter 'stats' moyennes, mais ce que je critique, c'est le manque d'intelligence qui consiste à servir ça comme argent comptant, sans la moindre précaution !
J'ai juste mon bac (pas d'étude sup), mais je sais ce qu'est une méthodologie correcte : dans une comparaison scientifique, on ne modifie qu'un seul paramètre. Si tu ne la respecte pas, tu peux arriver à des âneries comme celle-là.
Critiquer pour critiquer : c'est dire "ce journaliste est nul".
Critiquer constructivement : c'est rappeler qu'il y a des gens qui lisent ça (et qui ne liront malheureusement pas les commentaires...) et qui n'ont pas le recul nécessaire -> moi ça me révolte de voir des bêtises devenir des croyances, juste parce qu'un site les a publiées sans réfléchir.
Les journalistes ont un devoir de neutralité et de vérité !
Ce qui est décevant, c'est de ne pas voir l'auteur répondre lui même aux critiques...
Quand je lis ça j'ai l'impression d'avoir totui se qu'il faut pour être lent (orange+opera+vista) ... et pourtant ce n'est aps vraiment le cas !
t0p0, l'auteur c'est moi et j'ai répondu déjà a beaucoup de critique. Ce mois-ci et les mois derniers déjà.