Réseau mobile : Free dernier aux tests de RootMetrics

Le résultat ne va pas plaire à Free. La filiale d'Iliad est systématiquement classée dernière des quatre opérateurs dans les tests de réseau mobile réalisé par RootMetrics, une société américaine fondée en 2008 et spécialisée dans la mesure de qualité des réseaux mobiles. Après le Royaume-Uni et l'Espagne, RootMetrics poursuit sa conquête du marché européen avec la France et prochainement la Suède et l'Irlande. Elle a été rachetée par IHS en avril 2015.

Pour séduire les clients français, l'entreprise a réalisé près de 40?000 tests (dont 63 en intérieur) sur Paris, Lyon et Marseille entre le 11 novembre et le 2 décembre 2015. Il en ressort que, selon le RootScore, une note de 0 à 100 pondérée entre les différents services mesurés, Orange s'inscrit comme l'opérateur offrant le meilleur réseau avec une moyenne de 92,5. D'une courte tête devant les 92,4 de Bouygues Telecom. SFR n'est pas loin avec 90,7. Des scores si proches que, en regard des marges d'erreur, RootMetrics classe les trois acteurs sur un même pied d'égalité à la première place. En revanche, les 72 points accordés à Free ne laissent aucun doute sur la différence de qualité des services qui le sépare du trio, selon l'analyste.

Orange plus performant à Paris qu'à Madrid

Si l'opérateur historique excelle à Paris et Marseille (sauf sur le service des SMS avec un léger retrait sur Bouygues Telecom et SFR), il partage sa première place, voire la cède à Bouygues Telecom sur quelques services à Lyon. A Paris, Orange se paie en revanche le luxe d'offrir le réseau le plus rapide (avec 29,7 Mbit/s en moyenne) entre Madrid (28,3 Mbit/s également chez Orange), Londres (23,7 Mbit/s chez EE) et New York (20,8 Mbit/s chez Verizon). Cocorico.

Une telle performance attribuée à l'ancien monopole des télécoms pourrait jeter le discrédit sur l'indépendance de RootMetrics. « Les fondateurs ont créé la société parce qu'il n'existait aucun moyen pour les consommateurs de savoir quel opérateur offrait le meilleur service aux Etats-Unis. Alors, aujourd'hui nous testons les réseaux mobiles avec une méthodologie la plus proche possible de l'expérience utilisateur », raconte Scott Stonham, directeur général pour l'Europe basé à Londres. Il reconnaît néanmoins qu'il est difficile de prouver l'indépendance de la société autrement qu'en faisant preuve d'ouverture, notamment auprès de la presse, ou encore des analystes.

Des mesures proches des usages

Pour coller à la réalité des usages, RootMetrics se met dans la peau du client. Il effectue ses mesures à partir de téléphones directement achetés chez les opérateurs et lance des batteries de tests simultanément sur les quatre réseaux (en France) pour estimer la vitesse de téléchargement, la navigation web, la fiabilité de la liaison, les appels et messages textes de chacun. L'analyste prend également le soin d'intervertir les cartes SIM entre les téléphones afin de pondérer les résultats avantagés par l'interface radio propre au réseau de l'opérateur. Les tests sont menés sur des zones les plus peuplées (celles constituées de plus de 300 personnes par km²) et sélectionnée par un mode aléatoire qui oblige ainsi à changer de zones d'études à chaque séances de mesures. « Le meilleur moyen d'obtenir une représentativité de la population d'utilisateurs la plus fidèle possible », selon Scott Stonham. Les tests sont doublés par une autre série de téléphones et répétés plus ou moins longtemps selon la densité de population. Les résultats sont enfin modélisés selon des modèles mathématiques développés en interne. « La plupart de nos 150 salariés (dont une cinquantaine en Europe, NDLR) sont des statisticiens et des mathématiciens », assure notre interlocuteur. Quant aux agents de terrain, « il en faut moins que vous ne l'imaginez ». A titre d'exemple, Paris a été mesuré par deux personnes pendant 6 jours.

RootMetrics appuie son modèle économique sur la vente de ses résultats aux opérateurs essentiellement. Lesquels peuvent alors les exploiter à des fins publicitaires. « Mais seulement lorsqu'ils reçoivent une récompense et avec notre approbation, présice-t-il. Et nous émettons plus de refus que d'approbations. Car nous voulons être vus comme fiables et pertinents par les consommateurs finaux, plus encore que par les opérateurs. » D'autres profils d'entreprises peuvent également s'intéresser aux travaux du fournisseur. C'est par exemple le cas de Google, MVNO aux Etats-Unis qui s'appuie sur les opérateurs Sprint et Verizon, de Softbank, opérateur au Japon mais aussi une banque qui vérifie ainsi la pertinence de ses investissements dans des opérateurs américains, le distributeur mobile Carphone House en Grande-Bretagne pour conseiller ses propres clients, ou encore le câblo-opérateur américain Comcast en prévision de futures potentielles décisions partenariales.

Des résultats pour améliorer le réseau

L'Arcep (Autorité de régulation des communications électroniques et des postes), qui publie également ses propres mesures de terrain en direction des utilisateurs finaux, pourrait aussi s'intéresser aux travaux et méthodes de RootMetrics. S'il échange régulièrement avec l'Ofcom, le régulateur britannique, Scott Stonham reconnaît qu'il n'a pas encore pris contact avec l'Autorité en France. Et préfère laisser l'initiative aux régulateurs. Pour lui, « comparer les différences de nos résultats respectifs permet de repérer les points où il faut concentrer nos efforts ». Sans pour autant remettre en question la méthodologie maison.

Au-delà de l'opération publicitaire, les opérateurs peuvent s'appuyer sur les mesures de RootMetrics pour chercher à améliorer leur réseau. « Je l'ai vu souvent depuis que j'ai rejoint l'entreprise il y a trois ans, assure Scott Stonham. Souvent, c'est le dernier du classement, le plus mécontent, qui va s'attacher à progresser. Même si c'est lui qui va contester le plus fortement nos résultats dans un premier temps. J'ai reçu pas mal de coup de téléphone de dirigeants et responsables techniques mécontents. Mais l'opérateur qui sent qu'il peut faire mieux manipule sa contestation publique avec prudence. » Autrement dit, la réaction de l'opérateur reflèterait ses capacités à pouvoir améliorer, ou pas, son réseau. Il sera alors intéressant de voir la réaction de Free.

Lire également
Qualité des réseaux mobiles : Orange en tête, SFR et Bouygues ex aequo, Free en queue

crédit photo : dennizn / Shutterstock.com