Le match GPS 2014

Tout cela a commencé avec des questions récurrentes sur la précision des différents capteurs GPS qu’on me pose au fil des tests des différentes montres ou compteurs sur ce blog. Afin de pouvoir répondre avec de vraies données, je me suis dit qu’il me fallait un moyen de comparer à peu près objectivement différentes montres GPS pour en évaluer la précision. Mais je ne savais pas vraiment quelle méthodologie utiliser pour faire un test qui ressemble à quelque chose d’à-peu-près objectif…

Comment comparer les montre/compteurs ?

Et puis un jour, je passe à pied devant une petite cour dont une entreprise venait de terminer le revêtement et un des ouvrier mesurait la surface avec une roue, probablement pour la facturation. Immédiatement, je sais que c’est ce qu’il me faut pour mon test: un odomètre. Le weekend suivant, je me rend dans un magasin de bricolage, et j’achète une de ces roues. En même temps, je prend un tube de mousse pour isoler les tuyaux: autour du manche de mon odomètre, je pourrais y fixer les montres à tester. L’ensemble une fois monté ressemble à ceci:

Le protocole de test

Lors du test, la batterie de chaque appareil est chargée à au moins 75%. Le firmware des différents appareils est mis à jour avant le premier test, si nécessaire. Enfin, l’odomètre a été mesuré sur une piste d’athlétisme, il est parfaitement calibré.

Lors de chaque test, j’installe les montres sur l’odomètre, à un emplacement aléatoire. L’emplacement des compteurs Edge ne change pas puisque je ne démonte pas les supports entre chaque test. Je met en route chacune des montres ou compteurs, et je les laisse acquérir un signal GPS. Dès que tous les appareils ont annoncé avoir acquis leur signal, j’attends encore 3 minutes avant de démarrer le test…

En effet, il faut savoir que le temps d’acquisition des satellites GPS est un point très sensible sur les montres de sport aujourd’hui, et beaucoup d’utilisateurs comparent les performances de fix GPS des différents modèles ou constructeurs. Hors, le fix GPS n’est pas une donnée binaire, car progressivement, l’appareil va se synchroniser avec des satellites, les uns après les autres. Après trois satellites, l’appareil peut se positionner en 2D, mais de manière peu précise. A partir de 4, il peut se positionner en 3D. Ensuite, chaque satellite supplémentaire augmente la précision. On ne parle même pas ici de correction via des systèmes annexes comme WAAS ou DGPS ou encore de double système Glonass. Chaque montre utilise au moins l’un de ces systèmes pour augmenter la précision du GPS. Tout ceci prend du temps, alors certains fabricants n’hésitent pas à programmer leurs appareils pour qu’ils annoncent avoir un signal GPS fonctionnel, alors qu’il est encore très imprécis. La montre essayera de corriger logiciellement le positionnement de la première partie de l’activité avec les données plus précises disponibles ensuite. Ceci afin que l’utilisateur n’attende pas trop longtemps le premier fix, comme c’était le cas sur les modèles plus anciens.

Ensuite, je démarre l’enregistrement sur chacun des appareils puis je promène ma collection de montres sur les chemins, en mesurant précisément la distance parcourue.

Je procède alors en 4 tests, dont voici le détail:

• Premier test: un aller-retour de 4 km sur une route dans le Jura. La première partie est à ciel ouvert, la seconde partie est un peu plus boisée. Le dénivelé assez important.
• Second test: pas loin de chez moi, un aller-retour de 1.9km sur une route quasiment plate, en pleins champs, avec une vue sur le ciel complètement dégagée.
• Troisième test: une boucle de 2.6km en grande partie en forêt, avec un peu de dénivelé.
• Quatrième test: il ne concerne que les montres qui supportent un mode GPS « économique » en batterie (UltraTrac chez Garmin, mode « eco » chez Polar).

Après, je télécharge simplement les enregistrements des différentes montres sur le site du constructeur, et je consigne la distance mesurée ainsi que le dénivelé. Notons que le dénivelé des montres Garmin qui ne possèdent pas d’altimètre barométrique est recalculé sur la base de la cartographie choisie, et donc n’indique pas directement la mesure de la montre. C’est le cas pour les Forerunner 620 et Forerunner 610.

Les montres et compteurs évalués dans ce test

Durant ce test, la précision des montres et compteurs suivants a été testée sur les trois premiers tests (lorsqu’un test de fond en comble a été réalisé sur le blog, le nom de l’appareil pointe vers le test):

• Garmin Edge 500: le compteur vélo que l’on ne présente plus. Sur les cartes, la trace est en turquoise.
• Garmin Edge 810: le compteur vélo de Garmin sorti il y a deux ans avec la navigation sur cartes. Sur les cartes, la trace est en violet.
• Garmin Forerunner 610: adoptée par de nombreux coureurs à pied. Sur les cartes, la trace est en blanc.
• Garmin Forerunner 910XT: la montre de triathlon. Sur les cartes, la trace est en jaune.
• Garmin Forerunner 620: montre de course à pied dernière génération de Garmin. Sur les cartes, la trace est en vert.
• Garmin fénix 2: cette montre outdoor / multisport sortie début de l’année, tant décriée dans les premières versions de firmware pour l’imprécision de son GPS. Sur les cartes, la trace est en noir.
• Garmin Forerunner 920XT: la toute nouvelle montre de triathlon de Garmin. Sur les cartes, la trace est en bleu.
• Polar V800: la montre star de Polar, orientée triathlon. Sur les cartes, la trace de cette montre est en noir.
• Polar RC3 GPS: la première montre de Polar qui intégrait un capteur GPS. Sur les cartes, la trace est en rouge.

Les tests

Le premier test: une petite route en montagne, aller-retour de 4km

Voici les résultats mesurés:

	Distance (km)	Erreur GPS	D+ (m)
Mesure réelle	4
GarminEdge 500	3.69	7.75%	137
Garmin Edge 810	3.74	6.50%	135
Garmin Forerunner 610	3.94	1.50%	139
Garmin Forerunner 620	3.97	0.75%	138
Garmin Forerunner 910XT	4.03	0.75%	137
Garmin Forerunner 920XT	3.94	1.50%	135
Garmin fénix 2	4.03	0.75%	122
Polar RC3 GPS	4.01	0.25%	160
Polar V800	3.98	0.50%	135
Moyenne	3.93	2.25	137.56

L’intégralité des traces du test 1 peuvent être vues sur un fond de carte OpenStreetMap en suivant ce lien.

Les deux compteurs Edge (le 500 en turquoise et le 810 en violet) ne sont pas en forme sur ce test avec des valeurs complètement à côté de la plaque. En terme d’altitude, on remarque que toutes les montre se valent à l’exception de la fénix 2, qui pourtant est munie d’un altimètre barométrique…

Le second test: route en rase campagne, aller-retour de 1.9km

Voici les résultats mesurés:

	Distance (km)	Erreur GPS	D+ (m)
Mesure réelle	1.9
GarminEdge 500	1.89	0.50%	9
Garmin Edge 810	1.9	0.00%	6
Garmin Forerunner 610	1.9	0.00%	7
Garmin Forerunner 620	1.89	0.50%	6
Garmin Forerunner 910XT	1.9	0.00%	6
Garmin Forerunner 920XT	1.89	0.50%	5
Garmin fénix 2	1.89	0.50%	8
Polar RC3 GPS	1.91	0.50%	20
Polar V800	1.9	0.00%	0

L’intégralité des traces du test 2 peuvent être vues sur un fond de carte OpenStreetMap en suivant ce lien. Pas de surprises: le test est ici mené dans les conditions idéales pour de la réception GPS. Le ciel est complètement dégagé sur 360° pendant quasiment toute la durée du test. La précision est donc totale pour l’ensemble du panel.

Le troisième test: boucle de 2.6km sur des chemins forestiers

Voici les résultats mesurés:

	Distance (km)	Erreur GPS	D+ (m)
Mesure réelle	2.6
GarminEdge 500	2.55	1.90%	79
Garmin Edge 810	2.55	1.90%	83
Garmin Forerunner 610	2.56	1.50%	89
Garmin Forerunner 620	2.57	1.10%	90
Garmin Forerunner 910XT	2.54	2.30%	80
Garmin Forerunner 920XT	2.56	1.50%	85
Garmin fénix 2	2.59	0.40%	77
Polar RC3 GPS	2.6	0.00%	90
Polar V800	2.57	1.10%	70

L’intégralité des traces du test 3 peuvent être vues sur un fond de carte OpenStreetMap en suivant ce lien.

Dans ce troisième test, c’est la Garmin 910XT qui était un peu à la peine. On constate que malgré une majorité de parcours en sous-bois, la précision est très bonne pour quasiment l’ensemble du panel: excepté la 910XT, tous les autres appareils ont une précision supérieure à 2%.

Cumul des 3 tests et classement

Après cumul des données des 3 tests pour le GPS, nous obtenons:

	Distance (km)	Précision GPS	D+ (m)
Référence	8.5
Garmin fénix 2	8.51	0.11%	207
Polar RC3 GPS	8.52	0.23%	270
Garmin Forerunner 910XT	8.47	0.36%	223
Garmin Forerunner 620	8.43	0.83%	234
Garmin Forerunner 610	8.4	1.18%	235
Polar V800	8.4	1.18%	205
Garmin Forerunner 920XT	8.39	1.3%	225
Garmin Edge 810	8.19	3.65%	224
Garmin Edge 500	8.13	4.36%	225

On me demandera probablement pourquoi des montres comme la V800 ou la 920XT qui viennent de sortir sont moins bien classées que des montres plus anciennes comme la RC3 GPS ou la 910XT. On me demandera aussi pourquoi toutes ces critiques envers la fénix 2 alors qu’elle termine en tête de ce test… Je répondrais que ce que je vois dans ce tableaux, c’est que les deux compteurs Edge mis à part, toutes les montres affichent une marge d’erreur de moins de 2%, et qu’il est probable que si l’on mène d’autres tests, l’ordre peut changer légèrement. Enfin on notera quand même les efforts de Garmin sur le firmware de la fénix 2, car il est clair qu’au lancement de la montre, elle n’était clairement pas à ce niveau de précision!

Ce qui est plus intéressant pas contre, c’est la mesure d’altitude. Malheureusement, je n’ai pas de référentiel précis pour mes segments de tests, mais on constate que la plupart des montres qui sont munies d’un altimètre barométrique (chiffres en gras) affichent à 3 mètres près la même donnée excepté la Polar V800 et la Garmin fénix 2, qui donnent des chiffres complètement à côté. A lire les retours utilisateurs sur ces deux montres, je ne suis qu’à moitié surpris. En l’état actuel des choses, il semble que l’on puisse difficilement se fier aux données d’altitude de ces montres.

Notons à propos de cette remarque que ces tests ont été effectués avant la mise à disposition par Polar du firmware 1.2 de la V800 qui annonce améliorer la précision de la mesure d’altitude. Comme ça, tout est dit!

Mais un tel niveau de précision est lié à quelques biais dans ma méthodologie de test:

1. Les montres étaient toujours orientées vers le haut, rendant inévitablement la mesure plus précises que lorsqu’elle est portée au poignet.
2. Les trois tests ont été effectués à la vitesse de la marche et non de la course. Ce qui augmente le nombre de points GPS effectués sur une même distance par rapport à un segment couru à 15km/h. Cela augmente donc la précision également par rapport à une utilisation en course à pied standard.

Le dernier test: le mode éco GPS

Dans le panel des appareils testés, les modèles suivants supportent un mode GPS qui permet de faire une mesure moins précise, mais qui en contrepartie utilise moins de batterie. Les montres testées dans ce mode sont:

• Garmin fénix 2 (orange)
• Garmin Forerunner 920XT (bleu)
• Polar V800 (noir)

Pour ce test, j’ai mis ces montres côte à côte sur un prolongateur de tri, avec en plus la 910XT qui assurait la fonction de référentiel de distance. Ensuite, j’ai promené les montres sur 2.6km à travers le village de Cugy.

Voici les résultats mesurés:

	Distance	Erreur GPS	D+
Garmin Forerunner 910XT	2.6		35
Garmin Forerunner 920XT	1.38	46.90%	38
Garmin fénix 2	2.65	1.90%	40
Polar V800	2.5	3.80%	35

L’intégralité des traces du test 2 peuvent être vues sur un fond de carte OpenStreetMap en suivant ce lien.

Après le premier test, j’en ai effectué un autre car je pensais à un problème isolé pour la 920XT. Mais le résultat était similaire, la distance est totalement inexploitable… Pour l’instant en tout cas. On retrouve également dans ce test la Garmin Fénix 2 en tête.

Dans ce mode, la fénix 2 et la V800 semblent être utilisable, bien que la trace devienne très approximative.

Conclusion

C’est une première expérience, qui en verra d’autres. Il faut que j’adapte mon protocole de test pour qu’il colle plus aux réalités du terrain, de ce qu’un utilisateur de ces montres mesure vraiment. Mais il m’a appris des choses, sur la précision générale des appareils que nous utilisons, et sur les points forts ou points faibles de certains d’entre eux.

Je pense réaliser ce test une fois par année avec les montres et compteurs dont je dispose à ce moment. Mais pour sûr, je vais revoir le protocole de test!

Merci pour la lecture, et si vous avez des idées, n’hésitez pas à les partager!