Focus

Le match GPS 2014

Tout cela a commencé avec des questions récurrentes sur la précision des différents capteurs GPS qu’on me pose au fil des tests des différentes montres ou compteurs sur ce blog. Afin de pouvoir répondre avec de vraies données, je me suis dit qu’il me fallait un moyen de comparer à peu près objectivement différentes montres GPS pour en évaluer la précision. Mais je ne savais pas vraiment quelle méthodologie utiliser pour faire un test qui ressemble à quelque chose d’à-peu-près objectif…

Comment comparer les montre/compteurs ?

Et puis un jour, je passe à pied devant une petite cour dont une entreprise venait de terminer le revêtement et un des ouvrier mesurait la surface avec une roue, probablement pour la facturation. Immédiatement, je sais que c’est ce qu’il me faut pour mon test: un odomètre. Le weekend suivant, je me rend dans un magasin de bricolage, et j’achète une de ces roues. En même temps, je prend un tube de mousse pour isoler les tuyaux: autour du manche de mon odomètre, je pourrais y fixer les montres à tester. L’ensemble une fois monté ressemble à ceci:

Match GPSLe protocole de test

Lors du test, la batterie de chaque appareil est chargée à au moins 75%. Le firmware des différents appareils est mis à jour avant le premier test, si nécessaire. Enfin, l’odomètre a été mesuré sur une piste d’athlétisme, il est parfaitement calibré.

Lors de chaque test, j’installe les montres sur l’odomètre, à un emplacement aléatoire. L’emplacement des compteurs Edge ne change pas puisque je ne démonte pas les supports entre chaque test. Je met en route chacune des montres ou compteurs, et je les laisse acquérir un signal GPS. Dès que tous les appareils ont annoncé avoir acquis leur signal, j’attends encore 3 minutes avant de démarrer le test…

En effet, il faut savoir que le temps d’acquisition des satellites GPS est un point très sensible sur les montres de sport aujourd’hui, et beaucoup d’utilisateurs comparent les performances de fix GPS des différents modèles ou constructeurs. Hors, le fix GPS n’est pas une donnée binaire, car progressivement, l’appareil va se synchroniser avec des satellites, les uns après les autres. Après trois satellites, l’appareil peut se positionner en 2D, mais de manière peu précise. A partir de 4, il peut se positionner en 3D. Ensuite, chaque satellite supplémentaire augmente la précision. On ne parle même pas ici de correction via des systèmes annexes comme WAAS ou DGPS ou encore de double système Glonass. Chaque montre utilise au moins l’un de ces systèmes pour augmenter la précision du GPS. Tout ceci prend du temps, alors certains fabricants n’hésitent pas à programmer leurs appareils pour qu’ils annoncent avoir un signal GPS fonctionnel, alors qu’il est encore très imprécis. La montre essayera de corriger logiciellement le positionnement de la première partie de l’activité avec les données plus précises disponibles ensuite. Ceci afin que l’utilisateur n’attende pas trop longtemps le premier fix, comme c’était le cas sur les modèles plus anciens.

Ensuite, je démarre l’enregistrement sur chacun des appareils puis je promène ma collection de montres sur les chemins, en mesurant précisément la distance parcourue.

rolling_gps_test_webJe procède alors en 4 tests, dont voici le détail:

  • Premier test: un aller-retour de 4 km sur une route dans le Jura. La première partie est à ciel ouvert, la seconde partie est un peu plus boisée. Le dénivelé assez important.
  • Second test: pas loin de chez moi, un aller-retour de 1.9km sur une route quasiment plate, en pleins champs, avec une vue sur le ciel complètement dégagée.
  • Troisième test: une boucle de 2.6km en grande partie en forêt, avec un peu de dénivelé.
  • Quatrième test: il ne concerne que les montres qui supportent un mode GPS « économique » en batterie (UltraTrac chez Garmin, mode « eco » chez Polar).

Match GPS

Après, je télécharge simplement les enregistrements des différentes montres sur le site du constructeur, et je consigne la distance mesurée ainsi que le dénivelé. Notons que le dénivelé des montres Garmin qui ne possèdent pas d’altimètre barométrique est recalculé sur la base de la cartographie choisie, et donc n’indique pas directement la mesure de la montre. C’est le cas pour les Forerunner 620 et Forerunner 610.

Les montres et compteurs évalués dans ce test

Durant ce test, la précision des montres et compteurs suivants a été testée sur les trois premiers tests (lorsqu’un test de fond en comble a été réalisé sur le blog, le nom de l’appareil pointe vers le test):

  • Garmin Edge 500: le compteur vélo que l’on ne présente plus. Sur les cartes, la trace est en turquoise.
  • Garmin Edge 810: le compteur vélo de Garmin sorti il y a deux ans avec la navigation sur cartes. Sur les cartes, la trace est en violet.
  • Garmin Forerunner 610: adoptée par de nombreux coureurs à pied. Sur les cartes, la trace est en blanc.
  • Garmin Forerunner 910XT: la montre de triathlon. Sur les cartes, la trace est en jaune.
  • Garmin Forerunner 620: montre de course à pied dernière génération de Garmin. Sur les cartes, la trace est en vert.
  • Garmin fénix 2: cette montre outdoor / multisport sortie début de l’année, tant décriée dans les premières versions de firmware pour l’imprécision de son GPS. Sur les cartes, la trace est en noir.
  • Garmin Forerunner 920XT: la toute nouvelle montre de triathlon de Garmin. Sur les cartes, la trace est en bleu.
  • Polar V800: la montre star de Polar, orientée triathlon. Sur les cartes, la trace de cette montre est en noir.
  • Polar RC3 GPS: la première montre de Polar qui intégrait un capteur GPS. Sur les cartes, la trace est en rouge.

Les tests

Le premier test: une petite route en montagne, aller-retour de 4km

Voici les résultats mesurés:

Distance (km)Erreur GPSD+ (m)
Mesure réelle4
GarminEdge 5003.697.75%137
Garmin Edge 8103.746.50%135
Garmin Forerunner 6103.941.50%139
Garmin Forerunner 6203.970.75%138
Garmin Forerunner 910XT4.030.75%137
Garmin Forerunner 920XT3.941.50%135
Garmin fénix 24.030.75%122
Polar RC3 GPS4.010.25%160
Polar V8003.980.50%135
Moyenne3.932.25137.56

test1Les deux compteurs Edge (le 500 en turquoise et le 810 en violet) ne sont pas en forme sur ce test avec des valeurs complètement à côté de la plaque. En terme d’altitude, on remarque que toutes les montre se valent à l’exception de la fénix 2, qui pourtant est munie d’un altimètre barométrique…

Le second test: route en rase campagne, aller-retour de 1.9km

Voici les résultats mesurés:

Distance (km)Erreur GPSD+ (m)
Mesure réelle1.9
GarminEdge 5001.890.50%9
Garmin Edge 8101.90.00%6
Garmin Forerunner 6101.90.00%7
Garmin Forerunner 6201.890.50%6
Garmin Forerunner 910XT1.90.00%6
Garmin Forerunner 920XT1.890.50%5
Garmin fénix 21.890.50%8
Polar RC3 GPS1.910.50%20
Polar V8001.90.00%0

test2Pas de surprises: le test est ici mené dans les conditions idéales pour de la réception GPS. Le ciel est complètement dégagé sur 360° pendant quasiment toute la durée du test. La précision est donc totale pour l’ensemble du panel.

Le troisième test: boucle de 2.6km sur des chemins forestiers

Voici les résultats mesurés:

Distance (km)Erreur GPSD+ (m)
Mesure réelle2.6
GarminEdge 5002.551.90%79
Garmin Edge 8102.551.90%83
Garmin Forerunner 6102.561.50%89
Garmin Forerunner 6202.571.10%90
Garmin Forerunner 910XT2.542.30%80
Garmin Forerunner 920XT2.561.50%85
Garmin fénix 22.590.40%77
Polar RC3 GPS2.60.00%90
Polar V8002.571.10%70

test3Dans ce troisième test, c’est la Garmin 910XT qui était un peu à la peine. On constate que malgré une majorité de parcours en sous-bois, la précision est très bonne pour quasiment l’ensemble du panel: excepté la 910XT, tous les autres appareils ont une précision supérieure à 2%.

Cumul des 3 tests et classement

Après cumul des données des 3 tests pour le GPS, nous obtenons:

Distance (km)Précision GPSD+ (m)
Référence8.5
Garmin fénix 28.510.11%207
Polar RC3 GPS8.520.23%270
Garmin Forerunner 910XT8.470.36%223
Garmin Forerunner 6208.430.83%234
Garmin Forerunner 6108.41.18%235
Polar V8008.41.18%205
Garmin Forerunner 920XT8.391.3%225
Garmin Edge 8108.193.65%224
Garmin Edge 5008.134.36%225

On me demandera probablement pourquoi des montres comme la V800 ou la 920XT qui viennent de sortir sont moins bien classées que des montres plus anciennes comme la RC3 GPS ou la 910XT. On me demandera aussi pourquoi toutes ces critiques envers la fénix 2 alors qu’elle termine en tête de ce test… Je répondrais que ce que je vois dans ce tableaux, c’est que les deux compteurs Edge mis à part, toutes les montres affichent une marge d’erreur de moins de 2%, et qu’il est probable que si l’on mène d’autres tests, l’ordre peut changer légèrement. Enfin on notera quand même les efforts de Garmin sur le firmware de la fénix 2, car il est clair qu’au lancement de la montre, elle n’était clairement pas à ce niveau de précision!

Ce qui est plus intéressant pas contre, c’est la mesure d’altitude. Malheureusement, je n’ai pas de référentiel précis pour mes segments de tests, mais on constate que la plupart des montres qui sont munies d’un altimètre barométrique (chiffres en gras) affichent à 3 mètres près la même donnée excepté la Polar V800 et la Garmin fénix 2, qui donnent des chiffres complètement à côté. A lire les retours utilisateurs sur ces deux montres, je ne suis qu’à moitié surpris. En l’état actuel des choses, il semble que l’on puisse difficilement se fier aux données d’altitude de ces montres.

Notons à propos de cette remarque que ces tests ont été effectués avant la mise à disposition par Polar du firmware 1.2 de la V800 qui annonce améliorer la précision de la mesure d’altitude. Comme ça, tout est dit!

Mais un tel niveau de précision est lié à quelques biais dans ma méthodologie de test:

  1. Les montres étaient toujours orientées vers le haut, rendant inévitablement la mesure plus précises que lorsqu’elle est portée au poignet.
  2. Les trois tests ont été effectués à la vitesse de la marche et non de la course. Ce qui augmente le nombre de points GPS effectués sur une même distance par rapport à un segment couru à 15km/h. Cela augmente donc la précision également par rapport à une utilisation en course à pied standard.

Le dernier test: le mode éco GPS

Dans le panel des appareils testés, les modèles suivants supportent un mode GPS qui permet de faire une mesure moins précise, mais qui en contrepartie utilise moins de batterie. Les montres testées dans ce mode sont:

  • Garmin fénix 2 (orange)
  • Garmin Forerunner 920XT (bleu)
  • Polar V800 (noir)

Pour ce test, j’ai mis ces montres côte à côte sur un prolongateur de tri, avec en plus la 910XT qui assurait la fonction de référentiel de distance. Ensuite, j’ai promené les montres sur 2.6km à travers le village de Cugy.

Match GPS 2014Voici les résultats mesurés:

DistanceErreur GPSD+
Garmin Forerunner 910XT2.635
Garmin Forerunner 920XT1.3846.90%38
Garmin fénix 22.651.90%40
Polar V8002.53.80%35

test4Après le premier test, j’en ai effectué un autre car je pensais à un problème isolé pour la 920XT. Mais le résultat était similaire, la distance est totalement inexploitable… Pour l’instant en tout cas. On retrouve également dans ce test la Garmin Fénix 2 en tête.

Dans ce mode, la fénix 2 et la V800 semblent être utilisable, bien que la trace devienne très approximative.

Conclusion

C’est une première expérience, qui en verra d’autres. Il faut que j’adapte mon protocole de test pour qu’il colle plus aux réalités du terrain, de ce qu’un utilisateur de ces montres mesure vraiment. Mais il m’a appris des choses, sur la précision générale des appareils que nous utilisons, et sur les points forts ou points faibles de certains d’entre eux.

Je pense réaliser ce test une fois par année avec les montres et compteurs dont je dispose à ce moment. Mais pour sûr, je vais revoir le protocole de test!

Merci pour la lecture, et si vous avez des idées, n’hésitez pas à les partager!

19 commentaires

  1. Salut!
    Bravo pour l’élaboration de ton test.
    Dans l’idéal, il faudrait faire plusieurs fois chaque parcours pour avoir une idée statistique de la reproductibilité des données de chaque montre. Car une montre donnée peut potentiellement être globalement précise mais inexacte (en sous-évaluant la distance à chaque fois par exemple).
    Bon après faut voir a quelle niveau d’exigence on veut pousser les choses :-)
    Et tu as certainement des choses plus intéressantes à faire que de pousser ta roue autour de chez toi tous les dimanche :-)
    Salutations

  2. Il eut fallu également que les montres soient placées au même niveau/hauteur soit horizontalement et parallèles au sol et non verticalement et oblique. De plus, certaines montres sont optimisées pour la reception du signal en fonction du placement sur le poignet ou le guidon et enfin, d’autres utilisent le capteur de foulée intégré pour affiner les valeurs.
    Les deux edges placés en bas et en mauvaise position d’utilisation explique certainement le mauvais score obtenu !!

  3. Bonjour, très bonne initiative. C’est toujours sympa de lire ce genre de test.
    Petite précision sur la Fenix 2, le test a été fait sous quel firmware GPS ? Je dispose de cette montre et la mise à jour du GPS en 3.30 la semaine dernière a GRANDEMENT amélioré la précision je trouve.
    Avec la 3.1 j’était « déçu » de ma montre, mais maintenant les traces sont beaucoup plus précises, y compris en ville.
    Je suis bléssé en ce moment donc je ne peux pas la tester en mode trail mais je suis préssé.

    Idée de protocole de test : faire un petit footing de 10km avec les 4 meilleurs montres au poignet (2 par bras) avec des accélérations … en condition réel ;) afin de valider la précision des tracés.
    Une séance de test sur piste peut être sympa aussi pour valider la précision.
    Rien ne vaut les test natures !

  4. Bonjour,

    Super test !

    Maintenant que les longueurs des tracés sont connues, je pense que les tests pourraient être refaits avec toutes les montres sur un guidon de vélo par exemple.

    Cela permettrait de les avoir à la même hauteur -> donc une plus grande objectivité entre les montres. De plus, la vitesse serait plus grande donc, une meilleure mise en condition.

    Mais c’est déjà un test super qui permet vraiment d’avoir une idée de ce qui se fait.

    D’ailleurs, quelle différence entre GPS et GPS+Glonass ?

    1. Selon Wikipedia:
      GLONASS (en russe : ГЛОНАСС, acronyme pour глобальная навигационная спутниковая система, globalnaïa navigatsionnaïa spoutnikovaïa sistéma, soit « Système global de navigation satellitaire ») est un système de positionnement par satellites d’origine soviétique et géré par les forces spatiales de la Fédération de Russie.
      C’est donc le concurrent (et pour les sportifs un système complémentaire :-) du système GPS Américain. D’ailleurs l’Europe ne devrait-elle pas lancer son propre système un de ces 4?

      1. Pardon, j’ai très mal posé ma question ;)

        Je voulais dire, dans les conditions du test, quelle est la différence, entre GPS seul et GPS + Glonass ?

        Cela vaut-il le coup de dépenser plus de batterie pour avoir les deux systèmes allumer ou non ?

        1. En fait en doublant les systèmes de géolocalisation (GPS + GLONASS), tu multiplie les probabilités d’être « en vue » de satellites, donc tu augmente d’autant la précision.

          En ce qui concerne l’Europe, il y a bel et bien un système en cours de lancement, GALILEO, mais qui a pris un sérieux retard au fil des années et un magistral coup de mou pour ne par dire plus avec l’échec de la mission du 22 août où les satellites n’ont pas été positionnés sur la bonne orbite. Au départ, le système devait être opérationnel vers 2019 – 2020, maintenant…

  5. Bonjour et merci pour ce test très intéressant.
    Pour compléter, il serait bien d’avoir le Suunto ambit 2 et 3, et faire un parour en ville avec des immeubles haut de part et d’autre du parcours, ainsi qu’en montagne dans des zone encaissées (les montagnes remplace les imeubles dans ces cas là). On verrait ainsi une autre mesure de sensibilité, pour compléter les tests en forêt.
    merci et bon tests!

  6. interessant à voir, plusieurs point :

    – il y a ce gars qui fait des tests de précision aussi, assez poussé : http://fellrnr.com/wiki/GPS_Accuracy

    – pour le protocole de test, ca serait bien que tous les appareils soient à la même hauteur.

    – quel est la marge de précision de l’odometre? ca doit etre sur le manuel.

    – ca serait bien de les pousser un peu dans leur retranchement, genre suivre une falaise etc….

    – pour la 920XT est ce que le glonass est activé ou pas (par défaut ce n’est pas le cas) ?

  7. bravo pour tes tests, tu es le DCRainmaker Francophone!!
    c’est très poussé et je n’ose pas me comparer.
    Le GPS le plus précis que j’ai trouvé est la RC3 GPS de chez Polar, et mon préféré que j’utilise est la Garmin 610 pour sa précision et la largesse de ses réglages.
    Continues comme ça, j’adore!!!!
    stephane

  8. Bravo et merci pour ce comparatif très intéressant.
    Juste une remarque concernant le cumul des 3 tests : le total des distances mesurées par la polar V800 est de 8,45 km et non 8,4 km. Elle remonte donc de 2 places dans ton classement.
    Voire même encore quelques places si l’on considère que sur les 3 tests effectués, il n’y a pas eu de compensation des distances pour la V800 (sur et sous évaluation), contrairement à la fénix 2, RC3 et 910XT qui sont en haut du classement.
    Sur les sites http://fellrnr.com/wiki/GPS_Accuracy et http://www.montre-cardio-gps.fr/test-de-precision-de-montres-cardio-gps/, il semble que la polar V800 soit la plus précise et la plus juste actuellement…..

  9. Salut,
    je viens d’acheter la montre polar M400. quand je synchronise, j’ai le message d’erreur : Les données de A-GPS n’ont pas été synchronisées. Vous avez une idée?
    Merci

    1. Bonjour,

      Ceci est lié à la dernière mise à jour censée apporter plus de rapidité à l’acquisition de la position GPS de la montre. En synchronisant la montre, elle reçoit également une table d’éphémérides des satellites GPS. Apparemment, cette synchro ne se passe pas bien chez vous, mais cela n’empêche pas le bon fonctionnement de la montre.

      Sportivement.

      1. Merci beaucoup pour ton retour. Je suis déçu car la montre ne trouve pas de gps quand je cour et n’y l’application mobile sur mon Android. Moi qui voulais la tester pour passer à une v800 plus tard.

  10. Merci pour ces tests, c’est exactement ce que je recherchais ! Même si c’est toujours compliqué pour le daltonien que je suis de m’y retrouver parmi toutes ces couleurs XD

  11. super test et instructif aussi.
    qu’en est il avec les montres suunto? car dans ton test tu n’essai même pas suunto pour voir la différence car la bataille fait rage entre les pro suunto et les pro garmin ;)
    Serait-il possible d’avoir un test à jour avec fénix3 et ambit3 peak?
    merci

Laisser une réponse

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.