Le match GPS 2015

Dans la continuité du match GPS 2014, j’ai planifié le match 2015 à la même période de l’année. Le but de ce test et de voir globalement quelle est la performance de la mesure GPS des principales montres et compteurs de sport sortis dans l’année, pour la plupart testés sur le site.

Pour ce match GPS 2015, les appareils du tableau ci-dessous ont été testés. Chaque appareil a été mis à jour avant le premier test puis a été laissé dans cette version de firmware pour toute la durée du test.

AppareilVersion firmwareLien du test nakan.chLien amazon.fr
Sunnto Ambit3 Run2.0.4Le testLien
Garmin Vivoactive3.20Le testLien
Garmin fénix 34.90Le testLien
Garmin Forerunner 920XT5.20Le testLien
Garmin Edge 5203.00Pas encore publiéLien
Polar M4001.6.4Le testLien
Polar V8001.6.2Le testLien
Polar V6501.2.4Le testLien
Polar M4501.0.4Le testLien

La procédure de test est inchangée par rapport à l’édition 2014, à savoir que les montres et compteurs ont été montés sur une roue de géomètre, et j’ai arpenté différents parcours pour mesurer la performance de mesure GPS des appareils dans les conditions décrites par le test en question. Ce match est constitué de 3 tests.

Match GPS 2015

Le protocole de test

Dans tous les cas, la procédure suivante a été suivie pour assurer que le test soit le plus consistant possible:

  1. Les montres et compteurs ont été configurés comme souhaités.
  2. L’auto-pause est désactivé
  3. Aucune calibration de l’altitude n’est effectuée, en aucun cas.
  4. L’enregistrement est configuré à la seconde pour les appareils qui le supportent
  5. Les appareils sont chargés au moins à 80%
  6. Les appareils sont fixés sur le support de la roue, dans un ordre aléatoire, sauf les compteurs dont le support est fixé en bas.
  7. Les appareils sont allumés et accrochent le GPS. J’attends encore 30 secondes après l’accroche du dernier appareil pour lancer le test.

Ce dernier point est nécessaire pour que tous les appareils atteignent le niveau de précision le plus élevé possible. Dans la course à la vitesse de l’accroche GPS, certains appareils annoncent avoir accroché le GPS mais ont un précision qui est mauvaise à ce moment. Quelques secondes de plus, et le nombre de satellites utilisés augmente, et la précision devient meilleure!

Après le parcours de test:

  1. L’enregistrement est lancé dans le même ordre que l’arrêt à la fin du parcours (la montre lancée en premier est également arrêtée en premier).
  2. La distance, D+, D-, température reportée est celle de l’outil fourni par l’éditeur (Garmin Connect, Polar Flow et Suunto Movescount). Le fichier TCX est également exporté directement depuis ces outils.
  3. La température reportée est celle des dernières secondes du test, alors que les montres ont évolué depuis au moins 15 minutes et que la température est normalement stabilisée.

Le test 1

Ce test est effectué sur une boucle de 3.8 km en forêt, sous une couverture moyenne. Les arbres sont moyennement denses, et en automne, il y a moins de masse de feuilles.

Toutes les montres sont configurées dans ce test pour n’utiliser « que » le GPS (et le GLONASS est donc désactivé sur les montres qui le supportent). Ce test est également intéressant dans l’analyse de la courbe d’altitude car le parcours est assez vallonné.

Voici les données mesurées dans le test 1 (classés par ordre de précision):

Montre / CompteurDistanceD+ (m)D- (m)TempératureLien activité
Mesure réelle3.80
Suunto Ambit3Run3.808491-Lien
Polar V8003.78551409.8°CLien
Garmin Edge 5203.7677776°CLien
Polar V6503.766075-Lien
Garmin Forerunner 920XT3.757676-Lien
Polar M4503.7470759.7°CLien
Polar M4003.747580-Lien
Garmin Vivoactive3.7359 (1)59 (1)-Lien
Garmin fénix 33.88767710°CLien

Interprétation des résultats: de grosses différences entre les montres. On constate ici que les Polar M400 et M450, équipés de chipset ublox ont des résultats moins bons que la V800 dotée d’un chipset SIRF plus vieux mais tout de même plus précis. Chez Garmin, toutes les montres utilisent un chipset Mediatek (mais la référence n’est pas identique sur chaque montre) et les résultats sont variables (mais globalement insatisfaisant). Alors que toutes les autres montres ont sous-évalué la distance, la fénix 3 a elle mesuré 80 mètres de plus. Enfin, la Suunto Ambit3 Run ne présente pas la trace la plus propre, mais elle a été la seule à mesurer une distance exacte!

La trace des différentes montres peuvent être comparée ici. Notez que l’outil MyGPSFiles interprète différemment les données d’altitude de trace pour calculer la distance, d’où une différence dans la mesure. Mais là, c’est la comparaison du tracé qui nous intéresse.

On note des écarts et des imprécisions sur certaines parties du parcours, relativement généralisés. Mais globalement, la qualité semble meilleure que lors des tests de 2014:

Match GPS 2015La mesure de l’altitude sur ce test est également intéressante. On constate que la courbe est relativement proche au niveau de la forme pour tous les appareils mais le calibrage de base varie.  La première partie de celle de la V800 qui est complètement à côté, avant de reprendre des données plus correctes:

Match GPS 2015

Le test 2

Ce test a consisté en un aller-retour de 1.6km en partie en forêt, en partie en terrain découvert. J’ai effectué ce test dans le but de comparer les montres supportant le Glonass, et de voir si le fait d’activer cette technologie offrait une réelle différence. L’aller a été effectué avec le mode GPS normal, et le retour en mode GPS + Glonass pour les appareils qui le supportaient (les Garmin, en fait). Le tableau ci-dessous intègre donc ces données. Les montres qui ne supportent que le GPS (Polar et Suunto) n’ont été utilisées que pour le retour. Enfin, un défaut d’enregistrement de la trace aller de la 920XT fait que seule la trace retour (GPS + Glonass) est disponible pour cette montre:

Montre / CompteurDistance test2a/test2bD+ (m) D- (m) TempératureLien activité
Mesure réelle1.60 / 1.60
Garmin fénix 31.60 / 1.5814511°CLien 2a |
Lien 2b
Polar V8001.5915010.4°CLien
Polar M4501.591009.6°CLien
Polar V6501.61100-Lien
Garmin Vivoactive1.59 / 1.58227-Lien 2a |
Lien 2b
Suunto Ambit3Run1.6270-Lien
Garmin Edge 5201.58 / 1.581266°CLien 2a |
Lien 2b
Garmin Forerunner 920XTNA / 1.58135- Lien 2b
Polar M4001.58200-Lien

Interprétation des résultats: Hormis la comparaison GPS / Glonass ci-dessous, on voit sur ce test que toutes les montres affichent un niveau de précision acceptable et plutôt homogène, étant toutes dans une fourchette de +/- 20m.

On constate sur les trois appareils GPS + Glonass (Garmin Edge 520, Garmin Vivoactive et Garmin fénix 3) que la trace distance en GPS uniquement était plus précise. Ci-dessous, comparaison des deux traces de chaque montre ou compteur pour les comparer. Dans les traces, celle notée « T2a » est en mode GPS uniquement (trace en bleu foncé), « T2b » en mode GPS + Glonass (trace en violet).

La Garmin fénix 3

Comparatif GPS / GPS + Glonass pour la Garmin fénix 3

La fénix 3 a été plus précise dans la mesure de la distance sans le Glonass. L’activation du Glonass a très légèrement rendu la trace plus « propre », mais sans que cela ne soit flagrant. Voici une capture d’une des zones intéressante du comparatif:

Match GPS 2015

La Garmin Vivoactive

Comparatif GPS / GPS + Glonass pour la Vivoactive

Même constat que pour la fénix3: meilleure mesure sans Glonass qu’avec. Quand on zoome sur les traces, on constate que la trace bleu foncée (GPS uniquement) est plus proche de la route que celle avec le Glonass:

Match GPS 2015

Notons encore pour la Vivoactive que le temps d’enregistrement est automatique (et pas à la seconde) donc que naturellement, la trace est moins précise que pour les autres montres.

Le Garmin Edge 520

Comparatif GPS / GPS + Glonass pour le Edge 520

Encore une fois, pas d’évidence claire que le Glonass améliore la précision ou la qualité de la trace du 520:

Match GPS 2015Sur la partie affichée ci-dessus, on constate même que la qualité de la trace GPS uniquement est meilleure que la trace GPS + Glonass (plus proche du chemin).

Conclusions sur la pertinence d’activer Glonass

Au vu des trois exemples ci-dessus (une erreur avec la 920XT m’empêche de vous proposer la comparaison pour cette montre), vous imaginez bien quel est mon avis sur le Glonass… J’étais déjà peu convaincu par cette option avant, ce test  vient confirmer mon impression: rien n’indique que Glonass améliore d’une quelconque manière la précision de nos montres et compteurs. Par contre, une chose est sûre: la consommation d’énergie augmente en l’activant, et naturellement l’autonomie diminue.

Donc ma recommandation reste la même: Glonass n’apportant rien de tangible, il est inutile dans la plupart des cas de l’activer.

Le test 3

Le dernier test est effectué sur une boucle de 2.5km en terrain découvert. C’est normalement le test sur lequel les montres doivent indiquer à peu de choses près la distance exacte. Les montes supportant Glonass étaient activées avec ce mode.

Montre / CompteurDistance D+ (m) D- (m) TempératureLien activité
Mesure réelle2.50
Polar V6502.502025-Lien
Polar V8002.50202010.3°CLien
Polar M4502.50202510.3°CLien
Polar M4002.501515-Lien
Suunto Ambit3Run2.492121-Lien
Garmin Edge 5202.4932287.0°CLien
Garmin fénix 32.49282710.0°CLien
Garmin Forerunner 920XT2.493227-Lien
Garmin Vivoactive2.481618-Lien

Interprétation des résultats: Toutes les montres indiquent une distance correcte, à +/- 10m. Seule la Vivoactive est un peu moins précise, elle a sous-évalué la distance, probablement à cause du fait que l’échantillonnage automatique a tendance à « couper » les virages par rapport à l’échantillonnage à la seconde.

Match GPS 2015

La comparaison de traces du test 3 est disponible ici.

Enseignement de ce test: en conditions de réception GPS optimales, toutes les montres présentent des résultats identiques. Ce sont donc dans des conditions moins bonnes (sous-bois, environnement urbain etc..) que l’on pourra noter des différences.

Il est également important de noter que dès que cela est possible, il faudra passer l’enregistrement des points GPS à la seconde plutôt qu’en mode « intelligent » ou « automatique ». Cela diminuera certes un peu l’autonomie du dispositif et génèrera des fichiers plus gros, mais donnera en finalité une précision bien meilleure et une trace plus fidèle.

Tests annexes

Mesure de la température

On trouve des disparités dans la mesure de température des montres qui incluent cette mesure, mais elles restent globalement toutes dans une fourchette de +/- 1.5°C, ce qui ne devrait pas être un problème pour ce type d’utilisation. Toutes sauf le Edge 520 qui a mesuré des données complètement à côté (présentant systématiquement 3 à 4°C d’écart par rapport aux autres sur tous les tests). Il est fort possible que l’étalonnage du capteur soit à l’origine de ce problème, reste à savoir si c’est un souci sur un modèle unique ou plus généralisé (série voire modèle).

Mesure de l’altitude

Il faut déjà bien faire entre trois catégories de mesure de l’altitude:

  • La mesure GPS + altimètre barométrique (sur la V800, le M450, le V650, la FR920XT, la fénix 3 et le Edge 520). Le système utilise le GPS pour calculer l’altitude du point de départ et faire des pointages durant l’activité (le fonctionnement exact diffère d’un appareil à l’autre), et utilise un altimètre barométrique (qui mesure la pression atmosphérique) pour les changements d’altitude durant l’activité. C’est la solution la plus fiable en général, du moins lorsque la météo est stable. Un brusque changement de temps (passage d’un orage, changements de température etc..) auront un impact sur le pression atmosphérique et donc sur la mesure de l’altitude.
  • La mesure GPS non corrigée. Parmi les autres montres, la mesure durant l’activité est uniquement basée sur l’altitude GPS. Elle est moins précise que l’altitude barométrique, mais n’est pas impactée par les changements de météo. La marge d’erreur peut atteindre de 10 à 30 mètres en fonction de la qualité du signal GPS disponible
  • La correction avec les données topographiques. Cette correction peut être effectuée pour les deux types de mesure ci-dessus. En gros, on prend la trace GPS et on l’applique sur une base de cartographie (Google, Bing, OSM ou autre). Par les données d’altitude de ce service de cartographie, on créé une courbe d’altitude qui ne se base plus sur les données enregistrées par la montre. Cette technique est celle qui est utilisée par défaut par les montres Garmin qui n’incluent pas d’altimètre barométrique (Vivoactive).

Le test le plus utile pour cette comparaison est le premier, les autres tests étant effectués sur des parcours relativement plats.

FAQ sur le match GPS 2015

Q: Pourquoi avoir intégré la Polar V800 et la Garmin Forerunner 920XT au match GPS 2015, alors qu’elles ont déjà participé au match 2014 ?

R: Parce que ces montres sont toujours les derniers modèles proposés par Polar et Garmin dans leurs gammes respectives, et qu’elles n’ont pas encore été remplacées.

Q: Pourquoi les distances affichées dans l’outil MyGPSFiles est différente des distances affichées dans les tableaux des différents tests ?

R: L’application MyGPSFiles utilise un autre algorithme et semble prendre en compte les données d’altitude des fichiers TCX pour calculer la distance. Comme la plupart des utilisateurs vont se fier à la distance de leur montre (directement sur la montre ou sur le site « officiel »), c’est cette distance et non celle de l’outil MyGPSFiles qui est utilisée comme référence pour le test.

Q: Pourquoi certaines traces sont interrompues sur l’outil « MyGPSFiles » ? Est-ce que l’auto-pause peut l’expliquer et avoir faussé les tests ?

R: Effectivement, j’ai constaté que les traces de certaines montres avaient des « blancs » dans MyGPSFiles, l’outil de comparaison. Je n’ai pas d’explication à ceci, mais sachez que j’ai veillé à ce qu’aucune fonctions telles que l’auto-pause n’étaient activées, créant au besoin des profils d’activités spécifiques pour les tests GPS. Ces traces sont correctes sur Garmin Connect, Polar Flow ou Suunto Movescount, il s’agit donc vraisemblablement d’un problème du côté de MyGPSFiles.

Q: Pourquoi n’y a-t-il pas de test des montres en mode UltraTrac/GPS éco comme en 2014 ?

R: Parce que je n’ai pas eu le temps, et ne l’aurai pas dans les prochaines semaines, pour effectuer ce test. Il sera donc effectué plus tard (fin 2015, début 2016) avec les montres V800, FR920XT, fénix 3 et Suunto Ambit3 Run, et fera l’objet d’un article séparé.

Conclusion

Cette deuxième édition du match GPS donne des résultats bien plus compacts que le test de 2014 qui réunissait des montres de plusieurs générations. Je n’ai pas créé de tableau récapitulatif des trois tests, chacun pourra vraisemblablement juger de la performance des différentes montres et compteurs entre les trois tests.

Comme indiqué ci-dessus, je publierai une annexe à ce test avec les données d’un test GPS UltraTrac/GPS « éco » plus tard, n’ayant pas trouvé le temps de mener ce test à temps.

J’ignore encore si je vais reconduire ce test en 2016, cela dépendra surtout du nombre de montres que j’aurais à disposition à ce moment. Le format pourrait changer: il est probable que je pousse plus loin les tests de la qualité GPS de chaque montre testées pour mes prochains tests via des protocoles « standardisés », et que je compile ces données une fois par année dans un match GPS.

Enfin, j’ai l’intention dès l’été prochain de procéder à un « Match Swim GPS« , mettant en compétition les montres de triathlon en mode GPS « natation en eau libre« . Voici donc pour le futur.

N’hésitez pas à laisser vos impressions ou éventuelles questions en commentaires, et merci pour votre visite !

15 commentaires pour “Le match GPS 2015

  1. Salut Grégory
    Bon test, qui confirme mon analyse du système GLONASS : GLONASS est intrinsèquement moins précis que le GPS, donc inutile tant que la montre est capable de capter facilement 4 satellites GPS. Il ne sera utile qu’en environnement difficile où le GLONASS peut éviter un décrochage.
    Petite question de protocole de test : à quelle vitesse as-tu parcouru tes tests ? En marchant ?

  2. Quel travail encore ! Félicitations.

    Concernant le GPS, penses-tu que les montres seront compatibles avec le GPS Galiléo lorsqu’il sera disponible ?

  3. Super test. Très intéressant.

    Je me demandais si le Glonass ne serait pas utile en natation en eau libre, pour pouvoir recrocher le signal le plus rapidement possible à chaque tour de bras. Le futur test « Match swim GPS » sera intéressant.

  4. Bravo pour ce test très complet ! Good job !

    Pour le test du GLONASS, et donc la conclusion de l’utilité ou non, je ne suis pas vraiment convaincu de la méthodologie ;)
    Principalement car sur un aller-retour, même une montre sans GLONASS rapporte souvent des écarts (de trace et de distance) donc difficile de conclure que c’est un effet du GLONASS … Il aurait été intéressant de comparer justement les montres sans GLONASS également avec le trajet aller.
    Mais également, j’ai observé que suivant la direction suivie (N/S/E/O), la qualité de la trace reportée sur les cartes pouvait s’en trouver dégradée… effet d’orientation, ou simplement de projection dans les coordonnées des cartes ? je n’en sais rien, mais en tout cas, pour ton test j’aurai plutôt privilégié une boucle afin de parcourir les toutes les directions, deux fois de suite (une avec GLONASS et une sans)… Petite suggestion pour le test 2016 ;)

    1. En effet, le Glonass est censé améliorer la reception dans des conditions difficiles, vu les difficultés de la Garmin Phœnix 3 sous bois dense, il y a-t-il un intérêt à supprimer le Glonass…..

    2. Je suis d’accord sur le fait qu’aucune montre GPS ne donnera la même trace sur un même parcours, que ce soit une boucle ou un aller-retour comme je l’ai fait, qui n’était pas rectiligne. Toutefois, le test me semble suffisant pour démontrer que la trace ET la mesure de distance ne sont pas meilleurs sur le retour en GLONASS que lors de l’aller en GPS. Qui plus est, ce constat est généralisé sur les 3 appareils testés en même temps. Et ceci vient en plus des essais que j’ai faits précédemment, principalement avec la 920XT en plusieurs situation, qui ne m’ont jamais laissé penser que le Glonass soit d’une quelconque utilité dans le 95% des cas.

      1. Bonjour,
        Je voulais savoir dans quel cas activer le Glonass? Je possede une Fenix3 et je dois dire que depuis le début je cherche quel réglage sera le meilleur….niveau précision en trail je précise elle est loin d’etre top!

  5. Bonjour
    Bravo pour le comparatif. Question sur la Fenix 3, la distance et vitesse 3D, ont ils une influence sur la qualité de la trace? Quel précision cela apporte?
    Sportivement

    1. Bonjour,

      D’après cet article de Strava (en anglais) disponible ici, si vous courez sur une pente de 10%, l’erreur de distance GPS due à la pente sera de 0.5%, et sur une pente de 20%, l’erreur sera de 2%. C’est très faible pour la plupart des utilisations. La distance et vitesse 3D de la fénix 3 corrige ceci en utilisant les données d’altitude. Je n’ai pas fait de tests spécifiques sur ces fonctions, mais mon avis est que les variations de mesure de l’altitude qui peuvent être très aléatoires sont potentuellement bien plus importantes que les quelques % de distances mal évaluées par les problèmes de pente.

      En conclusion, à moins de participer à des courses de montagne présentant des D+ très importants durant une journée où la météo est stable (peu de variation de la pression barométrique utilisée par l’altimètre de la f3), la fonction vitesse/distance 3D ne sera pas d’une grande utilité. Pour de la course sur route ou du trail sans D+, il pourra même devenir une source d’erreur supplémentaire.

      Si quelqu’un a un retour pratique avec ces fonctions, je suis assez intéressé de le connaitre!

      Sportivement.

      1. Quel est le moyen de communiqué avec les ingénieurs de chez Garmin ? Car j’ai toujours de grosse différence entre la trace de la Fénix et Edge 810. J’aimerais bien leur montrer les écarts entre les deux traces !!!

  6. bonjour!
    tout d’abord merci pour ce test, très instructif.
    Une petite question : j’ai l’habitude de courir avec un smartphone au bras (le z3 compact) et l’appli runtastic. La précision gps me parait correcte, quand je vois le tracé sur carte. Mon but cependant est de me passer à terme de mon téléphone pour courir et d’investir dans une montre gps.
    Je précise que je cours au plus une vingtaine de kilomètres sur route et sur chemin de terre (pas de trail et donc pas de chemins sinueux) et je fais aussi de la piste.
    Qu’en sera t’il de la précision de la montre par rapport au smartphone? Y a t’il dejà eu des comparatifs?

    1. Bonjour,

      Je n’ai jamais réalisé de comparatif entre montres GPS et smartphone. On peu considérer qu’au niveau électronique, ce sont les mêmes puces qui sont utilisées dans les montres et les smartphones (les fournisseurs se comptent en réalité sur les doigts d’une main) mais le smartphone a un petit avantage: porté dans un brassard, sa réception GPS est peut-être un brin meilleure que la montre au poignet qui fait le mouvement de balancier. Quoi qu’il en soit, la différence de qualité de trace ne devrait pas être énorme, si différence il y a… Mais n’ayant jamais fait de test, je ne peux pas l’affirmer. Je vais le noter et si j’en ai l’occasion, tester également des smartphones…

      Sportivement.

  7. Excellent ce test. Et très rigoureux.
    Je serais assez intéressé par un test similaire au niveau des altimètres, histoire de savoir si les Garmin sont au niveau des Suunto, ce qui me semble aujourd’hui être le cas. Mais j’ai entendu dire que le FusedAlti était un poil plus efficace chez Suunto que chez Garmin. Mais faudrait prendre une Ambit Peak ou Verticale, avec le baro.
    Polar semble en tout cas bien derrière. Autant sur baromètre que sur GPS.

    En France, l’IGN a installé des bornes géodésiques et de nivellements sur tout le territoire.
    http://geodesie.ign.fr/fiches/index.php?module=e&action=visugeod
    Je sais pas si vous avez la même chose en Suisse, mais ça pourrait faire office de juge de paix, comme ici avec votre roue de géomètre.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.