A 0.0001% FAR and 0.0001% FRR system.
0.0001% de fausse acceptation et 0.0001% de faux rejet.

So a saleman told you that his biometric system has a 0.0001% FAR and 0.0001% FRR (or any other crazy numbers). Impressive!

Try to imagine what does that mean:

  • 0.0001% indicates (at best) less than one error among 1 million tests (!)
  • It means that the system will accept less than one intruder over one million intrusion tentatives, AND will just refuse to let you in only once over 1 million genuine accesses.

    Well, this is just stupid for a real world system. It is possible to get this FAR number (exclusive) OR this FRR number, but not both at the same time. Moreover, it means that the system has been tested with an impressive number of candidates. And if you try yourself during a demo, and you got an error, then you are not in your lucky day.

    Unfortunately, and this is a bad practice, sales people just give this numbers without any explanation, so you might think that they are true at the same time. The good questions are:

  • How did you get these numbers?
  • What is the sample size? How many persons participated to the test?
  • Do you get these numbers at the same time, or is it only the best you can get for only one?
  • What is one transaction? A simple try? 3 tries are allowed for one transaction?
  • ...
  • So you can make your mind about this. Comparing biometric systems is very difficult because test conditions are varying a lot and rarely comparable.

    Ainsi donc, un vendeur assure vous offrir un système ayant un taux de fausses acceptations de 0.0001%, et un taux de faux rejet de 0.0001% (ou tout autre valeur folle)! Impressionant!

    Essayez de vous rendre compte de ce que veux dire cette assertion:

  • 0.0001% indique (au plus) une erreur observée parmi 1 million (!)
  • Donc le système acceptera moins d'une intrusion sur 1 million d'essai, ET refusera de vous laisser entrer moins d'une fois (par erreur) sur 1 million.

    Autant dire tout de suite que ce sont des nombres particulièrement stupides pour un système réel. Vous pourrez obtenir à la rigueur soit l'un ou (exclusif) soit l'autre, mais pas les deux à la fois. De plus, cela veut dire que le système a été effectivement testé avec beaucoup de candidats. Et si jamais vous faites un essai vous-même lors d'une démonstration, et qu'une erreur arrive, alors vous n'avez vraiment pas eu de chance.

    Il est fréquent (et c'est une mauvaise pratique) de laisser planer le doute sur ces nombres. Les bonnes questions à poser sont:

  • Comment avez-vous obtenu ces nombres?
  • Quel est la taille de l'échantillon? Combien de personnes ont participé au test?
  • Obtenez-vous ces deux taux en même temps ou est-ce uniquement les meilleures performances possibles?
  • Qu'est-ce qu'une transaction? Un simple essai? 3 essais sont possibles pour une transaction?
  • ...
  • Ce qui vous permettra de vous forger une opinion. La comparaison de systèmes biométriques est très difficile car les conditions de tests sont très variables et assez souvent peu comparables.