Les résultats d’arbitrage vous gâchent-ils la journée ?

Les résultats d’arbitrage vous gâchent-ils la journée ?

Nous avons tous besoin de commentaires pour évaluer nos résultats dans les différentes activités de notre vie. Les indexeurs FamilySearch ont fréquemment demandé un outil qui les aiderait à évaluer leur exactitude dans leur travail d’indexation. Alors FamilySearch a créé « Mon exactitude » (qui s’appelle maintenant « Résultats d’arbitrage »). Le lancement des résultats d’arbitrage a eu des conséquences attendues et inattendues. Les indexeurs ont commencé à recevoir des commentaires très utiles sur leur travail, et bon nombre d’entre eux ont exprimé de la gratitude pour l’occasion d’apprendre comment faire pour s’améliorer. Mais certains indexeurs ont fait part de leur désarroi en apprenant pour la première fois, que les arbitres modifiaient des valeurs indexées qui leur semblaient exactes. La magnitude du problème était aussi une surprise pour FamilySearch.

Certains des premiers problèmes ont révélé que des lots non-anglophones indexés par des natifs de la langue du lot ou des personnes qui connaissaient bien cette langue, ont par la suite été arbitrés par des personnes connaissant moins bien la langue du lot. Plus récemment, des incidents concernant des arbitres qui ne suivaient pas les instructions du projet, en faisant annuler du bon travail d’indexation principalement, ont été signalés.

Nous n’aurions jamais su cela sans les Résultats d’arbitrage. Et bien que « l’ignorance était une bénédiction » pour tout le monde —FamilySearch et ses bénévoles—nous pouvons nous servir de cette nouvelle sagesse pour mieux faire. Nous parlerons de la manière dans un moment, mais d’abord, un mot aux indexeurs au sujet des résultats d’arbitrage.

Que sont les résultats d’arbitrage au juste ?

Les résultats d’arbitrage permettent de mesurer la fréquence de concordance entre l’indexation d’un bénévole et l’arbitrage d’un autre. Ce n’est pas une mesure de l’exactitude absolue contre une certaine vérité révélée d’en haut. C’est le reflet du bon sens d’un bénévole comparé au bon sens d’un autre bénévole. Parfois, mais pas souvent, nous l’espérons, c’est l’indexeur qui peut avoir raison et non l’arbitre. C’est surprenant n’est-ce pas ?

Alors que devons-nous comprendre ? Tout d’abord, ne surestimez pas l’importance de vos résultats d’arbitrage. Il s’agit d’un guide pas d’une note. Personne n’en sera impressionné si vous l’indiquez dans votre curriculum vitæ. Et vous ne vous verrez pas décerner une récompense pour votre entrée dans le « Club des 99% » à votre prochaine réunion de famille. Servez-vous de ces résultats pour vous-même, pour vous améliorer et étudier vos possibles erreurs d’indexation.

De plus, ne laissez pas de mauvais résultats d’indexation gâcher votre journée, ou pire, vous faire arrêter d’indexer. Bien sûr, il serait agréable de vous dire que votre indexation a une exactitude de 100%, mais encore une fois, 100% comparés à quoi ? Dans certaines rares situations votre taux de 90% peut être plus exact que le taux de 100% de quelqu’un d’autre—tout dépend de l’arbitre, de l’écriture manuscrite sur les documents et du niveau de difficulté du projet. Dans un groupe témoin, une bénévole a dit qu’elle avait une moyenne d’exactitude de 92% et qu’elle se sentait nulle. Le fait est qu’il n’est pas bon de fonder son estime de soi ou même ses qualités d’indexeur sur ses résultats d’arbitrage.

Maintenant que nous essayons d’être transparents, parlons d’un autre sujet où la réponse peut ne pas être si réconfortante.

Quand vous, en tant qu’indexeur, examinez vos résultats d’arbitrage et trouvez une faute évidente dans l’arbitrage, votre seul recours est de cliquer sur Examiner des lots, ce qui envoie un message générique à, de votre point de vue, une personne sans visage et sans nom de FamilySearch. Puis, plus rien ne se passe de votre côté. Vous ne recevez pas de réponse, ni de solution, et ni de confirmation que l’erreur décelée dans l’arbitrage sera corrigée.

Cela vous pose t-il un problème ? C’en est un pour FamilySearch et nous sommes déterminés à trouver une solution satisfaisante. En lisant ce qui suit et d’autres articles de la série, vous constaterez que le problème sous-jacent du mauvais arbitrage est abordé de plusieurs manières, ce qui devrait atténuer une bonne partie du problème. Il faudrait que l’indexeur puisse parler de son cas ou avoir réellement son mot à dire dans la correction d’erreurs d’arbitrage.

Pour l’instant, nous nous contenterons de dire que FamilySearch est conscient du problème et qu’il le reconnaît. Nous aurions souhaité que ce soit différent et proposer une solution plus immédiate aux indexeurs qui se soucient suffisamment de l’indexation pour attirer notre attention sur les besoins actuels. Mais le changement prend du temps, et bien que nous travaillions à des solutions possibles depuis des mois, un changement permanent ne se produira pas avant le lancement d’une nouvelle version du progiciel d’indexation FamilySearch. En attendant, nous continuerons de nous concentrer sur les choses que nous pouvons changer dans le court terme, même si elles ne constituent que des étapes croissantes vers l’amélioration.

Répond aux conditions pour arbitrer ?

En dépit de ce que certaines personnes peuvent vous faire penser, un mauvais arbitrage est en fait loin d’être la règle. Des dizaines de millions de documents sont publiés sur FamilySearch.org chaque mois, et la grande majorité de ces documents sont indexés et arbitrés avec exactitude.

Ce n’est pas évident lorsque ce sont vos documents indexés qui sont mal arbitrés, mais pensez à cela : combien de vos lots ou champs ont-ils été mal arbitrés ? 1% ? 2% ? Si c’est plus que ça, ne présumez pas qu’il s’agisse de la norme, parce que ça ne l’est pas, malgré ce que la minorité agissante veut vous faire penser.

La plupart des indexeurs reçoivent une invitation à penser à l’arbitrage lorsqu’ils sont terminé d’arbitrer leur centième lot. D’autres sont recommandés par leur administrateur de groupe ou leur directeur d’indexation de pieu. Certains pensent que la barre pour devenir arbitre est placée trop bas et ils ont peut-être raison. Certains ont suggéré que 10 000 documents indexés constitueraient un bon niveau alors que d’autres ont dit qu’ils ne penseraient pas remplir les conditions pour arbitrer même avec ce niveau d’expérience.

Le fait est qu’il n’y a pas de niveau de qualification unique pour un arbitre. Tout le monde est différent. Certains peuvent ne jamais se sentir (ou être) prêts à arbitrer alors que d’autres, ceux qui ont de nombreuses années d’expérience généalogique en particulier, peuvent être prêts bien plus tôt.

Si le niveau des conditions requises pour arbitrer était arbitrairement élevé, très peu de documents seraient publiés sur FamilySearch.org. S’il était arbitrairement bas, trop de personnes non préparées à arbitrer tenteraient de le faire avant d’en avoir les capacités. Trouver le bon équilibre est pour le moins difficile. Lorsqu’un indexeur atteint le niveau de cent lots indexés, cela signifie que l’indexeur est engagé et sérieux à propos de l’indexation, qu’il est rompu à l’exercice de lecture de documents manuscrits et qu’il semble avoir atteint un niveau de qualité élevé, du moins selon les résultats dont nous disposons. Il se peut que ces directives ne soient pas parfaites, mais elles se sont avérées fiables pour produire un lot proche de la perfection.

Sommes-nous en train de dire « Habituez-vous à ces règles car elles ne vont pas changer ? » Pas du tout. Nous sommes suffisamment intelligents pour savoir que, comme aurait dit Benjamin Franklin : « La définition de la folie c’est répéter inlassablement la même chose en espérant un résultat différent ».

Qu’est-ce qui va changer ?

Si la solution attendue pour le problème d’arbitrage n’est pas survenue aussi vite que la découverte du problème, c’est parce que l’expérience a montré que les décisions prises à la hâte conduisent généralement à des problèmes pires. FamilySearch a toujours opté pour une approche réfléchie. Cette approche réfléchie inclut les buts actuels suivants :

Se concentrer davantage sur le fait de fournir des ressources de formation pour les arbitres.
Se concentrer davantage sur la formation des administrateurs de groupe et les directeurs de l’indexation de pieu pour trouver des arbitres qui remplissent les conditions, les former et les conseiller de manière plus active et plus fréquente.
Rappeler plus souvent aux arbitres qu’ils ne doivent arbitrer que les projets qu’ils connaissent et qu’ils doivent comprendre que l’exactitude est plus importante que la rapidité.
Surveiller de plus près les commentaires des indexeurs et révoquer, à l’occasion, les droits d’arbitrage, dans les rares cas où l’on constate de la négligence.

Au final, un soin et une attention particuliers pour la qualité fera une grande différence. L’amélioration se produira progressivement si nous nous engageons tous à suivre un modèle d’excellence constant dans notre travail d’indexation et d’arbitrage. FamilySearch s’engage à faire sa part, et sera heureux de recevoir vos commentaires et vos idées. Veuillez envoyer vos idées à .
C’est le cinquième message de la série d’articles sur l’arbitrage.