Tirez parti de l’analyse par IA dans ArcGIS Survey123

ArcGIS Survey123 est une application incontournable pour la collecte de données sur le terrain grâce à des formulaires géoréférencés. Afin d’améliorer votre productivité, plusieurs assistants d’IA y ont été implémentés. Ils peuvent vous épauler dans la génération de formulaires, dans la traduction de ceux-ci dans différentes langues, ou encore dans la saisie des données de terrain via des capacités d’analyse d’image et de voix. Dans ce pas-à-pas, nous nous concentrerons sur les assistants d’analyse. Vous découvrirez comment les intégrer à vos enquêtes pour faire gagner du temps à vos agents de terrain en remplissant automatiquement des champs grâce à l’analyse automatique d’une simple photo. 

Pas-à-Pas réalisé par Pauline Louis, en partenariat avec le blog arcOrama.fr

1- Pour pouvoir accéder aux fonctions d’IA de Survey123, votre administrateur doit avoir activé l’option « Autoriser les membres de l’organisation à utiliser des assistants IA » dans l’onglet « Assistants IA » des paramètres de l’organisation.

2- De même, dans les Réglages des paramètres d’Organisation de Survey123, les Outils d’analyse (disponibles dans l’onglet «Extensions») doivent être activés. Vous pouvez également activer l’Assistant Survey123 si vous souhaitez découvrir les autres capacités d’IA (génération d’enquête, traduction automatique, etc.), mais nous ne nous en servirons pas dans ce tutoriel.

3 - Créez désormais une nouvelle « Enquête vierge ». Nous nous appuierons sur le scénario d’un inventaire de cimetière, où l’enquête vise à récupérer des informations sur la typologie des monuments funéraires, l’identité du défunt (Nom, Prénom, dates de naissance et de décès), et d’éventuelles dégradations présentes sur la sépulture. Vous pouvez renommer l’enquête et remplir la description en conséquence.

4 - La première capacité d’IA que nous allons implémenter est la capacité d’analyse d’image, aussi appelée « Computer Vision ». En analysant une photo fournie par l’agent de terrain, l’assistant pourra répondre à un certain nombre de questions précises ajoutées au formulaire. Pour cela, nous devons commencer par ajouter une question de type « Image » (Éléments multimédias et fichiers) en la faisant glisser dans le corps du formulaire. Vous pouvez la renommer « Photographie de la sépulture » pour que l’agent de terrain comprenne ce qui est attendu et indiquer qu’il s’agit d’une question obligatoire.

5 - Rajoutez maintenant une question de type « Texte uniligne » et renommez-la « Typologie de monument funéraire ». C’est maintenant que nous allons faire appel à l’assistant d’analyse d’image. Dans le panneau de droite, cliquez sur « Mise à jour » en face de « Calcul », puis pour « Extraire la propriété d’une question » choisissez « Photographie de la sépulture » et sélectionnez la propriété « Analyser une image [BETA] ».

6 - Vous pouvez ensuite décrire l’information que vous souhaitez voir extraite de l’image. Pour notre exemple, nous entrerons le prompt suivant : « Typologie de monument funéraire (tertre, édifice funéraire, pierre tombale…) ». La liste d’exemples indiquée dans le prompt permet d’aiguiller l’assistant dans sa réponse. Ici, les « … » lui indiquent qu’il pourrait répondre par une autre typologie. Si vous souhaitez une réponse strictement incluse dans une liste que vous lui pourvoyez, choisissez plutôt une formulation du type « parmi X, Y, Z ». Cliquez sur « OK » une fois que votre prompt vous satisfait.

7 - De la même manière, en répétant les étapes 5 et 6, vous allez rajouter 2 questions unilignes, la première s’intitulant « Nom(s) du défunt » et la seconde « Prénom(s) du défunt ». Pour les prompts, indiquez respectivement « Noms du défunt, séparés par une virgule si le défunt a plusieurs noms et mentionnant ép. s’il s’agit du nom d’épouse » et « Prénoms du défunt, séparés par une virgule si le défunt a plusieurs prénoms ».

8 - Ajoutez maintenant deux questions de type « Nombre » et nommez-les « Date de naissance » et « Date de décès ». De la même manière pour les questions de type texte, vous pouvez déduire une question de type nombre à partir d’une image. Indiquez comme prompt « Date de naissance du défunt indiquée sur la sépulture » pour la première et « Date de décès du défunt indiquée sur la sépulture » pour la seconde question.

9 - La dernière question sera de type texte multiligne et s’appellera « Description d’éventuelles dégradations ». Comme vous en avez maintenant l’habitude, faites appel à l’assistant d’analyse d’image et utilisez le prompt suivant : « Description d’éventuelles dégradations présentes sur la pierre tombale (casse, graffiti, texte effacé, envahissement de végétation…). N’indiquer aucune dégradation visible s’il n’y a pas de dégradation ».

10 - Passons au moment satisfaisant : vous allez voir notre enquête se remplir toute seule. Enregistrez votre enquête et cliquez sur « Aperçu ». Sélectionnez ensuite l’image de sépulture de votre choix (vous pouvez faire des tests avec des photos disponibles publiquement sur internet) dans la question portant sur photographie de la sépulture. Vous voyez ensuite l’analyse s’activer pour toutes les questions et, en quelques secondes, les réponses apparaissent dans tous les champs. Bien sûr, si l’assistant se trompe sur l’une des réponses, il est toujours possible de la modifier manuellement. Il est conseillé de faire plusieurs tests avec différentes images. Regardez notamment comment l’assistant réagit aux cas particuliers. Selon les résultats que vous obtenez, il peut être nécessaire d’adapter votre prompt. Par exemple, pour une sépulture contenant plusieurs défunts, nous pourrions affiner tous les prompts pour expliquer à l’assistant comment réagir dans ce cas. De la même manière, nous pourrions lui indiquer quoi renvoyer quand une donnée est manquante. Essayez d’être le plus précis possible en gardant des tournures de phrases très directes, tout en anticipant les cas particuliers si ceux-ci risquent de poser problème.