J’ai embauché ChatGPT à l’audit interne

Dans le cadre de son partenariat avec l’IFACI, Grant Thornton a animé des ateliers sur l’utilisation de ChatGPT pour des missions d’audit interne. Ces trois ateliers, correspondaient aux trois phases d’un audit interne : préparation, terrain et rapport, et pour chacune de ces phases, nous avons testé la capacité de ChatGPT à nous assister dans nos travaux d’audit.

Nous lui avons notamment demandé de nous aider à identifier les risques d’audits, les interlocuteurs à rencontrer, à construire les programmes de travail, à mettre en forme les comptes-rendus d’entretiens, à auditer la conformité d’un document, à rédiger des parties du rapport…

Pour se faire, nous avons utilisé ChatGPT 4 dans sa version payante.

Que tirer de cette expérience ?

Deux enseignements majeurs émergent : ChatGPT est à la fois un auditeur débutant augmenté et un outil.

ChatGPT comme un auditeur débutant augmenté

Comme tout auditeur interne, il a la tête bien faite et sans aucun doute bien remplie. Dans son fonctionnement, il apprend vite et répond très vite. En revanche, dans la manière d’interagir avec ChatGPT, les modalités sont très similaires à celles que l’on peut avoir avec un auditeur débutant.

Pour obtenir un résultat pertinent, il convient de :

• Séquencer et découper de manière très analytique le travail qui est demandé à ChatGPT. Pour élaborer un programme de travail d’audit, il a fallu : lui demander d’identifier les risques, puis, pour chacun des risques, lui demander quels seraient les thèmes d’audit, et, pour chacun des thèmes d’audit, lui demander de construire le programme de travail,
• Préciser le cadre et la forme souhaitée de la réponse, texte, tableau, bullet points,
• Indiquer les sources, notamment réglementaires, de ses réponses, à des fins de validation et de supervision,
• Superviser le résultat obtenu. Ils ne sont jamais satisfaisants à 100%, mais plutôt entre 50 et 70%. Aussi, il convient de les compléter par de la valeur ajoutée humaine,
• Faire refaire. Pour les raisons évoquées juste avant, poser plusieurs fois la même question de façon un peu différente permet de compléter la réponse initiale et d’en améliorer la qualité, comme pour un étudiant, cela permet aussi d’apprendre. ChatGPT garde en mémoire les questions qui lui sont posées, et apprend en affinant ses réponses au fur et à mesure des interactions.

Cet auditeur est par ailleurs augmenté, car l’exécution des tâches est immédiate, le spectre des tâches à confier est très large, et sa capacité de travail est non contrainte par la réglementation sociale.

ChatGPT comme un outil

Selon le Larousse, un outil est un « objet fabriqué, utilisé manuellement ou sur une machine pour réaliser une opération déterminée ». Aussi, l’outil ne fait pas à la place de l’homme, c’est l’homme qui utilise l’outil dans un objectif bien déterminé. Par ailleurs, l’outil a ses propres limites d’utilisation. C’est exactement la situation rencontrée avec ChatGPT. Il n’est pas efficace ou pertinent en soi, mais c’est la maîtrise qui peut le rendre pertinent.

Pour beaucoup d’outils, la maîtrise est dans le geste de l’artisan, or la maîtrise de ChatGPT est dans l’art du prompt. Ce dernier est le vecteur d’interactions avec ChatGPT, la manière de lui poser des questions ou de lui donner des instructions.

Parmi les éléments qui influent sur la qualité de la réponse figurent le fait de :

• Donner le contexte de la question ou de l’instruction, intégrant les éléments pouvant avoir une influence sur ladite réponse,
• Mentionner l’objectif ou la finalité de l’instruction,
• Indiquer le rôle dans lequel nous sommes. Dans une recherche de risque, la réponse sera très différente si je me positionne en auditeur ou si je me positionne en gestionnaire des risques,
• Préciser la manière de formuler la réponse, son caractère plus ou moins détaillé (limite de taille de la réponse ou de nombre d’occurrences dans la réponse, par exemple : « je veux au maximum 10 risques »), le style rédactionnel,
• D’exclure éventuellement certains pans de la recherche.

Par ailleurs, comme tous les outils, il possède des contraintes techniques intrinsèques. Tout d’abord, ses réponses sont limitées à 4096 mots, ce qui a une incidence sur la façon de lui poser les questions. Si la question est trop ouverte, les réponses seront très génériques, car il n’est pas possible de rentrer dans le détail en 4000 mots. Si la question est trop fermée, il aura tendance à délayer un peu la réponse.

Autre caractéristique : à une même question, la réponse n’est jamais exactement la même et ChatGPT ne sait pas dire « je ne sais pas ». Il a toujours une réponse, au risque que cette dernière ne soit pas toujours pertinente. Ainsi, une question mal posée ou non pertinente aura quand même une réponse !

En conclusion, l’utilisation de ChatGPT pour l’audit interne n’est ni plus ni moins qu’une nouvelle compétence essentielle à acquérir par les auditeurs internes, et certainement pas une compétence accessoire significative. Si cette compétence est maîtrisée, la valeur ajoutée apportée peut être importante.

Par ailleurs, plus que jamais, l’esprit critique de l’auditeur doit s’exercer face à la contribution de cet outil, car l’intelligence de ce dernier est artificielle, la qualité des réponses est biaisée par la qualité de nos prompts et par sa base d’apprentissage qui est très vaste et non spécifique, et surtout parce que nous restons in fine responsables de nos livrables. Il doit être appréhendé comme un outil d’amélioration de la performance et de la pertinence de nos travaux et non comme un outil de substitution.