Dans le cadre de son partenariat avec l’IFACI, Grant Thornton a animé des ateliers sur l’utilisation de ChatGPT pour des missions d’audit interne. Ces trois ateliers, correspondaient aux trois phases d’un audit interne : préparation, terrain et rapport, et pour chacune de ces phases, nous avons testé la capacité de ChatGPT à nous assister dans nos travaux d’audit.
Nous lui avons notamment demandé de nous aider à identifier les risques d’audits, les interlocuteurs à rencontrer, à construire les programmes de travail, à mettre en forme les comptes-rendus d’entretiens, à auditer la conformité d’un document, à rédiger des parties du rapport…
Pour se faire, nous avons utilisé ChatGPT 4 dans sa version payante.
Que tirer de cette expérience ?
Deux enseignements majeurs émergent : ChatGPT est à la fois un auditeur débutant augmenté et un outil.
Comme tout auditeur interne, il a la tête bien faite et sans aucun doute bien remplie. Dans son fonctionnement, il apprend vite et répond très vite. En revanche, dans la manière d’interagir avec ChatGPT, les modalités sont très similaires à celles que l’on peut avoir avec un auditeur débutant.
Pour obtenir un résultat pertinent, il convient de :
Cet auditeur est par ailleurs augmenté, car l’exécution des tâches est immédiate, le spectre des tâches à confier est très large, et sa capacité de travail est non contrainte par la réglementation sociale.
Selon le Larousse, un outil est un « objet fabriqué, utilisé manuellement ou sur une machine pour réaliser une opération déterminée ». Aussi, l’outil ne fait pas à la place de l’homme, c’est l’homme qui utilise l’outil dans un objectif bien déterminé. Par ailleurs, l’outil a ses propres limites d’utilisation. C’est exactement la situation rencontrée avec ChatGPT. Il n’est pas efficace ou pertinent en soi, mais c’est la maîtrise qui peut le rendre pertinent.
Pour beaucoup d’outils, la maîtrise est dans le geste de l’artisan, or la maîtrise de ChatGPT est dans l’art du prompt. Ce dernier est le vecteur d’interactions avec ChatGPT, la manière de lui poser des questions ou de lui donner des instructions.
Parmi les éléments qui influent sur la qualité de la réponse figurent le fait de :
Par ailleurs, comme tous les outils, il possède des contraintes techniques intrinsèques. Tout d’abord, ses réponses sont limitées à 4096 mots, ce qui a une incidence sur la façon de lui poser les questions. Si la question est trop ouverte, les réponses seront très génériques, car il n’est pas possible de rentrer dans le détail en 4000 mots. Si la question est trop fermée, il aura tendance à délayer un peu la réponse.
Autre caractéristique : à une même question, la réponse n’est jamais exactement la même et ChatGPT ne sait pas dire « je ne sais pas ». Il a toujours une réponse, au risque que cette dernière ne soit pas toujours pertinente. Ainsi, une question mal posée ou non pertinente aura quand même une réponse !
En conclusion, l’utilisation de ChatGPT pour l’audit interne n’est ni plus ni moins qu’une nouvelle compétence essentielle à acquérir par les auditeurs internes, et certainement pas une compétence accessoire significative. Si cette compétence est maîtrisée, la valeur ajoutée apportée peut être importante.
Par ailleurs, plus que jamais, l’esprit critique de l’auditeur doit s’exercer face à la contribution de cet outil, car l’intelligence de ce dernier est artificielle, la qualité des réponses est biaisée par la qualité de nos prompts et par sa base d’apprentissage qui est très vaste et non spécifique, et surtout parce que nous restons in fine responsables de nos livrables. Il doit être appréhendé comme un outil d’amélioration de la performance et de la pertinence de nos travaux et non comme un outil de substitution.
