UTML : une nouvelle technologie pour lever les derniers freins sur l’IA

Dans le domaine de la relation client, les IA ont à présent démontré leur performance, et la majorité des consommateurs sont à présent satisfaits de leur prise en charge par un bot (voir note 1).

Quel est le frein principal au déploiement de l’IA dans la relation client ?

Alors que nombre de cas d’usages pourraient bénéficier d’intelligence artificielle, depuis quelque temps maintenant les organisations marquent le pas et les projets restent dans les cartons. Notre expérience approfondie parmi plus de 40 grandes entreprises et administrations françaises a mis en évidence le frein principal (voir note 2) : les indispensables données d’entraînement.

De nombreux acteurs ont bien compris le besoin du marché sur ce point (et on salue la très belle réussite des jeunes français d’HuggingFace). Mais si ces offres sont de plus en plus performantes pour des besoins génériques comme par exemple l’analyse de sentiments. Elles ne sont pas adaptées au traitement des demandes des clients des entreprises ou des usagers des services publics, parce que ces traitements nécessitent un entraînement très spécifique sur le métier et le vocabulaire interne de l’organisation.

Bref, pas d’autre solution pour lancer un projet, jusqu’à ce jour, que d’obtenir des experts métier qu’ils annotent des messages. Or non seulement cela suppose un investissement important pour des personnes déjà très sollicitées (compter entre 30 et 60 jours.homme), mais en plus ces annotations doivent se faire selon des plans de classements qui, construits pour rendre une IA performante, ne parlent pas vraiment le langage des conseillers. Autrement dit, ce travail est coûteux, fastidieux, et d’une fiabilité assez souvent insuffisante (voir note 3).

En quoi UTML est-il effectivement une solution ?

Beaucoup de données sont présentes dans les applications internes : messages de clients dans les CRM, workflows… etc, auxquels sont associées des qualifications, des actions, des réponses. Alors pourquoi les modèles d’IA ne sont-ils pas entraînés directement à partir de ces informations ?

Prenons un exemple, dans l’assurance. Un assuré envoie un mail, qui est enregistré dans son historique. Un conseiller le qualifie en « demande d’attestation de rentrée scolaire », choisit un message de réponse, et son application déclenche automatiquement l’envoi du mail de réponse avec, en pièce-jointe, l’attestation demandée.

- On pourrait croire que c’est assez simple pour que n’importe quelle IA puisse automatiser ce travail à faible valeur ajoutée. Et aussi assez standard pour qu’une solution très verticale puisse être trouvée pour un prix minime. En réalité, non ce n’est pas simple. La demande de l’assuré peut être ambiguë, elle peut porter sur d’autres sujets. Toutes les équipes qui ont mené ce type de projet le savent : pour qu’un modèle soit suffisamment fiable, il faut qu’il ait été entraîné sur tous les messages du « flux de relation client », et que ce modèle soit capable de détecter au minimum les principaux motifs. Donc, si on veut exploiter directement les informations présentes dans le S.I., il faut le faire à partir d’échantillons suffisamment représentatifs, et qui couvrent l’ensemble des qualifications.

- C’est là qu’apparaît le verrou technologique : les informations présentes dans le S.I. sont des résultats : les données en question ne sont pas seulement le fruit de la compréhension du message par le conseiller, mais elles font suite à l’application de « Règles Métier » qui structurent les processus internes, ou de « Base de Connaissance » qui organisent la façon d’analyser une question pour trouver une réponse. Dans notre exemple d’attestation scolaire, imaginons que le client a demandé si son contrat lui permettait d’obtenir une attestation :
  - chez un 1^er assureur, la qualification enregistrée sera « garantie non couverte »
  - chez un autre « opportunité de vente au rebond »

- Bien sûr, un « deep learning » est en principe capable d’adapter son modèle pour exploiter directement ces qualifications, mais cela nécessite un volume de données très important, incompatible avec ce qui est disponible dans les S.I. Par ailleurs, la fiabilité serait insuffisante, parce que les règles métier sont d’une nature différente de ce qu’un modèle d’IA apprend : elles doivent systématiquement être appliquées. Autrement dit, pour comprendre une qualification présente dans le S.I. il est obligatoire d’identifier la ou les règles métier (resp. le questionnement déroulé, pour une base de connaissance) qui ont été appliquées pour obtenir ce résultat : c’est cela le principe sur lequel repose UTML

Les bénéfices d’UTML pour une entreprise ou une administration, c’est donc une utilisation directe de ses données, et aussi un apprentissage optimal (fiabilité et rapidité), puisque les messages se retrouvent annotés, sans perte de qualité, selon le formalisme du modèle d’IA qui a été choisi.

Que fait UTML et comment l’utiliser ?

1. Générez vos datasets d’apprentissage
  - - Faites simplement une extraction des données enregistrées dans vos S.I. autour des messages de vos clients. Nous préconisons qu’un administrateur métier effectue un contrôle de qualité, par exemple pour éliminer ce qui correspond à des processus périmés, ou au fruit du travail de conseillers trop juniors. Quelques heures suffisent et vous disposez de vos données d’apprentissage, le plus souvent sous un format XLS.

1. Protégez vos données
  - - Lorsqu’UTML est utilisé seul (non intégré dans une IA OWI), les textes des messages ne sont pas utiles, et vous pouvez donc préparer des fichiers qui contiennent uniquement l’identifiant du message et les qualifications présentes dans votre S.I. : aucune donnée sensible ou personnelle.
  - - Lorsqu’UTML est utilisé au sein d’une solution OWI, cette nouvelle utilisation n’impacte en rien les garanties dont vous bénéficiez.

1. Configurez UTML
  - - Cataloguez vos données : Par un simple chargement de ce fichier, vous visualiserez la liste des données issues de votre S.I. Vous pourrez ainsi identifier des erreurs éventuelles dans ces libellés et les corriger directement dans votre fichier.
  - - Choisissez un modèle d’IA en fonction de votre activité : UTML ne s’intéresse pas à la structure profonde du modèle d’IA, mais uniquement à l’organisation des informations qu’il produit : la petite partie émergée de l’iceberg. À noter : ce paramétrage peut être obtenu par chargement de fichier ou par saisie. Bien sûr, si votre IA est OWI, il vous suffit de désigner le modèle et de l’intégrer dans votre environnement.
  - - Saisissez vos règles métier (resp. la structure de votre base de connaissance): Par rapport à ce qui se trouve dans votre documentation interne, il est souvent nécessaire d’adapter le formalisme des règles métier pour remplacer certaines formulations par les libellés précis des informations issues du modèle d’IA. C’est un travail indispensable parce qu’il vous permet de vous assurer que le modèle que vous avez choisi convient. D’ailleurs, le plus souvent, vous constaterez le besoin d’y faire quelques adaptations (très simples à saisir dans l’écran OWI). Cette tâche peut également être faite dans un fichier XLS, qui sera ensuite intégré automatiquement. Aucune surcharge : ce travail, vous l’auriez fait même sans UTML, puisque ce sont ces mêmes règles métier qui seront utilisées dans le fonctionnement cible de votre cas d’usage, que vous utilisiez ou non la solution OWI (dans ce dernier cas, un export sous format XLS vous permettra d’initialiser ensuite une solution tierce).

1. Lancez la Transformation : C’est prêt : UTML dispose de toutes les informations nécessaires. Lancez la Transformation et observez les annotations qui apparaissent. Si vous utilisez le Machine Learning d’OWI, vous pouvez le lancer. Sinon, vous récupérez dans un fichier XLS des messages annotés conformes au modèle qu’ils vont permettre d’entraîner. De nouvelles extractions de votre S.I. sont disponibles ? Quelques clics pour intégrer et transformer ce nouveau fichier.

1. En continu aussi, automatiquement : Nous mettons à disposition des web services de « signalement » qui permettent d’envoyer en temps réel dans UTML ce qui correspond à une ligne de fichier d’un dataset d’apprentissage, la transformation est ainsi effectuée en temps réel. Et dans le cadre des solutions OWI (mailbot, chatbot, callbot), UTML exploite directement les informations obtenues grâce aux actions ou réactions des conseillers et des clients pour produire des annotations. C’est ainsi qu’UTML permet l’amélioration continue de la solution.

1. SaaS ou on premise : Pour UTML « seul » (disponible à partir de la version V6.3) comme pour toute solution OWI, vous avez le choix entre une solution SaaS sécurisé ou une installation en quelques clics sur un de vos serveurs. Enfin, UTML est nativement présent dans toutes les solutions OWI (mailbot, chatbot, callbot, analytics) à partir de la version V6.2.

Comment ça marche (aperçu) ?

UTML cherche à « inverser » les calculs qui auraient été effectués à partir des résultats produits par l’IA pour obtenir les résultats choisis par les conseillers (note 4). Ces calculs sont de natures diverses, en particulier des règles métier ou la structure d’une base de connaissance : dans l’approche retenue sur UTML, nous remontons en niveau d’abstraction, ce qui assure non seulement des résultats précis, mais aussi des traitements plus rapides.

L’algorithme d’UTML suit la logique d’un « SAT Solver » appliqué aux résultats S.I. attendus :

- Les règles métier et/ou la base de connaissance sont généralisées en un graphe dirigé acyclique, où chaque nœud est une étape du « raisonnement » qui traite un message à partir des résultats de l’IA. Chaque arrête correspond à la condition permettant de passer d’un nœud à un autre, et que l’on associe à une formule logique.

- Pour chaque message, les annotations sur les données du S.I. sont encodées sous forme de formules logiques : on repère les nœuds du graphe qu’il faut atteindre, on trouve les chemins permettant d’y arriver, et on compose les formules correspondant aux arrêtes. On aboutit à une formule logique impliquant les résultats de l’IA, dont la satisfaction est équivalente au bon traitement du message.

- On applique ensuite un algorithme de logique formelle pour déterminer les résultats permettant de satisfaire cette formule :
  - - Convertie en « Conjunctive Normal Form », la formule fait apparaître les résultats directement nécessaires au bon traitement du message
  - - On applique des règles de simplification logique ((a∨b)∧(¬a∨b)≡b, par exemple) pour réduire la taille de la formule et éviter de créer des annotations « bruitées »
  - - Lorsque l’on doit faire un choix sur une valeur pour avancer dans la résolution, on essaie toujours d’utiliser les résultats précédemment produits par le modèle, pour aboutir à des annotations qui ne sont pas trop « éloignées » du modèle en production.

- Il ne reste qu’à transcrire les résultats fournis par cet algorithme sous forme d’annotation.

L’utilisation de la logique formelle donne une grande flexibilité au processus : n’importe quel modèle ML de classification est compatible avec cette approche, en représentant les différentes classes possibles par des variables booléennes.

Note 1 : Adoption des bots par les consommateurs

85% des interactions client-marque impliqueront l’usage de chatbots en 2022.*

69% des clients préfèrent les chatbots intelligents à l’échange humain pour leur rapidité.**

74% des clients souhaitent avoir une conversation avec un humain pour des demandes plus complexes.

*Gartner (2018) cité dans Building the AI-powered customer center of the future by Customer Think (June 2018)
**Ubisend – Chatbot Survey (2017)

Note 2 : Principaux freins

Analyse détaillée des principales causes, parmi les projets sur lesquels ont été rencontrées des difficultés

Note 3 : Produire des données d’entraînement : ce qui ne fonctionne pas

17 projets ont été en difficulté à cause du manque de données d’entraînement, et pourtant la difficulté de la transposition de données métier en annotations IA était anticipée.

Pour 11 de ces projets, nous avons évalué que c’est principalement la personne en charge de cette mission (trop technique), qui n’a pas réussi à bien comprendre le langage des métiers, ce qui s’est traduit par une démotivation générale et, au final, des annotations non fiables.

Pour 3 de ces projets, l’intervenant externe qui avait été missionné par le client à la place des métiers a fourni des annotations non conformes à la réalité des attentes de ces métiers.

Note 4 : Amélioration continue

Lorsque le modèle d’IA fonctionne déjà, en production ou en pilote, UTML va exploiter les résultats produits par votre solution d’IA et, en plus tagger précisément le ou les « nœuds » causes de l’erreur, pour fiabiliser le fonctionnement du machine learning en amélioration continue