Une expérience menée par le BCG (Boston Consulting Group) avec le soutien de la Harvard Business School, de la MIT Sloan School of Management, de la Wharton School, de l'Université de Pennsylvanie et de l'Université de Warwick, a démontré que l'IA générative sera un puissant vecteur d'avantage concurrentiel dans les années à venir pour les entreprises qui parviendront à l’utiliser pour répondre à leurs problématiques opérationnelles.
Une étude scientifique paradoxale
Dans cette expérience scientifique inédite, il a été prouvé que lorsque l'IA générative (en l’occurrence, GPT-4 d'OpenAI) est utilisée de la bonne manière auprès de consultants, ses capacités sont telles qu’elle peut parfois se retourner contre eux. En fait, il n'est pas toujours évident de déterminer quand l’IA est (ou n'est pas) adaptée à ses besoins. Cela peut d’ailleurs avoir de graves conséquences. Lorsqu'elle est utilisée à mauvais escient, pour les mauvaises tâches, l'IA générative peut entraîner une importante destruction de valeur.
Néanmoins, la possibilité d'améliorer ses performances est globalement stupéfiante. Lors de l'utilisation de l'IA générative pour concevoir de nouveaux produits, une tâche impliquant l'idéation et la création de contenu, environ 90 % des participants ont amélioré leurs performances. Qui plus est, ils ont convergé vers un niveau de performance supérieur de 40 % à celui des personnes travaillant sur la même tâche sans GPT-4.
Finalement, les conclusions décrivent un paradoxe : les personnes interrogées semblent se méfier de la technologie dans les domaines où elle peut apporter une valeur ajoutée considérable et lui faire trop confiance dans les domaines où elle n'est pas compétente. Par ailleurs, l’étude montre que la production relativement uniforme de l’IA générative peut réduire la diversité de pensée d'un groupe de 41 %.
L'ampleur exacte des effets constatés pourra légitimement varier dans d'autres contextes. Mais ces résultats mettent en évidence un moment crucial de prise de décision pour les dirigeants de tous les secteurs d'activité. Ils doivent réfléchir de manière critique au travail effectué par leur organisation et aux tâches qui peuvent bénéficier de l'IA générative ou en pâtir. Cela implique d’aborder son adoption comme un effort de gestion du changement couvrant l'infrastructure des données, des tests et des expérimentations rigoureux, ainsi qu'une refonte des stratégies existantes en matière de recherche de talents. Peut-être plus important encore, les dirigeants devront continuellement réévaluer leurs décisions au fur et à mesure que la frontière des compétences de l'IA générative s’étend.
L’enjeu crucial de la valeur
Les résultats de l’étude montrent clairement que l'adoption de l'IA générative est une arme à double tranchant. En effet, les participants qui ont utilisé GPT-4 pour l'innovation créative de produits ont obtenu des résultats supérieurs de 40 % à ceux du groupe de contrôle (ceux qui ont accompli la tâche sans utiliser le GPT-4). En revanche, pour la résolution de problèmes commerciaux, l'utilisation du GPT-4 s'est traduite par des performances inférieures de 23 % à celles du groupe de contrôle.
La tâche d'innovation créative en matière de produits demandait aux participants de concevoir de nouveaux produits et des plans de mise sur le marché. La tâche de résolution de problèmes commerciaux demandait aux participants d'identifier les causes profondes des difficultés d'une entreprise sur la base de données de performance et d'entretiens avec des cadres. De manière assez contre-intuitive, les modèles actuels d’IA générative ont tendance à mieux réussir le premier type de tâche. En effet, il est plus facile pour les LLM de trouver des idées créatives, nouvelles ou utiles, basées sur des grandes quantités de données sur lesquelles ils ont été entraînés. La marge d'erreur est en revanche plus grande lorsqu'il s’agit d’étudier des données qualitatives et quantitatives nuancées pour répondre à une question complexe.
Plus frappant encore, de nombreux participants ayant utilisé GPT-4 pour cette tâche ont accepté les résultats erronés de l'outil. Il est probable que la capacité de GPT-4 à générer un contenu persuasif ait contribué à ce résultat. Nombre d'entre eux ont d’ailleurs confirmé qu'ils trouvaient très convaincante la justification que GPT-4 offrait pour ses résultats (même si, en tant que LLM, il a proposé la justification après la recommandation, plutôt que de créer la recommandation sur la base de la justification).
Dans quel contexte utiliser l’IA générative ?
Le lien étroit entre les performances et le contexte dans lequel l'IA générative est utilisée soulève donc une question importante concernant la formation : le risque de destruction de valeur peut-il être atténué en aidant les personnes à comprendre dans quelle mesure la technologie est adaptée à une tâche donnée ? Il serait rationnel de supposer que si les participants connaissaient les limites de GPT-4, ils sauraient ne pas l'utiliser, ou l'utiliseraient différemment, dans ces situations.
Cependant, les effets négatifs du GPT-4 sur la tâche de résolution de problèmes commerciaux n'ont pas disparu lorsque les sujets ont reçu un aperçu de la manière d'utiliser GPT-4 et des limites de la technologie.
Plus étonnant encore, ils ont obtenu des résultats nettement moins bons en moyenne que ceux qui n'ont pas reçu cette simple formation avant d'utiliser le GPT-4 pour la même tâche. Ce résultat contradictoire pourrait révéler un excès de confiance des participants dans leurs propres capacités à utiliser GPT-4, précisément parce qu'ils avaient été formés.
A propos de StoryShaper :
StoryShaper est une start-up innovante qui accompagne ses clients dans la définition de leur stratégie digitale et le développement de solutions d’automatisation sur-mesure.
Sources : StoryShaper, BCG.
