ChatGPT a récemment connu d’importantes interruptions de service qui ont laissé des millions d’utilisateurs dans l’impossibilité d’accéder à la plate-forme via leurs navigateurs web ou leurs appareils mobiles
Ce n’est pas la première fois que ChatGPT se retrouve indisponible ou à pleine capacité, et ce n’est sans doute pas la dernière. Alors, où se situe le problème ? Thomas Kunnumpurath, vice-président Systems Engineering for Americas chez Solace, explique :
ChatGPT doit traiter un fort volume de demandes entrantes provenant de ses utilisateurs. En raison de sa popularité, de sa croissance rapide et de son imprévisibilité, ChatGPT est fréquemment submergé et a du mal à répondre à la demande qui peut être extrêmement volatile et arriver « en rafales.
À l'heure actuelle, nous commençons à voir des messages d'erreur du type « ChatGPT est à pleine capacité » pour les utilisateurs de la version gratuite et payante de ChatGPT. Les pannes récentes de ChatGPT n'en sont qu'à leur début et sont symptomatiques de la saturation du système qui peine à s'adapter rapidement pour répondre à un trafic en croissance constante et concurrencer de nouveaux arrivants sur le marché comme Google Bard.
C'est précisément là où peut intervenir un nouveau type d'architecture logicielle orientée événements (EDA). En effet, de par sa nature structurelle, l'EDA est en mesure de faire face et d'assurer la continuité des diverses opérations d'une entreprise utilisant un outil d'IA générative tel que ChatGPT.
Dans le cas d'une surcharge de ChatGPT, la mise en œuvre de l'EDA est capable d'absorber les demandes et de les traiter de manière asynchrone en les répartissant sur de multiples microservices orientés événements au fur et à mesure du rétablissement du service ChatGPT. Grâce à ce genre de services découplés, la défaillance d'un service ne se répercute pas sur les autres.
Le broker d'événements, composant clé de l'architecture orientée événements, est un intermédiaire adaptatif servant de tampon, qui mémorise les événements et les remet en ligne dès que le service est rétabli. Grâce à cette intervention, les instances de service peuvent être rapidement ajoutées à l'échelle car elles n'entraînent aucun temps d'arrêt, améliorant ainsi la disponibilité et l'évolutivité.
Avec l'aide de l'EDA, les utilisateurs des services ChatGPT et autres outils d'IA générative peuvent demander à tout moment ce dont ils ont besoin, et ChatGPT leur renverra les résultats dès qu'ils sont prêts. Ils n'ont pas besoin de ressaisir leur demande pour obtenir une réponse générative, ce qui améliore l'évolutivité générale et réduit les délais de réponse.