Comment créer un backend de traitement intelligent des documents avec iii à l'aide de Workers, de fonctions et de déclencheurs Cron

Le secteur de l’IA vient d’être le théâtre d’un développement notable.

Comment créer un backend de traitement intelligent des documents avec iii à l’aide de Workers, de fonctions et de déclencheurs Cron

Dans ce tutoriel, nous mettons en place un workflow d’intelligence documentaire avec iii. Nous commençons par installer le moteur iii et le SDK Python, puis nous lançons le moteur en tant que processus d’arrière-plan et y connectons un worker Python. Une fois la configuration terminée, nous enregistrons des fonctions distinctes pour la normalisation du texte, la tokenisation, l’analyse des sentiments, l’extraction de mots-clés, la génération de rapports et la surveillance de l’activité. Nous combinons ensuite ces fonctions au sein d’un pipeline d’analyse unique et exécutons la même logique via un appel direct, un point de terminaison HTTP, une exécution « fire-and-forget » et un déclencheur cron planifié. Ce faisant, nous suivons également l’état d’exécution de base, ce qui rend le flux de travail plus proche d’un véritable système backend que d’une simple démonstration statique dans un notebook. Découvrez l’intégralité des codes ici.

De plus, nous commençons par importer les modules Python nécessaires et par configurer le chemin d’accès aux binaires locaux pour le moteur III. Nous définissons une petite fonction d’aide permettant d’exécuter des commandes shell et d’installer le moteur III s’il n’est pas déjà disponible. Nous installons aussi le SDK Python et le module requests, puis nous vérifions l’installation d’iii en vérifiant sa version.

Nous définissons une petite fonction d’aide permettant d’exécuter des commandes shell et d’installer le moteur III s’il n’est pas déjà disponible.

Nous lançons le moteur iii en tant que processus d’arrière-plan et attendons que son port WebSocket soit disponible. Nous connectons ensuite un worker Python au moteur en cours d’exécution et mettons en place une prise en charge facultative des déclencheurs « fire-and-forget ». Nous définissons en outre un état partagé en mémoire, un verrou de thread, de cette manière que des ensembles simples de mots positifs et négatifs pour l’analyse des sentiments.

Nous définissons les fonctions principales utilisées dans le processus d’analyse de texte, notamment la normalisation, la tokenisation, la détection du sentiment et l’extraction de mots-clés. Nous créons ensuite une fonction d’analyse qui achemine chaque étape via le moteur III au lieu d’appeler directement toutes les fonctions. Nous ajoutons par ailleurs des fonctions de génération de rapports, de gestion HTTP et de vérification de l’activité avant de les enregistrer toutes auprès du worker.

Par ailleurs, nous enregistrons un déclencheur HTTP afin que le pipeline d’analyse puisse être appelé via une requête POST. Nous essayons également d’enregistrer un déclencheur cron qui exécute la fonction de vérification de l’état à une fréquence fixe, tout en la sautant en toute sécurité si la version du moteur ne prend pas en charge ce schéma. Nous connectons ensuite le worker et attendons quelques instants afin que les fonctions et déclencheurs enregistrés soient prêts à être utilisés.

Nous testons l’ensemble du workflow III en envoyant des documents texte d’exemple via le pipeline d’analyse enregistré. Nous appelons ensuite cette même logique via HTTP, testons l’exécution « fire-and-forget » et vérifions si le signal de vie cron fonctionne. Enfin, nous générons le rapport d’état agrégé et affichons la fin du journal du moteur pour obtenir une visibilité de base sur l’exécution.

En conclusion, nous disposons d’un mécanisme III opérationnel qui traite le texte à l’aide de fonctions modulaires et enregistrées, plutôt que d’un script unique et figé. Nous avons analysé des documents types, exposé le pipeline via HTTP, testé l’exécution asynchrone, suivi l’activité des signaux de santé et généré un rapport d’état global. Ce tutoriel présente l’exemple de manière claire tout en illustrant le principe de fonctionnement principal de iii : définir des fonctions une seule fois, les enregistrer auprès d’un worker, puis les réutiliser via différents déclencheurs et chemins d’exécution. Il présente également comment de petites fonctions peuvent être reliées de manière claire à mesure que le workflow évolue vers une outil plus prête pour la production.

L’avenir dira si cette annonce tient toutes ses promesses.

Sur le même sujet :

Source : MarkTechPost : MarkTechPost