Utilisation de Lift pour convertir des fichiers PDF de recherche en éléments JSON structurées, avec une évaluation contrôlée au niveau des champs, guidée par un schéma

L’intelligence artificielle reste au cœur de toutes les attentions.

Dans ce tutoriel, nous mettons en place un workflow complet d’extraction de informations structurées à partir de fichiers PDF à l’aide de Lift, en mettant l’accent sur une évaluation rigoureuse plutôt que sur une simple démonstration. Nous commençons par mettre en place un environnement GPU compatible avec Colab, en sélectionnant le mode de précision adapté au matériel disponible, puis en modifiant le chargement du modèle afin de garantir que le backend Lift fonctionne de manière fiable, même sur des GPU limités à 16 Go, grâce à la quantification NF4 sur 4 bits. À partir de là, nous générons des rapports de recherche synthétiques de plusieurs pages contenant des éléments de diversion placés délibérément, notamment une ambiguïté concernant les indicateurs de validation par rapport à ceux des tests, des comparaisons entre le modèle de référence et le modèle proposé, des cas où le code n’a pas été publié, par conséquent que des affirmations booléennes sur l’état de l’art. Cela offre un environnement de test réaliste pour l’extraction guidée par schéma, dans lequel le modèle doit extraire les titres, les auteurs, les ensembles de données, les métriques, les hyperparamètres, les limites et les liens vers les référentiels à partir de la mise en page des documents plutôt qu’à partir de texte brut.

Nous configurons l’environnement d’exécution du tutoriel en définissant les principaux paramètres d’exécution : taille du corpus, mode de précision, rendu de l’aperçu et extraction facultative de fichiers PDF réels. Nous installons par ailleurs les dépendances essentielles requises pour la génération de fichiers PDF, le rendu, la création de graphiques et le backend Hugging Face de Lift. La logique d’intégration de Pillow est importante car elle offre la possibilité d’éviter un problème de compatibilité connu avec Colab : les versions récentes de Pillow peuvent en effet perturber les importations en aval via TorchVision et Transformers.

Autre élément, nous préparons le backend Liftinference en détectant les GPU CUDA disponibles, en estimant l’utilisation de la VRAM et en choisissant entre un chargement en pleine précision et un chargement NF4 sur 4 bits. Le patch 4 bits intègre une configuration de quantification BitsAndBytes dans les chargeurs de modèles Transformers compatibles, ce qui permet au modèle de tenir sur des GPU moins puissants, tels que les T4 ou les L4. Nous initialisons ensuite un InferenceManager réutilisable qui évite de recharger le modèle pour chaque document et rend le pipeline d’extraction adapté au traitement par lots.

D’un autre côté, nous définissons un corpus synthétique, de petite taille mais soigneusement contrôlé, de rapports de exploration sur l’apprentissage automatique, doté de métadonnées structurées. Chaque document comprend des champs réalistes tels que les auteurs, les ensembles de données, les indicateurs de référence, les hyperparamètres, la taille du modèle d’IA, la disponibilité du code, les limites et les affirmations relatives à l’état de l’art (SOTA). La fonction `ground_truth` reformate les mêmes métadonnées sources pour leur donner la structure JSON exacte attendue par le schéma d’extraction, fournissant ainsi une référence précise pour l’évaluation.

Nous générons chaque rapport de travaux de recherche synthétique sous forme de fichier PDF de plusieurs pages à l’aide de ReportLab, en incluant des sections mises en page, des tableaux, des sauts de page, des métadonnées relatives aux auteurs, les retombées et les limites. La mise en page répartit délibérément les éléments probants importants sur plusieurs pages, afin que la tâche d’extraction s’apparente davantage à une véritable exploration de documents qu’à un simple analyse syntaxique de texte. L’aperçu de page (en option) utilise pypdfium2 et Matplotlib pour vérifier ce que le modèle reçoit visuellement avant le début de l’extraction.

Nous définissons un schéma JSON qui indique précisément à Lift quels champs extraire et comment chaque champ doit être interprété. Les descriptions de schémas revêtent une importance technique, car elles permettent de distinguer les valeurs des méthodes proposées des valeurs de référence, les métriques de test des métriques de validation, ainsi que les URL du code publié des cas explicites « sans code ». Cela transforme la tâche d’extraction en une tâche de recherche d’informations contrôlée et guidée par un schéma, plutôt qu’en une tâche de synthèse ouverte.

Une chose est sûre : le secteur continue d’avancer à grande vitesse.

Sur le même sujet :

D’après MarkTechPost : MarkTechPost