Avis de soutenance - doctorat - Anna SCIUS-BERTRAND | École Pratique des Hautes Études

Soutenue par Anna SCIUS-BERTRAND

Analyse automatique sans annotation de manuscripts vietnamiens anciens

L'histoire du Vietnam est principalement basée sur des documents écrits par la cour et le clergé, la vie du peuple y est peu présente. Heureusement pour les historiens, des stèles de pierre ont été gravées par les villageois pendant plusieurs siècles. Elles contiennent une grande quantité d'informations sur l'histoire économique, sociale, religieuse et juridique des villages et de leurs habitants. Ces informations sont dispersées sur des dizaines de milliers d'images numériques de ces stèles. L'objectif de cette thèse est de développer des méthodes pour faciliter l'étude de ces stèles par les historiens afin d'extraire automatiquement les différents éléments textuels des images des stèles et identifier les stèles contenant des mots-clés. Au vue de la littérature dans le domaine, l'apprentissage automatique semble être prometteur pour répondre à cet objectif. Une des principale limitation des algorithmes d'apprentissage automatique est le besoin de données annotées pour l'entrainement. Or il existe peu d'images de stèles annotées. C'est pourquoi cette thèse vise à concevoir des méthodes d'analyse de l'écriture manuscrite avec peu ou pas de données annotées. Elles se basent sur une combinaison d'algorithme d'apprentissage automatique et d'algorithme dit classiques. Plusieurs typologie de réseau neuronal convolutif profond ont été étudié tel que le U-Net, les réseaux de détection d'objet ou encore les réseaux antagonistes génératifs (GAN). En complément de ces réseaux, des algorithmes plus classiques ont été utilisés, notamment des algorithmes de segmentation basés sur le seam carving, des algorithmes de clustering non-supervisé et des algorithmes de correspondance des formes à l'aide de représentations basées sur des graphes. Cette thèse compte principalement cinq contributions. La première est l'analyse de mise en page et la segmentation des colonnes avec peu de vérité de terrain. Les contributions suivantes ont été réalisées entièrement sans annotation. Il s'agit de l'alignement de transcription, la détection de caractères, la génération de caractères synthétiques et la recherche de mot-clé. Les expérimentations ont été conduites sur une base de données d'images d'inscription sur stèle et de pages de manuscrits écrits avec le même script. A travers ces travaux, il a été mis en évidence qu'un grand nombre de tâche d'analyse de document appliquée à des manuscrits vietnamiens pouvaient se réaliser sans annotation grâce au transfert de conaissances entre les caractères imprimés et les caractères écrit à la main. Dans de futurs recherches il serait intéressant de voir dans quelle mesure il est possible de transcrire automatiquement les inscriptions sur stèles sans annotation et de tester ces méthodes sur d'autres scripts.

Annotation-free document analysis for historical Vietnamese manuscripts

The history of Vietnam is mainly based on documents written by the court and the clergy, the life of the common people is not much present. Fortunately for historians, stone steles have been engraved by villagers for several centuries. They contain a great deal of information about the economic, social, religious and legal history of the villages and their inhabitants. This information is spread over tens of thousands of digital images of these steles. This thesis aims to develop methods to facilitate the study of these steles by historians in order to automatically extract the different textual elements from the images of the steles and to identify the steles containing key words. According to the state of the art, machine learning seems to be promising to achieve this goal. One of the main limitations of machine learning is the need for training using annotated data. However, there are few annotated images of steles. This is why this thesis intends to design handwriting analysis methods with little or no annotation. Those methods are based on a combination of machine learning and classical algorithms. Several types of deep convolutional neural networks have been studied such as U-Net, object detection networks or Generative Adversarial Networks (GAN). In addition to these networks, more classical algorithms have been used, such as segmentation algorithms based on seam carving, unsupervised clustering algorithms and shape matching algorithms using graph-based representations. This thesis has five main contributions. The first is layout analysis and column segmentation with limited amount of ground truth. The following contributions were performed entirely without annotation. These are transcription alignment, character detection, synthetic character generation and keyword spotting. The experiments were performed on a database of images of stele inscriptions and manuscript pages written with the same script. In this thesis, it was shown that a large number of document analysis tasks applied to Vietnamese manuscripts could be performed without annotation thanks to the knowledge transfer between printed and handwritten characters. In future research it would be interesting to investigate if it is possible to automatically transcribe steles inscriptions without annotation and to test the proposed methods on other scripts.

Directeur de thèse :

Marc BUI

Unité de recherche :

Archéologie et Philologie d'Orient et d'Occident

Membres du jury :

Directeur de thèse : Marc BUI
Rapporteur : Marie BEURTON-AIMAR , Professeur des universités (Université de Bordeaux)
Rapporteur : Josep LLADÓS , Professeur des universités (Universitat Autònoma de Barcelona)
Examinateur : Véronique EGLIN , Professeur des universités (INSA Lyon)
Examinateur : Jean-Marc OGIER , Professeur des universités (Université de La Rochelle)
Président : Peter STOKES

Diplôme :

Doctorat Systèmes intégrés, environnement et biodiversité

Spécialité de soutenance :

Informatique et statistiques,et cognition