ACCUEIL

Consignes aux
auteurs et coordonnateurs
Nos règles d'éthique
Autres revues >>

Document Numérique

1279-5127
 

 ARTICLE VOL 19/2-3 - 2016  - pp.135-157  - doi:10.3166/dn.19.2-3.135-157
TITRE
Using BLSTM for interpretation of 2-D languages. Case of handwritten mathematical expressions

TITLE
Reconnaissance de langages 2-D par BLSTM. Application aux expressions mathématiques manuscrites

RÉSUMÉ

Nous proposons une extension de l’utilisation classique des réseaux de type BLSTM pour leur permettre de traiter des données provenant de langages graphiques bidimensionnels tels que les formules mathématiques manuscrites. La solution proposée repose sur un parcours respectant l’ordre temporel des traits. Il en résulte une séquence alternant les étiquettes de symboles et les étiquettes des relations spatiales. Dans le cas des expressions purement linéaires (1-D), nous utilisons l’étiquette « Right » pour permettre la segmentation entre les symboles. Pour une extension au cas des expressions véritablement bidimensionnelles (2-D), nous utilisons autant de nouvelles étiquettes qu’il y a de relations spatiales différentes entre les sous-expressions. Les BLSTM sont appris en utilisant la stratégie CTC que nous avons adaptée pour fournir un étiquetage aligné avec les traits de l’encre. Il en résulte que les réseaux BLSTM



ABSTRACT

In this work, we study how to extend the capability of BLSTM networks with CTC to process data which are not only text strings but graphical two-dimensional languages such as handwritten mathematical expressions. An online math expression is a sequence of strokes which is later labeled by BLSTM network. Besides normal math symbols, we introduce 6 additional specific labels assigned to each of the different possible spatial relationships that exist between sub-expressions. The output of BLSTM network with CTC is a sequence of labels. Our aim is to build a two-dimensional (2-D) expression from this sequence of labels. CTC technology is a good choice for sequence transcription tasks but does not provide the alignment between the inputs and the target labels. In our case, we need the labels of strokes in the building process. A local CTC is proposed to solve this problem. As a result, BLSTM network is able to perform at the same time the symbol recognition task, the segmentation task and the relationship recognition task, which is a new perspective for the mathematical expression domain.



AUTEUR(S)
Ting ZHANG, Harold MOUCHÈRE, Christian VIARD-GAUDIN

MOTS-CLÉS
reconnaissance d’expressions mathématiques, écriture manuscrite, réseau récurrent, BLSTM, local CTC. DOI:10.3166/DN.19.2-3.135-157 c 2016 Lavoisier

KEYWORDS
handwritten mathematical expression, online handwriting, recurrent neural network, BLSTM, local CTC. MOTS-CLÉS : reconnaissance d’expressions mathématiques, écriture manuscrite, réseau récurrent, BLSTM, local CTC. DOI:10.3166/DN.19.2-3.135-157 c 2016 Lavoisier

LANGUE DE L'ARTICLE
Français

 PRIX
• Abonné (hors accès direct) : 7.5 €
• Non abonné : 15.0 €
|
|
--> Tous les articles sont dans un format PDF protégé par tatouage 
   
ACCÉDER A L'ARTICLE COMPLET  (493 Ko)



Mot de passe oublié ?

ABONNEZ-VOUS !

CONTACTS
Comité de
rédaction
Conditions
générales de vente

 English version >> 
Lavoisier