ACCUEIL

Consignes aux
auteurs et coordonnateurs
Nos règles d'éthique
Autres revues >>

Document Numérique

1279-5127
 

 ARTICLE VOL 17/3 - 2014  - pp.97-122  - doi:10.3166/dn.17.3.97-122
TITRE
Approches multimodales pour la reconnaissance d’expressions mathématiques. Collaboration des modalités audio et écriture manuscrite en-ligne

TITLE
Multimodal approach for mathematical expressions recognition. Audio and online handwriting modalities collaboration

RÉSUMÉ

Dans cet article, nous présentons un système original de reconnaissance d’expressions mathématiques dans un cadre bimodal. En disposant à la fois du signal de la parole, correspondant à la dictée de l’expression, et du signal manuscrit, correspondant à son écriture manuscrite en-ligne, nous proposons une architecture permettant de combiner ces deux modalités. Nous avons pu mesurer sur la base bimodale HAMEX, les performances respectives des systèmes mono ou multimodalités, et quantifier la désambiguïsation atteinte grâce à la complémentarité des deux sources d’information.



ABSTRACT

In this paper, we report some results related to mathematical expression recognition. We tackle this problem, known to be very difficult, using multimodal information – handwriting and speech. This bimodality aspect of the information provides greater reliability since the modalities in concern are very complementary. We present a complete operating system in which the fusion process is done in every step of the mathematical expression recognition process (symbol identification, relation identification and interpretation). The bimodal system is evaluated on real bimodal data from the HAMEX dataset and the obtained results are compared to a single modality (handwriting) based system.



AUTEUR(S)
Sofiane MEDJKOUNE, Harold MOUCHÈRE, Simon PETITRENAUD, Christian VIARD-GAUDIN

MOTS-CLÉS
expression mathématique, écriture manuscrite, parole, fusion de données, apprentissage bimodal

KEYWORDS
mathematical expression, handwriting, speech, data fusion, bimodal learning

LANGUE DE L'ARTICLE
Français

 PRIX
• Abonné (hors accès direct) : 7.5 €
• Non abonné : 15.0 €
|
|
--> Tous les articles sont dans un format PDF protégé par tatouage 
   
ACCÉDER A L'ARTICLE COMPLET  (972 Ko)



Mot de passe oublié ?

ABONNEZ-VOUS !

CONTACTS
Comité de
rédaction
Conditions
générales de vente

 English version >> 
Lavoisier