Construction of SILFA
Sign Language Facial Action Corpus
DOI:
https://doi.org/10.36942/revincluso.v3i1.946Keywords:
Facial expression, Brazilian Sign Language, Libras, FACSAbstract
The analysis of Sign Language suffers due to the lack of access to video records and well-labeled data, which is fundamental for developing studies and suitable for automated translation and technologies. The data sets (such as the signs used in the daily life of Libras in Brazil) are generally limited to behaviors created for specific studies and may differ in intensity and time from what occurs spontaneously. This article describes the Sign Language Facial Action (SILFA) data set from conception to preparation and subsequent analysis. A group of young and adult deaf was recorded on video signing sentences with the intention of creating spontaneous expressions. In addition to manually annotated according to the facial coding system, each video frame was annotated with the presence or absence of facial expression and transcription in Portuguese. The present study aims to provide information on the presence of facial expressions in Sign language through the protagonism of the deaf, highlighting video streams in the presence of facial action units. Also, an analysis of affective and grammatical facial expressions is exhaustively discussed. By the end, the corpus was created. As far as we know, this is the first set of Brazilian Sign language data focusing on facial expression, where phrases translated into written Portuguese and annotations of facial action units are provided for video captures.
Downloads
References
Adamou, Evangelia. Corpus linguistic methods. J. Darquennes; J. C. Salmons; W. Vandenbussche. Language contact: An International Handbook, De Gruyter, pp.638-653, 2019, Handbooks of Linguistics and Communication Science series (HSK).
Carvalho, Karina V. P. de, Kumada, Kate M. O., Benitez, Priscila, Pasian, Mara S. (2021). Librateca: testagem e validação de uma plataforma virtual de registros de terminografia da Libras. V Simpósio Transculturalidade, Linguagem e Educação VI Colóquio do Grupo de Pesquisa O Corpo e a Imagem no Discurso & II Simpósio de Letramentos e Direitos Humanos. Juiz de Fora/Uberlândia - MG. ISSN: 2594-7435.
Conrad, S. M. (1999). The importance of corpus-based research for language teachers. System, 27(1), 1-18.
Conti-Ramsden, G. (1996) Clan (computerized language analysis). Child Language Teaching and Therapy. Sage Publications Sage CA: Thousand Oaks, CA, v. 12, n. 3, p.345–349.
da Silva, Emely P., & Costa, Paula D. P. (2017). QLIBRAS: A novel database for grammatical facial expressions in Brazilian Sign Language, Proceeding of the X Meeting of Students and Teachers of DCA/FEEC/UNICAMP (EADCA).
Del Prette, A., & Del Prette, Z. A. P. (2018). Competência Social e Habilidades Sociais: Manual teórico-prático. Petrópolis, RJ: Vozes.
Del Prette, A., & Del Prette, Z. A. P. (2005). Psicologia das Habilidades Sociais na Infância: Teoria e Prática. Petrópolis, RJ: Vozes
Favorito, W., & Mandelblatt, J. (2016, June) Aspectos Da Trajetória Histórica da Dicionarização da Língua Brasileira de Sinais: da Iconografia de Sinais a um Manuário Acadêmico. In Atas do XI Congresso Luso-Brasileiro da História da Educação – COLUBHE, Faculdade de Letras da Universidade do Porto (FLUP), Portugal.
Gajendra, D., & Mohan, G. (2019). Dataturks API. https://docs.dataturks.com/
Joksimoski, B. et al. (2022). Technological solutions for sign language recognition: a scoping review of research trends, challenges, and opportunities. IEEE Access.
Kipp, M. (2001). Anvil-a generic annotation tool for multimodal dialogue. In: Seventh European Conference on Speech Communication and Technology. [S.l.: s.n.].
Lira, G.A., & Souza, T.A.F. (2008). Dicionário da Língua Brasileira de Sinais. Acessibilidade Brasil. http://www.acessibilidadebrasil.org.br/libras/.
Liang Z, Li H, Chai J. Sign Language Translation: A Survey of Approaches and Techniques. Electronics. 2023; 12(12):2678. https://doi.org/10.3390/electronics12122678
Martin, B. (2013). A Universal Labeling Tool: Sloth. HCI lab, Institute for Anthropomatics, Karlsruhe Institute of Technology.
McCleary, L.; Viotti, E. (2007). Transcrição de dados de uma língua sinalizada: um estudo piloto da transcrição de narrativas na língua de sinais brasileira (lsb). Bilinguismo e surdez. Questões linguísticas e educacionais. Goiânia: Cânone Editorial, p. 73–96.
McCleary, L.; Viotti, E.; Leite, T. de A. (2010). Descrição das línguas sinalizadas:a questão da transcrição dos dados. ALFA: Revista de Linguística, v. 54, n. 1.
McEnery, T. (2012). Corpus linguistics (Vol. 978019). Oxford University Press Inc. https://doi.org/10.1093/oxfordhb/9780199276349.013.0024
McEnery, A., & Baker, P. (Eds.). (2015). Corpora and discourse studies: Integrating discourse and corpora. Springer.
Neidle, C.; Sclaroff, S.; Athitsos, V. (2001) Signstream: A tool for linguistic and computer vision research on visual-gestural language data. Behavior Research Methods, Instruments, & Computers, Springer, v. 33, n. 3, p. 311–320.
Pádua, F. L. C.; de Souza, V. L.; Santos, D. S.; and de Almeida, M. V. P. (2018, August). SIGNWEAVER: Plataforma Digital De Apoio A Criação De Dicionários Terminológicos Em Libras. In 14ª Semana de Ciência & Tecnologia 2018-CEFET-MG.
Paiva, F. A. d. S.; Barbosa, P. A.; Martino, J. M. D.; Will, A. D.; Oliveira,M. R. N. d. S.; Silva, I. R.; Xavier, A. N. Analysis of the role of non manual expressions in intensification processes in brazilian sign language. DELTA: Documentaçãode Estudos em Lingüística Teórica e Aplicada, SciELO Brasil, v. 34, n. 4, p. 1135–1158,2018.
Petrovicheva, A., & Manovich, N. (2022). CVAT. DOI: https://doi.org/10.5281/zenodo.7473531
Sardinha, T. B. (2000). Lingüística de corpus: histórico e problemática. Delta: documentação de estudos em lingüística teórica e aplicada, 16(2), 323-367. http://dx.doi.org/10.1590/S0102-44502000000200005
Shepherd, T. M.G. O Estatuto Da Linguística De Corpus: Metodologia Ou Área Da Linguística? Matraga, Rio de Janeiro, v.16, n.24, jan./jun. 2009.
Silva, Emely Pujólli da. (2020). Facial expression recognition in brazilian sign language using facial action coding system, Unicamp – Campinas, SP : [s.n.], 2020.
Silva, E. P. D., Costa, P. D. P., Kumada, K. M. O., Martino, J. M. D., & Florentino, G. A. (2020, August). Recognition of affective and grammatical facial expressions: a study for Brazilian sign language. In European Conference on Computer Vision (pp. 218-236). Springer, Cham.
Tkachenko, M., Malyuk, M., Shevchenko, N., Holmanyuk, A., & Liubimov, N. (2020). Label studio: Data labeling software.
Xavier, A. N. A duplicação do número de mãos de sinais da libras e seus efeitos semânticos. Fórum Linguístico, v. 12, n.1, 505-514, 2015.
Woods, D.; Fassnacht, C. (2007) Transana v2. 20. Computer software] http://transana.org Madison, WI: The Board of Regents of the University of Wisconsin System.
Published
How to Cite
Issue
Section
License
Copyright (c) 2023 Emely Pujólli da Silva, Kate Kumada, Paula D. Paro Costa, Priscila Benitez
This work is licensed under a Creative Commons Attribution 4.0 International License.
Todos os artigos desta revista obedecem à licença Creative Commons - Attribution 4.0 International (CC BY 4.0).
