Percepção audiovisual da entoação modal do português do Brasil

Autores

DOI:

https://doi.org/10.47627/gradus.v5i1.148

Palavras-chave:

Entoação, Expressões faciais, Multimodalidade, Português do Brasil

Resumo

Este artigo investiga a identificação perceptiva audiovisual da entoação de quatro atos de fala do português do Brasil, com os seguintes significados pragmáticos: asserção, questão-eco, questão parcial e exclamação. Dez informantes (5 homens), falantes da variedade do Rio de Janeiro, foram gravados e filmados, produzindo esses quatro atos de fala, com base na sentença Como você sabe. Analisaram-se, do ponto de vista fonético, as pistas acústicas que distinguem esses atos de fala em relação aos parâmetros acústicos (F0, duração e intensidade) e, do ponto de vista visual, as unidades de ação (Action Units) que compõem as respectivas expressões faciais. Uma análise quantitativa dos dados foi realizada, o que permitiu verificar que há pistas acústicas e visuais que caracterizam a produção dos quatro tipos de enunciados. No experimento perceptivo, sessenta participantes tinham que identificar os quatro atos de fala em três condições experimentais de apresentação dos estímulos: somente áudio (A), somente vídeo (V) e áudio combinado com vídeo (AV). O maior índice de acertos foi verificado na condição audiovisual (AV), seguido da condição somente áudio (A) e, por fim, da condição somente vídeo (V). Esses resultados confirmam que ouvintes integram as informações vindas do canal auditivo e do canal visual na tarefa de identificar perceptivamente diferentes tipos de enunciados no português do Brasil.

Biografia do Autor

Luma da Silva Miranda, Universidade Federal do Rio de Janeiro

Luma da Silva Miranda é doutora em língua portuguesa pela Universidade Federal do Rio de Janeiro (UFRJ). Atualmente, trabalha como Leitora de Português do Brasil na Universidade Eötvös Loránd (ELTE). Seus temas de interesse de pesquisa se concentram nas área de fonética acústica, especialmente em relação à prosódia do português brasileiro, produção e percepção da fala, prosódia audiovisual.

CV lattes: http://lattes.cnpq.br/7803605481153580

João Antônio de Moraes, Universidade Federal do Rio de Janeiro

João Antônio de Moraes é professor de português na Universidade Federal do Rio de Janeiro (UFRJ) e pesquisador do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq). Seus interesses de pesquisa estão concentrados na área de fonética e fonologia do português brasileiro, especialmente nos temas de entoação, prosódia, nasalidade e fonologia experimental.

CV lattes: http://lattes.cnpq.br/3799132338763925

Albert Rilliard, LIMSI-CNRS/Universidade Federal do Rio de Janeiro

Albert Rilliard é pesquisador do CNRS no LIMSI (Orsay, França) e professor visitante na Universidade Federal do Rio de Janeiro (UFRJ, Brasil). Ele ensina fonética e processamento de dados experimentais. Seus interesses de pesquisa estão centrados na variação prosódica entre línguas e situações comunicativas. Possibilidades de incompatibilidade de comunicação entre culturas e as razões que enraízam esses encontros problemáticos estão no centro de seu questionamento. Ele também trabalha na variação prosódica das línguas românicas, aplicando medidas objetivas para ajudar a mensurar as diferenças observadas, comparando com a percepção das variedades faladas, bem como a representação de dialetos em diferentes populações.

CV lattes: http://lattes.cnpq.br/7604104346087790

Referências

Arantes, Pablo (2015). “Time-normalization of fundamental frequency contours. A hands-on tutorial”. In: Courses on Speech Prosody. Editado por Alexsandro Rodrigues Meireles. Newcastle upon Tyne: Cambridge Scholars Publishing, pp. 98–123. ISBN: 9781443882972.

Barbosa, Plínio Almeida (2006). Incursões em torno do ritmo da fala. Campinas: Pontes. ISBN: 9788571132337.

Barbosa, Plínio Almeida (2007). “From syntax to acoustic duration. A dynamical model of speech rhythm production”. Speech Communication 49.9, pp. 725–742. DOI: 10.1016/j.specom.2007.04. 013.

Barbosa, Plínio Almeida (2013). “Semi-automatic and automatic tools for generating prosodic descriptors for prosody research”. TRASP 2013 Proceedings. Tools and Resources for the Analysis of Speech Prosody. Editado por Brigitte Bigi e Daniel Hirst. Laboratoire Parole et Langage. Aix-en-Provence, pp. 86–89. ISBN: 9782746664432.

Barbosa, Plínio Almeida, Zuleica Antonia Camargo e Sandra Madureira (2018). “Acoustic-based tools and scripts for the automatic analysis of speech in clinical and non-clinical settings”. In: Signal and Acoustic Modeling for Speech and Communication Disorders. Editado por Hemant A. Patil, Amy Neustein e Manisha Kulshreshtha. Berlin: De Gruyter, pp. 69–86. ISBN: 9781501502415.

Borràs-Comes, Joan e Pilar Prieto (2011). “’Seeing tunes.’ The role of visual gestures in tune interpretation”. Laboratory Phonology 2.2, pp. 355–380. DOI: 10.1515/labphon.2011.013.

Cruz, Marisa, Marc Swerts e Sónia Frota (2017). “The role of intonation and visual cues in the perception of sentence types. Evidence from European Portuguese varieties”. Laboratory Phonology: Journal of the Association for Laboratory Phonology 8.1. DOI: 10.5334/labphon.110.

Cunha, Karina Zendron da (2016). “Sentenças exclamativas em português brasileiro. Um estudo experimental de interface”. Tese de doutoramento. Florianópolis: Universidade Federal de Santa Catarina. Ekman, Papul, Wallace V. Friesen e Joseph C. Hager (2002). Facial action coding system [CD-Rom]. Salt Lake City.

Fónagy, Ivan (1993). “As funções modais da entoação”. Traduzido do francês por João Antônio de Moraes. Cadernos de Estudos Lingüísticos 25, pp. 7–24. DOI: 10.20396/cel.v25i0.8636884.

Frota, Sónia e Pilar Prieto, editores (2015). Intonation in Romance. Oxford: Oxford University Press. ISBN: 9780199685332.

Frota, Sónia et al. (2015). “Intonational variation in Portuguese. European and Brazilian varieties”. In: Intonation in Romance. Editado por Sónia Frota e Pilar Prieto. Oxford: Oxford University Press, pp. 235–283. ISBN: 9780199685332.

Gili Fivela, Barbara (2015). “L’integrazione di informazioni multimodali. Prosodia ed espressioni del volto nella percezione del parlato”. In: Paroli, gesti, interpretazioni. Studi linguistici per Carla Bazzanella. Editado por Barbara Gili Fivela, Elena Pistolesi e Rosa Pugliese. Roma: Aracne, pp. 107–127. DOI: 10.4399/97888548840765.

Graf, Hans Peter, Eric Cosatto, Volker Strom e Fu Jie Huang (2002). “Visual prosody. Facial movements accompanying speech”. Proceedings of Fifth IEEE International Conference on Automatic Face Gesture Recognition (20 de maio de 2002–21 de maio de 2002). The Institute of Electrical and Electronics Engineers – Computer Society. Washington (DC), pp. 396–401. ISBN: 0769516025. DOI: 10.1109/ AFGR.2002.1004186.

House, David (2002). “Intonational and Visual Cues in the Perception of Interrogative Mode in Swedish”. Proceedings of the 7th International Conference on Spoken Language Processing. 7th International Conference on Spoken Language Processing (16 de setembro de 2002–20 de setembro de 2002). Editado por John H. L. Hansen e Bryan Pellom. International Speech Communication Association. Denver, pp. 1957–1960. URL: https://www.isca-speech.org/archive/icslp_2002/i02_1957.html.

Husson, François, Sébastien Lê e Jérôme Pagès (2017). Exploratory multivariate analysis by example using R. Boca Raton: CRC press. ISBN: 9781138196346.

Kendon, Adam (2004). Gesture. Visible action as utterance. Cambridge (UK): Cambridge University Press. ISBN: 0521835259.

Krahmer, Emiel e Marc Swerts (2009). “Audiovisual Prosody. Introduction to the Special Issue”. Language and Speech 52.2-3. PMID: 19624027, pp. 129–133. DOI: 10.1177/0023830909103164.

Lê, Sébastien, Julie Josse e François Husson (2008). “FactoMineR. An R package for multivariate analysis”. Journal of Statistical Software, Articles 25.1, pp. 1–18. DOI: 10.18637/jss.v025.i01.

Liénard, Jean-Sylvain e Claude Barras (2013). “Fine-grain voice strength estimation from vowel spectral cues”. Proceedings of Interspeech 2013. 14th Annual Conference of the International Speech Communication Association (Interspeech). Volume 1. 5 volumes. International Speech Communication Association. Lyon, pp. 128–132. ISBN: 9781629934433.

Massaro, Dominic W. e Michael M. Cohen (1983). “Evaluation and integration of visual and auditory information in speech perception.” Journal of Experimental Psychology: Human Perception and Performance 9.5, pp. 753–771. DOI: 10.1037/0096-1523.9.5.753.

McGurk, Harry e John MacDonald (1976). “Hearing lips and seeing voices”. Nature 264.5588, pp. 746–748. DOI: 10.1038/264746a0.

Miranda, Luma (2015). “Análise da entoação do português do Brasil segundo o modelo IPO”. Tese de mestrado. Rio de Janeiro: Universidade Federal do Rio de Janeiro. URL: http://www.posvernaculas. letras.ufrj.br/images/Posvernaculas/3-mestrado/dissertacoes/2015/16-MirandaLS.pdf.

Miranda, Luma da Silva (2019). “Estudo fonético-perceptivo da entoação de enunciados assertivos, interrogativos e exclamativos no português do Brasil. Uma análise multimodal”. Tese de doutoramento. Universidade Federal do Rio de Janeiro. URL: http://www.posvernaculas.letras.ufrj. br/images/Posvernaculas/4-doutorado/teses/2019/Tese%20Luma%20Miranda%202019.pdf.

de Moraes, João Antônio, Luma da Silva Miranda e Albert Rilliard (2012). “Facial gestures in the expression of prosodic attitudes of Brazilian Portuguese”. Proceedings of the VII GSCP International Conference: Speech and Corpora. 7th Conference of the Gruppo di Studio sulla Comunicazione Parlata (UFMG). Editado por Heliana Mello, Massimo Pettorino e Tommaso Raso. Gruppo di Studio sulla Comunicazione Parlata. Belo Horizonte: Firenze University Press, pp. 157–161. ISBN: 9788866553519.

de Moraes, João Antônio e Albert Rilliard (2014). “Illocution, attitudes and prosody: A multimodal analysis”. In: Spoken Corpora and Linguistic Studies. Editado por Tommaso Raso e Heliana Mello. Amsterdam: John Benjamins, pp. 233–270. ISBN: 9789027203694.

de Moraes, João Antônio (1998). “Intonation in Brazilian Portuguese”. In: Intonation System. A Survey of Twenty Languages. Editado por Daniel Hirst e Alberti Di Cristo. Cambridge: Cambridge University Press, pp. 179–194. ISBN: 9780521395502.

de Moraes, João Antônio (2008). “The pitch accents in Brazilian Portuguese”. Proceedings of the Fourth Conference on Speech Prosody. Editado por Plínio Almeida Barbosa, Sandra Madureira e César Reis. International Speech Communication Association, pp. 389–397.

Oliveira, Juscelia, Vera Pacheco e Marian Oliveira (2014). “Análise perceptual das frases exclamativas e interrogativas realizadas por falantes de Vitória da Conquista/BA”. Signum: Estudos da Linguagem 17.2, pp. 354–388. DOI: 10.5433/2237-4876.2014v17n2p354.

Peres, Daniel Oliveira, Waldemar Ferreira Netto e Beatriz Raposo de Medeiros (2010). “O papel do estímulo visual na percepção da prosódia. Um estudo experimental”. Revista Virtual de Estudos da Linguagem 8.15, pp. 256–269.

Prieto, Pilar et al. (2015). “Intonational phonology of Catalan and its dialectal varieties”. In: Intonation in Romance. Editado por Sónia Frota e Pilar Prieto. Oxford: Oxford University Press, pp. 9–62. ISBN: 9780199685332.

Rosemeyer, Malte (2019). “A história das interrogativas parciais in-situ no português brasileiro em uma perspectiva baseada no uso”. LaborHistórico 5.Especial 1, pp. 162–189. DOI: 10.24206/lh.v5iespecial.23614.

Rosenblum, Lawrence D. (2005). “Primacy of multimodal speech perception”. In: The handbook of speech perception. Editado por David B. Pisoni e Robert E. Remez. Malden (MA): Blackwell, pp. 51–78. ISBN: 9780631229278.

Silva, Cristiane Conceição (2016). “Análise fonético-experimental da entoação de declarativas e interrogativas em espanhol/LE”. Tese de doutoramento. Campinas: Universidade Estadual de Campinas. URL: http://www.repositorio.unicamp.br/handle/REPOSIP/305688.

Srinivasan, Ravindra J. e Dominic W. Massaro (2003). “Perceiving Prosody from the Face and Voice. Distinguishing Statements from Echoic Questions in English”. Language and Speech 46.1, pp. 1–22. DOI: 10.1177/00238309030460010201.

Wagner, Petra, Zofia Malisz e Stefan Kopp (2014). “Gesture and speech in interaction. An overview”. Speech Communication 57, pp. 209–232. DOI: 10.1016/j.specom.2013.09.008.

Xu, Yi (2012). “Function vs. Form in Speech Prosody. Lessons from Experimental Research and Poten- tial Implications for Teaching”. In: Pragmatics and Prosody in English Language Teaching. Editado por Jesús Romero-Trillo. Dordrecht: Springer, pp. 61–76. ISBN: 9789400738829. DOI: 10.1007/978-94-007-3883-6_5.

Downloads

Publicado

2020-08-10 — Atualizado em 2020-08-11

Versões

Como Citar

MIRANDA, L. da S.; DE MORAES, J. A.; RILLIARD, A. Percepção audiovisual da entoação modal do português do Brasil. Gradus - Revista Brasileira de Fonologia de Laboratório, Curitiba, v. 5, n. 1, p. 47-70, 2020. DOI: 10.47627/gradus.v5i1.148. Disponível em: https://gradusjournal.com/index.php/gradus/article/view/148. Acesso em: 24 out. 2020.

Edição

Seção

Artigos