Victor Augusto HERBST (Universidade Federal de Juiz de Fora) – ORCID
victor.herbst@estudante.ufjf.br
Maucha Andrade GAMONAL (Universidade Federal de Juiz de Fora) – ORCID
maucha.andrade@visitante.ufjf.br
Tiago TORRENT (Universidade de Juiz de Fora) – ORCID
tiago.torrent@ufjf.br
Este trabalho investiga a percepção de situações descritas pela audiodescrição fílmica (ADF) com base na anotação semântica multimodal da FrameNet Brasil (Torrent et al., 2022), em interface com a Semântica de Frames (Fillmore, 1982). O corpus é composto pelo curta-metragem “Eu não quero voltar sozinho” (Lacuna Filmes), já estudado sob outros recortes (De Souza et al., Dornelas et al., 2024; Mota et al., 2025; Roza et al., 2025). A ADF utilizada foi elaborada por Vieira (2015). O procedimento de anotação semântica ocorre em duas etapas. Na primeira, realiza-se a anotação semântica do texto transcrito da ADF, vinculando cada lema a uma Unidade Lexical (UL) no frame mais adequado e rotulando seus Elementos de Frame (EFs) conforme sua configuração interna. Na segunda etapa, procede-se à anotação de vídeo, ancorada à textual. A partir da UL e da observação da cena, enquadram-se elementos visuais associados a uma situação específica (evento, estado ou localização). Na sentença “Uma bolinha de papel é arremessada contra ele”, anotamos o vídeo com base no verbo “arremessar”. O Frame correspondente é o Causar_Movimento, que possui, entre os EFs, Tema e Alvo, elementos esses facilmente identificáveis — a bolinha de papel e o menino. Desenha-se um retângulo ao longo da dimensão de cada entidade associada aos EFs, essas bounding boxes delimitam os participantes ao longo da cena, acompanhando o movimento ou a permanência. O método é replicado para cada sentença, produzindo um conjunto de dados que integra texto e imagem, contribuindo para a modelagem semântico-computacional voltada à acessibilidade cultural.
Palavras-chave: multimodalidade; semântica de frames; anotação semântica; audiodescrição fílmica.
