LANGUAGE ELICITATION TASKS: CONSIDERING VALIDITY

11/22/2015

Below you will find two articles that incorporate instruments of language elicitation: 1) an article that was rejected, and 2) an article that was published this year. Read the articles in order (i.e. the rejected one first), and comment on the validity of the instruments used in both. In other words, what do you think about the data that such instruments produce?

Please write your comments below before our next class.

ARTICLE 1: Helping EFL Learners Deal With Rudeness

ARTICLE 2: The Effect of Instruction on Pragmatic Routines in Academic Discussion

POWERPOINT SLIDES ON 'VALIDITY'

Development and validation of a vocabulary size test of multiword expressions from Ron Martinez

5 Comments

Aline link

12/2/2015 05:48:05 am

In the thick of it

As estratégias apresentadas para o grupo de informantes (EFL users) deveriam resultar em uma negociação, na língua alvo, de uma situação complicada, uma situação-problema.
Entretanto, os resultados mais expressivos da estratégia (Acquiescing responses) mostraram que os informantes não tentaram negociar a solução do problema, mas, simplesmente, aceitaram o fato da situação-problema. Houve inconsistência no uso da ferramenta proposta pelo autor. Os dados gerados apontam para ineficiência da estratégia aplicada. Para mim, os dados gerados sem o uso das estratégias foram mais eficientes na busca da solução da situação-problema.
O uso de estratégia (Persisting strategies) também foi outra decepção, a maioria dos dados gerados apontam para o fato de que os participantes não buscaram negociar o pagamento da taxa, mas agrediram verbalmente o atentende.
O próprio autor comenta "still the question remains what would the FL users gain from employing direct insulting sub-strategies".
Os dados deveriam apontar para a solução do objetivo comunicativo por meio o uso de estratégias pragmáticas, foco na mensagem, no interlocutor e no modo de comunicar-se. Porem, Em geral, os dados gerados não buscaram atingir esse objetivo esperado pelas estratégias.
Os dados não comprovam a teoria das estratégias Beebe e Waring (2005) e a pesquisa não cumpre o que se propõe "How can EFL teachers prepare their students to react to such spontaneous and unexpeceted incidents?".

Thiago

12/2/2015 05:01:01 pm

Concordo com as observações da Aline e acrescento mais um ponto que me parece importante. O enfoque da pesquisa é no desempenho linguístico do aluno em situações hipotéticas, porém, essas situações evolvem também um alto grau de emocionalidade. Quando se tem que reagir a uma atitude rude de alguém, a proficiência linguística também pode sofrer forte influência do aspecto emocional. Sendo assim, me parece que os dados tem um caráter um tanto quanto artificial e talvez não possam ser considerados tão "válidos" assim.

Bernardete Ryba

12/2/2015 05:27:32 pm

As situações não reais, são hipóteses levantadas para tentar resolver algumas situações que podem vir a se tornar um problema. Concordo com a Aline que a maioria dos dados apontam para o fato de os participantes não conseguirem negociar o pagamento da taxa aérea. Se levarmos em consideração o objetivo a que se propõe o artigo, há descumprimento da proposição, apenas há apontamento de alguns dados.

Patricia

12/2/2015 05:44:03 pm

Creio que a pesquisa In the thick of it: EFL users confronting rudeness / impoliteness parece mais com uma pesquisa de marketing (opinião) do que com pesquisa linguística. As estratégias utilizadas na pesquisa e direcionadas aos EFL users foram muito diretas e não responderam à pergunta de pesquisa proposta pelo pesquisador: How can EFL teachers prepare their students to react to such spontaneous and unexpected incidents?" Buscar dados que validem e respondam a essa pergunta requerem, por exemplo, a estratégia utilizada no segundo texto, The effect of instruction on pragmatic routines in academic discussion que objetivou (a) to develop and test the efficacy of pragmatics instruction of one type of formulaic sequence, namely pragmatic routines, in the context of academic discussion, and (b) to measure potential change by using a controlled conversation simu- lation that avoids the assessment pitfalls of free conversation while retaining spontaneity, turn-taking, and the unpredictable nature of conversation. As simulações controladas, em vez de apenas três situações, como proposto no primeiro texto, propõem uma negociação entre os participantes e o uso da língua alvo em um contexto que requer a utilização de mecanismos interativos e pragmáticos. Um outro ponto foi que pelo que entendi, não houve instrução aos alunos sobre que tipo de repertório linguístico poderia ser acessado em situações em que há agressividade de um interlocutor para com o outro e como responder ao uso de linguajar ofensivo, questão essa que seria crucial em minha opinião como forma de responder a pergunta de pesquisa. Não consegui compreender como um EFL teacher pode preparar os alunos para reagirem a situações conflitantes, a pesquisa não elucidou isso.
A segunda pesquisa utilizou várias estratégias que trouxeram validação a ela. Houve o desenvolvimento de um “corpus-based teaching materials and activities” para o estudo. Foram identificadas expressões relacionadas a concordâncias, discordâncias e esclareciemento no discurso acadêmico (We selected the Michigan Corpus of Academic Spoken English (MICASE) (Simpson, Briggs, Ovens, & Swales, 2002) as the source of authentic language use for our materials development because it documents the use of academic spoken English on a major Midwest campus similar to the one where our study took place, enriquecendo a pesquisa e possibilitando aos EFL users, inclusive, enriquecimento liguístico. Os pesquisadores searched MICASE for each textbook expression and recorded the number of times an expression appeared in the corpus and the number of distinct speech events in which it occurred. Our target frequency was 40 occurrences per million words—a fre- quency that Biber, Conrad, and Cortes (2004) identify as frequent for lexical bundles— but we also considered a second threshold of 10 occurrences per million words as used in earlier work by Biber, Johansson, Leech, Conrad, and Finegan (1999). Em minha opinião a pesquisa minunciosa das estruturas linguísticas que expressam o uso de rotinas pragmáticas e a possibilidade de os EFL users terem acesso a elas em simulações controladas responderam à pergunta Does instruction have a positive effect on the use of pragmatic routines as measured by oral production in conversation simulations? “. A pesquisa foi bastante completa.

Iascara

12/3/2015 03:46:15 am

A proposta do artigo In the thick of it: EFL users confronting rudeness / impoliteness que teve como objetivo a seguinte pergunta "How can EFL teachers prepare their students to react to such spontaneous and unexpeceted incidents?" foi colocar os alunos em situacoes pre fabricadas, onde os mesmos deveriam negociar respostas que fossem expontaneas, sem ensaios.
Conforme o artigo, os usuários da língua deveriam estar cientes das implicações comunicativas adotadas, e saber se elas ajudariam a alcançar seus objetivos comunicativos.
As situações hipotéticas foram as seguintes... No primeiro caso, um colega que paga menos que o esperado e ele faz um comentário rude sobre o fato. No segundo, viagem de Nova York para Londres com um amigo em companhia aérea dos EUA, mas por motivo de chegar atrasado no aeroporto perde o voo e tem que pagar $200. Mesmo assim, o atendente lhe da outra opção de embarcar em outro voo tendo que pagar. E a ultima situação, num restaurante de fast food onde o funcionário não fala espanhol e não entende o cliente que fala Ingles.
E, como os colegas, já citaram nos comentários acima, essas situações apontadas envolvem a questão emocional e por serem situações criadas não atingem o objetivo que era esperado pelas estratégias (Persisting strategies).
Portanto, a pesquisa não atingiu o objetivo a que esse artigo se propôs... que tinha como enfoque o desempenho linguístico dos alunos Mexicanos baseado na teoria das estratégias de Beebe e Waring (2005).

INSTRUMENTOS DE PESQUISA EM LINGUÍSTICA APLICADA

LANGUAGE ELICITATION TASKS: CONSIDERING VALIDITY

POWERPOINT SLIDES ON 'VALIDITY'

Leave a Reply.

Readings and Documents

Archives

Categories

Useful links