WHAT IS THE PROBLEM?

8/12/2015

Download the rejected article here, and try to guess why it was rejected. (Please remember that this was an anonymous submission and should not be shared.) Consider the following points to help you.

What are the authors trying to answer? What are the research questions?
Who are the participants, and what do we know about them?
Analyze the instrument (at the end of the manuscript). Can you find any possible flaws?
The three points above should somehow connect: the participants should have the correct profile to respond to the instruments, which in turn should relate directly to the research questions.

Once you have analyzed the possible reasons for rejection, please post your thoughts below.

21 Comments

Fábia

8/19/2015 11:26:32 pm

Particularmente, eu achei a tabulação e apresentação dos resultados muito confusos.Muitas siglas sem legenda, muitos números.Mas a parte do texto em si, eu gostei muito.

Katia

8/20/2015 04:02:12 am

Eu não consigo dizer se o método descrito no texto (p.8) sobre como o "language threshold effect" foi medido é, de fato, apropriado para medir esse efeito. De qualquer forma, me parece que o perfil dos sujeitos de pesquisa (todos com pelo menos 10 anos de instrução em inglês) e o intervalo de aplicação dos testes (2 meses) também não favoreceu a medição da ausência/presença do referido efeito. Sendo esse um elemento-chave para responder as perguntas de pesquisa, penso que deveria ter sido explorado de outra forma. Penso, também, que a interpretação dos resultados foi além do que os instrumentos poderiam medir. Como os próprios autores mencionaram, houve limitações no estudo, que comprometem sua "confiabilidade" e reduzem sua aplicabilidade.

José Orlando

8/20/2015 04:26:13 am

O autor usou a introdução do artigo para apresentar, logo de início, as perguntas da pesquisa, o que, na minha opinião, foi feito com precisão, já que as perguntas recobrem os objetivos que o artigo aponta já em seu título - as consequências da presença e da ausência do "threshold effect" para a leitura em L2 - e mostram-se consistentes com a retomada das perguntas à frente no artigo. A apresentação das pesquisas já realizadas sobre o tema também me parece muito boa. O trabalho como um todo parece bem escrito, mas concordo com o comentário da Fábia sobre a apresentação das tabelas ao final. Também não acho que tenha ficado claro qual foi o critério exato usado pelo pesquisador para dividir os informantes em grupos com diferentes níveis de proficiência. Como, exatamente, foi possível mensurar a presença ou ausência do "threshold effect" em cada participante? Por meio dos "L2 reading comprehension tests"? Parece que a maioria dos estudantes coreanos estavam em momentos semelhantes do processo de aquisição, apesar de serem de duas turmas diferentes. Ou não? Talvez isso esteja no texto e não tenha ficado claro pra mim, mas foi aquela a impressão que tive durante a leitura dos resultados dos testes aplicados.

Bernardete

8/20/2015 09:24:56 am

Os próprios autores alegam que devido ao estudo ser realizado em um ambiente no qual o currículo é previamente definido e os dados serem analisados post-hoc, tornou-se inviável chegar a um nível mais apurado de especificações de testes de leitura em diferentes condições - a escolha do ambiente universitário trouxe consigo as suas características inerentes (tais como currículo definido). Ainda, segundo os autores, as confiabilidades nos instrumentos foram relativamente baixas - instrumentos escolhidos pelos autores e que poderiam ser revistos e/ou acrescidos (outros instrumentos) a qualquer momento. Ao procedermos uma pesquisa é preciso ter em mente, previamente, se os informantes terão o perfil adequado e se os instrumentos eleitos ajudarão a responder as questões da pesquisa; no caso do artigo, parece-me que os autores desacreditam em suas escolhas. O pequeno intervalo entre as aplicações dos testes trouxe resultados próximos - em meu ponto de vista, foi um grande erro, pois isso me parece mais ou menos lógico e esperado. As tabelas deveriam estar inseridas no "corpo" do texto - a visualização da discussão e dos resultados parciais seria mais proveitosa. A codificação não ficou clara, talvez melhorasse se fossem colocadas as letras maiúsculas (usadas nas tabelas) quando da explanação. Como exemplo: cognitive strategies = CS (em "Instruments"). Achei estranho na Table 3 que a média de leitura em língua inglesa é maior que a média de leitura em língua coreana/materna (ER&W Mid-term).

Ana RAquel

8/20/2015 10:50:54 am

O assunto do artigo é muito interessante, no entanto fiquei confusa durante a maior parte da leitura. Me pareceu que os autores escreveram apenas para pessoas que estão totalmente envolvidas nesse tipo de estudo e familiarizadas com os instrumentos de pesquisa, senti falta de notas de rodapé, bem como explicações e exemplos de conceitos e métodos.
Uma das minhas dúvidas, dentre várias, é em relação ao que os autores querem dizer com “after controlling for L1 Reading competence” p. 5. O que seria esse controle? Esse questionamento se agrupa a minha primeira impressão do texto, talvez por ignorância minha.
Me questionei também se a informação sobre as línguas maternas dos participantes deveria ter sido mesmo excluída. A organização de uma língua, como ela se constitui, não influencia as estratégias de leitura?

Bruna

8/20/2015 11:01:00 am

A meu ver, o objetivo do trabalho, bem como as perguntas condutoras da pesquisa são claras e relevantes. Os autores retomam estudos anteriores sobre o tema para embasar teoricamente o artigo, o que considero bastante interessante. Porém, acredito que a grande lacuna do trabalho e o motivo de ter sido rejeitado para a publicação tenha sido pela forma que os dados foram coletados. Os instrumentos utilizados para a pesquisa não parecem dar conta de uma forma confiável da proposta da pesquisa, apresentando ao final resultados um pouco duvidosos.

Elizabeth Pazello

8/20/2015 12:12:22 pm

O foco do artigo é apropriadíssimo para nossa rotina pedagógica de ensino de língua, ainda mais se considerarmos a competência de leitor como objetivo importante para as salas de aula brasileiras. Consegui entender o objetivo geral do autor. No entanto, ao verbalizar a interpretação e descrição metodológica, o autor parece não ter sido tão claro. Pensei se a escolha de muitas orações subordinadas e períodos longos podem ter contribuído para essa divagação que senti ao ler. Muitas vezes tive que voltar porque, ao comentar, o autor antecipava conclusões e possíveis razões para aquele resultado comentado, o que me fazia divagar. As tabelas poderiam estar mais próximas de seus comentários, o que faria com que os códigos utilizados não parecessem tão confusos. Contudo, em relação às tabelas, cheguei a considerar que fosse uma norma metodológica dos editores. Alguns deslizes gramaticais não devem ter causado a recusa. Penso que o estilo de escrita pode ter sido um fator nessa recusa, apesar de perceber a estrutura das sentenças como familiares via língua portuguesa. Não percebi 'frases tópico' nos parágrafos.
Outro aspecto difícil de articular, não digo nocivo, é utilizar elementos que provêm de tendências contrastantes: método quantitativo e qualitativo, por exemplo. Achei confusos os códigos das tabelas. Talvez os instrumentos de coleta não foram os mais apropriados ao considerarmos a complexidade de captura dos movimentos cognitivos em questão.

Carla C.

8/20/2015 12:40:30 pm

Acredito que os objetivos da pesquisa estão bem definidos, ou seja, está claro o que o autor do artigo pretende pesquisar, bem como os motivos pelos quais acredita na relevância de sua pesquisa. Contudo, me pergunto se a metodologia e os instrumentos de pesquisa foram do melhor modo para fins da análise do que o autor pretendia investigar. Tendo a concorda com a Katia no que diz respeito à escolha dos informantes, à aplicação dos testes e, consequentemente, ao que o autor apresentou como conclusão de seu levantamento.

Iáscara Fredrich da Silveira

8/20/2015 12:50:34 pm

Ao ler o trabalho percebemos que o tema em questão está evidenciado no título do artigo "The Use of Reading Strategies in L1 and L2 reading Comprehension in the Presence and Absence of Language Threshold Effect". A introdução coloca uma ideia sobre o que será desenvolvido durante a pesquisa, bem como o método e os instrumentos de avaliação.
Acredito que as tabelas deveriam estar dispostas próximas aos textos e os códigos não estavam totalmente decodificados. E isso dificultou o entendimento do resultado da pesquisa.
Não tenho conhecimento técnico suficiente para especificar qual seria o melhor instrumento para essa pesquisa. Mas, percebe-se pelos resultados finais e comentários que o instrumento de pesquisa teve limitações ao analisarmos resultados (como já comentado por alguns colegas).

Fábia

8/20/2015 10:52:38 pm

Concordo com a Ana quando ela diz que parece que os autores escreveram apenas para pessoas que conhecem o tema de pesquisa. A leitura em Língua Inglesa é meu tema de pesquisa e mesmo assim eu tive dificuldades de interpretar os resultados.

Prof. Ron

8/21/2015 01:08:32 am

Gostei dos comentários que já foram postados. Todos vocês identificaram questões problemáticas - porém, ainda há certas facetas, especialmente do instrumento em si -, que ainda não foram mencionadas. Um dos objetivos deste exercício é entender a parte "ecológica" dos instrumentos; isto é, a validade de um instrumento não é somente inerente ao instrumentos -- a validade precisa ser considerada no contexto da pesquisa como um todo.

Vamos esperar mais um pouco para as demais pessoas postarem, e depois colocarei aqui o que foi dito pelos avaliadores. Também falaremos um pouco sobre isso em pessoa, no nosso próximo encontro na semana que vem.

Camila Sampaio Bom de Oliveira

8/23/2015 07:55:20 am

Concordo com o meu colega José Orlando quanto à clareza do objetivo do estudo. Quando questionada pelo Professor Ron a respeito da presença de falhas e defeitos, tenho a mesma sensação da Elizabeth, especialmente quando ela cita a divagação e a organização do artigo. Confesso que estou achando difícil identificar o que, exatamente, causou a recusa. Acredito que pode ter sido o fato de usarem testes diferentes com os grupos de leitura, o que prejudicou os resultados, ou o erro na determinação do tamanho da amostra, já que amostras excessivamente pequenas podem levar a resultados não confiáveis. Aguardo curiosa o encontro desta semana com o "desvendamento do caso".

JANE MARIAN

8/23/2015 11:14:47 am

Senti falta de um resumo "abstract".
Bom, pelo que entendi o objetivo da pesquisa era identificar se as estratégias de leitura mais utilizadas são diferentes na L1 e L2.
Parece que não ficou claro quais estratégias estão sendo analisadas, somente top-down e bottom up?.
Como é uma pesquisa quantitativa talvez poderia ser apresentado dados reais. Ou seja, uma coleta dos resultados apresentados pelos alunos durante o processo para que o leitor consiga identificar o processo de forma mais clara.
Algumas siglas deixam o leitor leigo confuso (TMSU), (TCSU)
Algumas referências sem citar o ano ex. p. 4 Phakiti (temos na referência dois anos de publicação 2008 e 2003 – deveria ter pelo menos IBID - para que o leitor saiba que está se referindo a última citação. Estou anxiosa para saber porque não foi aceito para publicação.

JANE MARIAN link

8/24/2015 04:05:33 am

anxious - ansiosa (risos)

Aline Deosti

8/24/2015 06:44:49 am

Sem falar nessa borralheira de números, índices e porcentagens [ditos 'significantes'], o que mais me incomodou nesse artigo foi o tipo de pergunta (para mim, qualitativa) e a resposta 'de outro tipo' (quantitativa).
Na questão 3, por exemplo, "How differently are L1 and L2 reading strategies used in the language threshold effect condition and the non-language threshold effect condition?", a resposta apresenta dados em porcentagem (quanto diferentes são), e isso não descreve o "como" são diferentes, evidencia que a diferença existe, somente. Eu esperaria uma resposta mais descritiva, demonstrando como são as estratégias para L1 e para L2.
Francamente, achei complicado entender esse texto.
P.S. Onde está a tabela 2? :)

Aline Deosti

8/24/2015 07:00:57 am

Sobre as tabelas estarem separadas do corpo do texto, acredito ser exigência de formatação da revista para submissão.

Thiago Mariano

8/24/2015 07:18:31 am

Concordo com a opinião da maioria dos colegas. O objetivo da pesquisa parece estar bem explicitado logo no começo do artigo, porém, para um leitor não muito familiarizado com esse tipo de pesquisa, o artigo como um todo acaba se tornando confuso. Como o Prof. Ron nos atenta para a parte referente aos instrumentos da pesquisa, me pergunto se não haveria uma outra maneira de acessar as estratégias de leitura usadas pelos participantes que não seja necessariamente uma lista interminável de itens a serem assinalados. Também aguardo a revelação do mistério.

Candy

8/25/2015 06:24:48 am

Embora o tema seja extremamente interessante, a maneira como o artigo foi escrito, somado a minha falta de experiência com pesquisa (especialmente quantitativa), tornou a leitura desse texto bastante difícil, e até mesmo confusa em algumas partes.
Concordo plenamente com a Aline no que concerne a discrepância entre as perguntas propostas e a forma de expressar os resultados. Concordo também com o raciocínio do Thiago, que para mensurar o uso das estratégias de leitura, o autor poderia ter optado por um instrumento melhor.

Ron

8/25/2015 08:42:38 am

Obrigado para todo o mundo. Para aqueles que acharam a tarefa um pouco desafiadora, peço desculpas - a intenção foi tentar conscientizar o grupo aqui sobre o vínculo entre instrumentos e os outros elementos da parte metodológica de uma pesquisa; existe uma relação simbiotica entre eles. Sei que o que causou a rejeição desse artigo pode parecer um tanto misteriorso - o mistério será desvendado logo a seguir...

Patricia Dias

8/25/2015 09:20:42 am

Conforme apontado pelos colegas, o embasamento teórico sobre o threshold effect foi bastante enriquecedor e imagino que o pesquisador tenha tido um trabalho incansável para terminar a referida pesquisa. Faltou-lhe, entretanto, em minha opinião, clareza sobre o método de pesquisa adequado para responder as perguntas propostas. Primeiramente, a abordagem da pesquisa quantitativa não é cabível nesse caso, pois se houve a intenção de generalizar os resultados para outras realidades, impossível será. A partir do momento que o pesquisador estabeleceu que a pesquisa seria feita na Korea, com alunos universitários, com certo tempo de estudo do idioma inglês, esses resultados representam unicamente aquele contexto específico. A mesma pesquisa no Brasil, ainda que com participantes universitários com o mesmo tempo de estudo da língua inglesa, teriam construções de dados distintos com resultados únicos ao contexto em que a pesquisa foi realizada. Assim, o pensamento do pesquisador em utilizar a pesquisa quantitativa foi um grande equívoco pois ela não trouxe clareza para a pesquisa, mas a deixou em situação nebulosa.
Nessa perspectiva, responder as perguntas propostas pelo pesquisador requereria um olhar interpretativo dele, olhar esse que poderia construir ou desconstruir significados/sentidos. Os instrumentos da pesquisa qualitativa teriam sido outros: gravações dos alunos lendo em língua materna e segunda língua e logo mais descrevendo os processos pelos quais passaram, observações de aulas por parte do entrevistador, seguidos de entrevista ou preenchimento de questionários mais abertos. O método de triangulação poderia ter sido utilizado e traria para a pesquisa aspectos elucidativos e não o contrário.
A ideia de atingir um grande número de pessoas por meio da pesquisa quantitativa torna-se uma tentação ao pesquisador, porém na área educacional, dada a complexidade desse campo, não se busca a regularidade, mas se constroem realidades a partir do contato do pesquisador com essas. Não há uniformidade, objetividade, eficácia, padronização, ou seja, itens que o pesquisador do artigo apresentado buscou.

Ron

8/25/2015 01:12:40 pm

Gostei da sua colocação - na quinta-feira gostaria que você explicasse mais sobre o que você faria exatamente para extrair dados qualitativos, levando em conta sempre o objetivo da pesquisa.

INSTRUMENTOS DE PESQUISA EM LINGUÍSTICA APLICADA

WHAT IS THE PROBLEM?

Leave a Reply.

Relevant links

Archives

Categories

Useful links