Skip to content

Leituras

À medida que a u.c. prosseguia, a bibliografia básica foi sendo aumentada com novos livros e material encontrado na net. Das leituras que fiz gostei bastante dos dois livros do Creswell, ambos com uma escrita muito clara e escorreita. Research design: Qualitative, quantitative and mixed methods approaches está cheio de exemplos e de óptimos exercícios de escrita e cada capítulo termina com uma bibliografia anotada muito útil. O livro de David Silverman, Interpreting qualitative data, também possui muitos exemplos, dicas, ligações para material na Internet e exercícios de escrita para ajudar a desenvolver competências.

Para as entrevistas gostei do livro do livro do Kvale e Brinkman mas encontrei informação importante nas obras de Ghiglione e Matalon (O Inquérito) e Foddy (Constructing questions for interviews and questionaires: Theory and practice in social research). O livro de Oppenheim (Questionnaire design, interviewing and attiude measurement) tem muita coisa importante mas a sua concepção gráfica muito densa, com páginas com espaçamento entre as linhas demasiado pequeno, torna-o num pesadelo de legibilidade e a sua leitura exige um grande esforço.

Para a análise da entrevista que tivemos de fazer, a leitura do Bardin (Análise de conteúdo) ajudou bastante uma vez que os seus exemplos são muito claros.

Como dou aulas no ensino básico e essa será a população da minha dissertação interessei-me pelo tema da entrevista a crianças (nunca tinha pensado nisso até ler o Cohen e depois o Ghiglione) e acabei por encontrar um pequeno folheto escrito por McCrum e Bernal (Interviewing children: A training pack for journalists) que, apesar de não ter sido escrito prepositadamente para o investigador social, é um bom recurso sobre como entrevistar crianças. Dentro deste tema achei também interessante o artigo de Miller e Glassner (The “inside” and the “outside”: Finding realities in interviews).

O livro do Cohen (Research methods in education) serviu como uma espécie de ponto de partida para o resto das leituras.

Bibliografia

Anderson, T., & Kanuka, H. (2003). e-Research: Methods, startegies and issues. Boston: Allyn and Bacon.

Bardin, L. (2008). Análise de conteúdo. (L. A. Reto, & A. Pinheiro, Trad.) Lisboa: Edições 70.

Bowling, A. (2005). Mode of questionnaire administration can have serious effects on data quality. Journal of Public Health, 27 (3). Acedido em 20 de Janeiro de 2010 em http://jpubhealth.oxfordjournals.org/cgi/reprint/27/3/281

Cohen, L., Manion, L., & Morrison, K. (2007). Research methods in education (6ª Ed ed.). Londres: Routledge.

Creswell, J. W. (2007). Qualitative inquiry and research design: Choosing among five approaches. Thousand Oaks, CA: Sage.

Creswell, J. W. (2009). Research design: Qualitative, quantitative and mixed methods approaches. Los Angeles, CA: Sage.

Dillman, A., Tortora, R. & Bowker, D. (1998). Principles for Constructing Web Surveys. Acedido em 2 de Novembro de 2009 em http://survey.sesrc.wsu.edu/dillman/papers/Websurveyppr.pdf

Foddy, W. (2001). Constructing questions for interviews and questionaires: Theory and practice in social research. Cambridge: Cambridge University Press.

Ghiglione, R., & Matalon, B. (2001). O Inquérito (4ª Ed ed.). (C. L. Pires, Trans.) Lisboa: Celta.

Hopkins, D. (2008). A teacher’s guide to classroom research. Maidenhead, Berkshire, Inglaterra: Open University Press.

Kvale, S., & Brinkman, S. (2009). Interviews: Learning the craft of qualitative Research Interviewing. ThousandOaks, California: Sage Publishing.

Markham, A. N. (2004). Internet communication as a tool for qualitative research. In D. Silverman (Ed.), Qualitative research: Theory, methods and practice (2ª ed., pp. 95-124). Los Angeles, CA: Sage.

McCrum, S. & Bernal, P. (1994). Interviewing children: A training pack for journalists. Devon, Reino Unido: Children’s Voices. Acedido em 2 de Janeiro de 2010 em http://www.periodismosocial.net/documentos/Infancia%20-Interviewing_children.pdf

Miller, J., & Glassner, B. (2009). The “inside” and the “outside”: Finding realities in interviews. In D. Silverman (Ed.), Qualitative research: Theory, methods and practice (2ª ed., pp. 125-139). Los Angeles, CA: Sage.

Oppenheim, A. N. (2009). Questionnaire design, interviewing and attiude measurement. Londres: Continuum.

Schleyer, T. K., & Forrest, J. L. (2000). Methods for the Design and Administration of Web-based Surveys. JAMIA , 7 (4), 416-425. Acedido em 20 de Novembro de 2009 em http://www.ncbi.nlm.nih.gov/pmc/articles/PMC61445/

Silverman, D. (2008). Interpreting qualitative data (3ª Ed.). Londres: SAGE.

Solomon, D. J. (2001). Conducting Web-Based Surveys. Practical Assessment, Research & Evaluation, 7 (19). Acedido em 18 de Novembro, 2009 em http://PAREonline.net/getvn.asp?v=7&n=19

Stake, R. E. (1995). The Art of Case Study Research. Thousand Oaks, California: SAGE Publications.

Zhang, Y. (1999). Using the Internet for Survey Research: A Case Study. Journal of the American Society for Information Science. 51(1): 57-68. Acedido em 15 de Novembro, 2009 em http://www.tim.ethz.ch/education/courses/courses_fs_2007/course_docsem_fs_2007/literature/9_Zhang_Using_the_internet_for_survey_research.pdf

Yin, R. K. (2009). Case study research: Design and methods (4ª ed.). Thousand Oaks, CA: SAGE.

Anúncios

Interacção online

Para a última actividade da u.c. de Metodologias de Investigação em Contexto Online foi-nos pedido que nos debruçássemos sobre a questão da análise de interacções em contextos online. Depois de uma breve pesquisa acabei por encontrar dois artigos.

O artigo de Marra et al. precisava de uma reflexão que requeria mais tempo do que aquele que tinha e por isso acabei por me concentrar no de Vrasidas e McIsaac. Este artigo, apesar de relativamente curto, é extremamente denso em termos de informação e, por isso, vou deixar de lado algumas questões que tomei nota para futuras leituras e espero voltar a elas ainda aqui.

O artigo pretende compreender melhor as complexidades de um ambiente online e os factores que influenciam a interacção tanto na comunicação síncrona como na assíncrona e é basicamente composto por quatro partes: uma teórica em que é feito o enquadramento do estudo realizado, uma segunda com a descrição da metodologia utilizada e depois a análise dos resultados e as recomendações. Por agora concentrar-me-ei nas conclusões.

Os autores apresentam um estudo sobre as interacções aluno-professor num curso sobre a utilização das telecomunicações no ensino leccionado em sistema de blended learning numa universidade do sudoeste dos Estados Unidos. Neste estudo, a interacção foi definida como “the process of the recipocal actions of two or more actors within a given context” (p. 25). O universo do estudo foram os oito alunos do curso e o professor.

Um dos autores deste estudo (Vrasadas), numa investigação anterior tinha identificado um conjunto de categorias contextuais inter-relacionadas dentro das quais existem cinco factores que influenciam a interacção:

  • Controle do aluno
  • Presença social
  • Estrutura
  • Retorno (feedback)
  • Diálogo

Estas categorias estão interligadas, o que significa que a alteração de uma delas influencia as restantes.

A análise dos dados da investigação mostrou a existência de quatro grandes factores que influenciam a interacção online:

  • Estrutura
  • Tamanho da turma
  • Retorno
  • Experiência anterior

Estrutura

De acordo com os autores, “some elements of structure, such as required activities, led to more interactions, while other aspects of structure led to fewer interactions” (pp. 27-28). Os alunos consideraram que a participação nas discussões assíncronas era trabalho desnecessário uma vez que as discussões eram sobre assuntos sobre os quais já tinham escrito artigos e haveria uma outra discussão presencial. Os autores consideram que o problema poderá ser atribuído à metodologia de blended learning utilizada no curso.

Pelas opiniões dos alunos e dos professores ficamos com a ideia de que, provavelmente, a introdução da componente online não foi suficientemente equacionada.

Tamanho da turma

O tamanho reduzido da turma (oito alunos inicialmente, sete no final) também terá influenciado negativamente as interacções uma vez que teria faltado “massa crítica”.

One of the students explained it in the following way: ‘Let’s say you have five people and two are not in the mood, then you have only three left. That’s all, nothing else. If you have fifteen, if three are not in the mood, you still have twelve’. (p. 30)

Para os autores, a questão da massa crítica para as discussões online é um tema que necessita de uma investigação mais aprofundada.

Retorno

Outro problema apontado pelos autores foi a falta de retorno por parte do professor e dos pares. Os alunos queixaram-se da falta de retorno por parte do professor. De acordo com a interpretação cognitiva, o retorno serve de informação para o aluno.

Janet MacDonald considera este aspecto como uma das características importantes do ensino online.

(…) it can be particularly valuable to be able to reflect on your contribution, either in terms of giving a considered response to students’ comments or written work, or to give students the chance to reflect. (p. 24)

Experiência anterior

Os alunos que não tinham experiência anterior com a comunicação mediada por computador (CMC) não se sentiram confortáveis na utilização do chat, mas mostraram um maior à vontade nas sessões assíncronas “because there they could take time to think and reflect on their ideas” (p. 29). Os alunos com mais experiência em CMC utilizaram mais emoticons do que os restantes colegas.

Referências

MacDonald, J. (2008). Blended learning and online teaching: Planning learner support and activity design (2ª Edição). Burlington: Gower.

Marra, R. M., Moore, Joi L. & Klimczack (2004). Content Analysis of Online Discussion Forums: A Comparative Analysis of Protocol. ETR&D, 52(2), pp. 23-40. Acedido em 22 de Fevereiro de 2010 em http://institute.nsta.org/scipack_research/content_analysis_online_discussion_forums_etrd.pdf

Mayer, R. E. (2008). Learning and instruction (2ª Edição). Upper Saddle River, Nova Jérsia: Pearson Merrill Prentice Hall.

Vrasidas, C., & McIsaac, M.S. (1999). Factors influencing interaction in an online course. American Journal of Distance Education, 13 (3), 22–36. Acedido em 22 de Fevereiro de 2010 em http://cardet.org/vrasidas/pubs/AJDE_Vrasidas.pdf

A formulação de perguntas

In reality, questioning people is more like trying to catch a particularly elusive fish, by casting different kinds of bait at different depths, without knowing what is going on beneath the surface!

Oppenheim (120-121)

Para que se possa responder a um inquérito primeiro precisamos de compreender cada uma das palavras da mesma forma que o investigador as entende e só depois podemos interpretar as perguntas. Existem dois níveis na compreensão das frases: o primeiro constitui aquilo a que tecnicamente se chama análise (onde se realiza a análise estrura sintática); o segundo é a análise do significado da frase (cf. Eysenck e Keane: 335-362). O problema é que o significado das palavras, mesmo das mais comuns, pode não ser partilhado (Foddy: 38-39).

As men have known throughout the ages and as modern semantics has pointed out in detail, the meaning of even the simplest word can be slippery. When we add to the ordinary problem of verbal communication the additional problem of presenting a meaning to groups of people widely separated in background, experience, estimations and terminologies peculiar to interest or occupational groups, the difficulty confronting a public opinion investigator becomes clear (Cantril e Fried citado por Foddy: 39)

Foddy refere quatro factores que influenciam a compreensão das perguntas num questionário: a evolução de subtis significados em contextos específicos, a sua dificuldade relativa, falta de referentes empíricos claros e a existência de cambiantes subtis entre palavras aparentemente similares.

Os contextos

Em relação ao primeiro aspecto, Foddy dá como exemplo a utilização da palavra “chá”: enquanto que para um inglês “chá” se refere a uma refeição, os americanos usam-na para se referirem a uma bebida (Foddy: 40). E mesmo palavras que parecem ter um mesmo significado em todo o lado podem trazer problemas inexperados.

Foddy apresenta o exemplo o conceito de “idade”: para a maioria dos adolescentes, uma pessoa com mais de quarenta anos é velha, enquanto que para alguém com sessenta anos uma pessoa velha se refere a alguém com mais de oitenta anos (Foddy: 40). Um problema semelhante existe com o conceito de rendimento. Ou seja, quando prepara o inquérito, o investigador tem de ter a certeza da forma como os respondentes interpretarão as palavras chave das perguntas.

A própria ênfase dada a determinadas palavras pode alterar o significado da pergunta (exemplo tirado de Lazarsfeld, citado por Foddy: 41):

  • Por que é que compraste esse livro?” – Transmite surpresa ou desaprovação.
  • “Por que é que compraste esse livro?” – Transmite o desejo de uma explicação dessa acção.
  • “Por que é que compraste esse livro?” – Diz respeito um livro em particular e não qualquer livro.
  • “Por que é que compraste esse livro?” – Transmite o desejo de uma explicação: por que é que se gastou o dinheiro desta forma e não de outra.

A dificuldade das palavras

A dificuldade das palavras afecta igualmente a compreensão dos respondentes. Para alguns investigadores, o aumento da dificuldade das palavras numa pergunta aumenta a possibilidade de o respondente se sentir ameaçado e de este responder “Não sei”. A dificuldade vocabular (por exemplo, número médio de sílabas por palavra) pode levar à escolha da última opção apresentada (Foddy: 41). Este problema é particularmente importante quando os respondentes são crianças uma vez que elas diferirem dos adultos em termos das suas capacidades cognitivas e linguísticas (Cohen, Manion e Morrison, 2007: 374).

Em relação ao assunto, Foddy diz o seguinte:

When potentially difficult words (e.g. words that are not commonly used or have a technical meaning) have to be included, it is clear that they should be defined for respondents. (p. 41)

Oppenheim reforça esta ideia:

(…) we should avoid humiliating respondents, baffling them with terminology, patronizing them or making them feel in the wrong. (p. 122)

No que diz respeito às crianças será importante relembrar Baddeley e Gathercole:

Between infancy and adulthood, there is a dramatic increase in an individual’s ability to retain temporarily verbal material such as new word or a list of numbers. The most convenient and widely used index of this development increae is provided by auditory digit span, which is the maximum number of spoken digits that someone can immediately remember and repeat back in the same order. An average four-year-old child has a span of between two and three digits. Ten years later, he or she will have a digit span of about seven digits (…). Short-term memory of purely visual material undergoes a similar increase during the same development period. (p. 25)

Falta de referenciais empíricos

Segundo Cannell, citado por Foddy (p. 42), quando existem mais de uma possível interpretação para uma pergunta, o respondente necessita de pensar nas várias interpretações possíveis e decidir qual a interpretação que vai usar. Isto significa que quanto mais genérica for a pergunta maior será o número de interpretações possíveis.

Quando se elaboram as perguntas devemos evitar utilizar palavras com múltiplos significados uma vez que isso torna-as mais ambíguas. Foddy apresenta algumas palavras com as quais devemos ter cuidado na formulação das perguntas. Algumas destas palavras são comuns: bom, mau, aprovar, desaprovar, concordar, discordar, gostar, detestar, regularmente, habitualmente, frequentemente, poucas vezes, raramente…

To make matters more complex, the ways in which many of these words are to be interpreted are dependent upon the topics with which they are paired. Thus, “once a day” may be “very often” when one is talking about haircuts but not “very often” when one is talking about brushing one’s teeth. (Foddy: 44)

A solução é usar palavras que sejam o mais específico e concreto possível.

Complexidades estruturais

A interpretação de uma pergunta é igualmente influenciada pela complexidade da sua estrutura. Aqui incluem-se, por exemplo, o número de palavras utilizadas na formulação das perguntas, a complexidade gramatical e o uso de negativas.

Número de palavras utilizado

Payne descobriu que os respondentes têm problemas com a ordem das opções apresentadas quando o número de palavras utilizadas na formulação da pergunta é maior do que vinte. Molenaar considera que perguntas curtas reduzem a possibilidade de se obter respostas diferentes.

Bowling refere que

when questions are presented orally (as in face-to-face or telephone interviews) respondents tend to begin processing the final response option offered (while they still recall it) and, where agreeable, they select that option (recency effects). (287)

O efeito de recência é a tendência que temos para nos lembramos das últimas cinco ou seis palavras de uma lista (cf. Reisberg: 145-148; Eysenck & Keane: 154 e 545).

Complexidade gramatical

Problemas com a complexidade gramatical incluem fazer-se duas ou mais perguntas numa só e o uso de negativas.

Foddy recomenda que, em vez de se perguntar “Viu ou ouviu alguma coisa?” devemos desdobrar a pergunta em “Viu alguma coisa?” e “Ouviu alguma coisa?”. Para este autor devemos igualmente evitar perguntas do género “Em quem pensa votar nas próximas eleições?” já que, na realidade, se trata de duas perguntas numa só (a primeira, “Vai votar nas próximas eleições?”, está implicita). Neste último caso devemos fazer a seguinte sequência de perguntas:

Esquema para uma dupla pergunta

Uso de negativas

Muitos autores desaconselham o uso de duplas negativas uma vez que elas terão de ser traduzidas para positivas. (Foddy: 49) apresenta o seguinte exemplo:

Qual é a sua opinião sobre a afirmação que os conservacionistas não devem ser tão pouco cooperantes com o governo?

que terá de ser traduzida para

Qual é a sua opinião sobre a afirmação que os conservacionistas devem cooperar com o governo?

Mas, às vezes, as próprias negativas simples podem causar dificuldades. Por exemplo, a pergunta “Não vai ao cinema?” é mais difícil do que mesma pergunta feita na sua forma positiva (“Vai ao cinema?”).

Categorias de perguntas difíceis

Foddy (p. 51) apresenta as seguintes categorias de perguntas difíceis segundo Belson:

  1. Duas perguntas apresentadas como uma (por exemplo, “Que marca usa ou muda de marca frequentemente?”).
  2. Perguntas com muitas palavras significativas (por exemplo, “Quantos pacotes de cada tamanho comprou?”).
  3. Perguntas com múltiplas ideias ou assuntos (por exemplo, “Quais foram as que ouviu falar ou comprou?”).
  4. Perguntas que incluam palavras difíceis ou que não sejam familiares.
  5. Perguntas que contenham uma ou mais instruções (por exemplo, “Não inclua X na sua resposta”).
  6. Perguntas que comecem com palavras que as pretendam suavizar (por exemplo, “Importa-se de…”).
  7. Perguntas com frases difíceis.
  8. Perguntas hipotéticas.
  9. Perguntas que dependem de outras anteriores para fazerem sentido (por exemplo, P1 – “Comprou uma cópia de X?”; P2 – “Onde é que ela está?”).
  10. Perguntas com elementos negativos.
  11. Perguntas invertidas (por exemplo, “Os que comprou da última vez, onde é que eles estão?”).
  12. Perguntas demasiado longas.
  13. Perguntas que incluam verbos no presente e no pretérito.
  14. Perguntas em que é utilizado o singular e o plural.

Referências

Bowling, A. (2005). Mode of questionnaire administration can have serious effects on data quality. Journal of Public Health, 27 (3). Acedido em 20 de Janeiro de 2010 em http://jpubhealth.oxfordjournals.org/cgi/reprint/27/3/281

Cohen, L., Manion, L., & Morrison, K. (2007). Research methods in education (6ª Ed ed.). Londres: Routledge.

Eysenck, M. W., & Keane, M. T. (2003). Cognitive Psychology: a Student’s Handbook (4ª ed.). Hove, East Sussex: Psychology Press Ltd.

Foddy, W. (2001). Constructing questions for interviews and questionaires: Theory and practice in social research. Cambridge: Cambridge University Press.

Gathercole, S. E. & Baddeley, A. D. (2003). Working memory and language. Hove, East Sussex: Psychology Press Ltd.

Oppenheim, A. N. (2009). Questionnaire design, interviewing and attiude measurement. Londres: Continuum.

Reisberg, D. (2006). Cognition: Exploring the Science of the Mind (3ª ed.). Nova Iorque: W. W. Norton & Company Inc.

Princípios dos questionários online

Dillman et al., tendo em conta a crescente popularidade dos inquéritos realizados através da Internet, apresenta três critérios para se considerar um inquérito online como “amigo do respondente” e onze princípios a ter em conta na elaboração deste género de questionários.

We define respondent-friendly design as the construction of web questionnaires in a manner that increases the likelihood that sampled individuals will respond to the survey request, and they will do so accurately, i.e., by answering each question in the manner intended by the surveyor. Under this definition we include aspects of access and motivation, as well as cognition, as it has been applied to the design of paper questionaires (…). (p. 3)

Alguns dos problemas apresentados (como é o caso de ligações lentas) já não se aplicam hoje em dia, mas os princípios que os autores apresentam mantêm-se actuais.

Critério 1: O design amigo do respondente tem em conta a incapacidade de alguns respondentes receberem e responderem a e-questionários com características de programação avançadas que não podem ser recebidas ou respondidas devido a limitações do equipamento, do browser ou limitações de transmissão

Os problemas referidos pelos autores (utilização de cor, novas formas de mostrar as perguntas, utilização de applets, animação, som) não têm expressão actualmente. Provavelmente, quando se estavam a referir a novas formas de mostrar as perguntas, os autores referiam-se à utilização de tableas que, quando apareceram, podiam provocar problemas nos browsers. Apesar de tudo, este critério não deve ser descurado. A utilização de plug-ins (como o Flash ou Shockwave) ou características que só existem num determinado browser devem ser evitadas.

Numa experiência relatada por Dillman et al. (pp. 3-4), um inquérito considerado como extravagante e levava mais tempo a carregar teve uma menor percentagem de pessoas que o completaram em relação ao mesmo inquérito mais “normal”.

Whereas 93.1% of those who logged into the plain version completed all of it, only 82.1% of those entering the fancy version finished it. (p. 4)

O conselho dos autores é

Applying this criterion of designing within the limits of what computers, browsers, and transmission lines to respondents can handle, means that designers of web questionaires face an unusual challenge. Instead of designing at the cutting edge of their evolving science, there is a need for them to hold back on the incorporation of advanced features, creating simpler questionaires that require less memory. (p. 4)

Steve Krug, no seu livro Don’t make me think: A common sense approach to Web usability, reforça a ideia não entrar em extravagâncias:

“What’s the most important thing I should do if I want to make sure my Web site is easy to use?”

(…) It’s “Don’t make me think!”

(…) It’s the overriding principle – the ultimate tie breaker when deciding whether something works or doesn’t in a Web design. If you have room in your head for only one usability rule, make this the one. (p. 11)

Ainda em relação a este critério, penso que não devemos esquecer o conselho de Jakob Nielsen:

Usability is defined by five quality components:

  • Learnability: How easy is it for users to accomplish basic tasks the first time they encounter the design?
  • Efficiency: Once users have learned the design, how quickly can they perform tasks?
  • Memorability: When users return to the design after a period of not using it, how easily can they reestablish proficiency?
  • Errors: How many errors do users make, how severe are these errors, and how easily can they recover from the errors?
  • Satisfaction: How pleasant is it to use the design?

Critério 2: O design amigo do respondente deve ter em atenção tanto a lógica de como os computadores funcionam como a ideia que as pessoas têm de como funcionam os inquéritos

Aqui, os autores estão a aplicar o princípio da consistência segundo o qual “systems are more usable and learnable when similar parts are expressed in similar ways” (Lidwell et al.: 46).

Um problema dos inquéritos online, de acordo com os autores, tem a ver com o facto de os olhos e as mãos não se encontrarem na mesma área visual.

One reason for this potential difference [na forma de preenchimento] is that while filling out a paper questionnaire, eyes and hands generally work in the same visual area of the page. However, when filling out a survey on computers, hands are in different locations (e.g., mouse, keybord) than the eyes. The respondent must, while viewing the computer screen, deal simultaneously with the location of questions on the screen, the cursor, and control features that are in the peripheral vision field” (p. 6).

Este fenómeno psicológico, conhecido como carga de desempenho, significa que quanto maior for o esforço para a realização de uma tarefa menor será a possibilidade de a tarefa ser concluída com sucesso, não é de descartar totalmente, em especial se os respondentes tiverem pouca experiência com computadores.

Critério 3: Os e-questionários devem ter em atenção a possibilidade de serem utilizados em situações de pesquisa mista

Uma vez que nem toda a gente tem acesso à Internet, Dillman et al. consideram que se devem conceber questionários que possam ser usados tanto online como de um modo tradicional – em papel ou através do telefone. Em relação a esta questão lembram, por exemplo, que nas entrevistas telefónicas não se fazem perguntas do género “Por favor assinale todos os acontecimentos desportivos a que assistiu como espectador no último ano”.

Os princípios para a concepção dos inquéritos online apresentados pelos autores são os seguintes:

  1. Introduzir o e-questionário com um écrã de abertura que seja motivador, realce a facilidade de resposta, e dê instruções sobre a forma como continuar para a página seguinte.
  2. Iniciar o e-questionário com uma pergunta que seja visível no primeiro écrã do questionário e seja fácil de compreender e responder por todos os respondentes.
  3. Apresentar cada pergunta num formato convencional semelhante ao que é normalmente utilizado nos questionários em papel (por exemplo, numerar as perguntas).
  4. Limitar o comprimento das linhas de forma a diminuir a possibilidade de have uma longa inha de texto que ocupe toda a largura do écrã (sobre o assunto, ver também o artigo de Jakob Nielsen “How Users Read on the Web”).
  5. Fornecer instruções específicas sobre como responder às perguntas.
  6. Fornecer as instruções junto com a pergunta.
  7. Não obrigar os respondentes a dar uma resposta a todas as perguntas antes de poderem continuar com o inquérito.
  8. Construir e-questionários de forma a que se possa passar de pergunta para pergunta. Deve-se evitar um inquérito com um grande número de perguntas.
  9. Quando o número de hipóteses excede o número que pode ser mostrado num écrã deve-se colocar em duas colunas e incluir instruções de navegação.
  10. Usar símblos gráficos ou palavras que indiquem qual a percentagem do inquérito que já foi concluída.
  11. Evitar perguntas que têm problemas nos inquéritos em papel tais como assinale todas as hipóteses que se aplicam.

Referências

Cohen, L., Manion, L., & Morrison, K. (2007). Research methods in education (6ª Ed ed.). Londres: Routledge.

Dillman, A., Tortora, R. & Bowker, D. (1998). Principles for Constructing Web Surveys, disponível online em http://survey.sesrc.wsu.edu/dillman/papers/Websurveyppr.pdf (acedido em 2 de Novembro de 2009)

Garrett, J. J. (2003). The elements of user experience: User-centered design for the web. Indianapolis, Indiana: New Riders

Krug, S. (2000). Don’t make me think: A common sense approach to Web usability. Indianapolis, Indiana: New Riders

Lidwell, W., Holden, K. e Butler, J. (2003). Universal principles of design: 100 ways to enhance usability, influence perception, increase appeal, make better design decisions, and teach through design. Gloucester, Massachusetts: Rockport Publishers, Inc.

Nielsen, J. (1997). How Users Read on the Web. Acedido em 20 de Janeiro de 2010, em useit.com: http://www.useit.com/alertbox/9710a.html

Nielsen, J. (2010). Usability 101: Introduction to Usability. Acedido em 20 de Janeiro de 2010, em useit.com: http://useit.com

Solomon, David J. (2001). Conducting web-based surveys. Practical Assessment, Research & Evaluation, 7(19). Acedido em 20 de Janeiro de 2010 em http://PAREonline.net/getvn.asp?v=7&n=19 .

Ferramentas para inquéritos online

Numa breve investigação sobre ferramentas para a criação de inquéritos online encontrei os seguintes sites:

Surveymonkey – Possui uma versão grátis que permite até 10 perguntas por inquérito e 100 respostas. Podemos utilizar qualquer língua e a criação de um número ilimitado de inquéritos. Na ajuda do SurveyMonkey encontrei um PDF interessante sobre a construção de inquéritos.

Site da Survey Monkey

Zoomerang – A versão grátis permite até 30 perguntas por inquérito. Numa primeira análise pareceu-me que a ajuda é boa.

Surveygizmo – O plano básico custa $19 por mês e permite um número ilimitado de inquéritos e perguntas e 250 respostas por mês. Existe uma versão grátis que dura 14 dias.

Site da Survey Gizmo

Questionpro – é a pagar mas tem uma versão grátis.

Magic survey tool – Tem uma versão grátis cuja conta dura um mês.

Survey Methods – É a pagar mas tem conta grátis. Quando se cria uma conta podemos usar uma conta normal durante uma semana.

Lime Survey – Ferramenta feita em PHP que pode ser descarregada para instalação num servidor. Podemos igualmente utilizar a ferramenta directamente sem termos de possuir um servidor através do serviço disponibilizado. Instalei o Lime Survey no meu servidor e a sua utilização é bastante fácil.

Site da Lime Survey

Thesis Tools – Trata-se de uma ferramenta para quem está a trabalhar numa dissertação. O serviço é gratuito (ou, como eles dizem no site, quase – no final pedem que apresentemos os resultados no site através de um ficheiro do Word ou PDF) e entre as línguas que podem ser usadas encontra-se o português.

2Ask – É um serviço comercial mas que tem uma versão de teste grátis que podemos utilizar durante um mês e nos permite criar três inquéritos com até 100 perguntas (mas depois só podem ser 10 pessoas a responder). A versão a sério começa nos €198 para um inquérito com a duração de 30 dias que permite até 100 participantes. A partir daí o preço é sempre a subir.

Deixo uma matriz de comparação bastante útil entre várias ferramentas que encontrei na net.

e-questionários

The Internet changes everything

Larry Ellison, CEO da Oracle

A Internet veio modificar a forma como trabalhamos, nos divertimos e nos relacionamos. Para o investigador, “(…) the Internet provides new tools for conducting research ” (Markham, 2004: 95). Uma das oportunidades oferecidas pela Internet é a realização de inquéritos online.

Cohen, Manion e Morrison (2007) referem a existência de várias vantagens na utilização de inquéritos através da Internet:

  • Tem custos mais reduzidos do que um inquérito aplicado em papel
  • Reduz o tempo necessário à sua distribuição e processamento de dados uma vez que os dados podem ser processados automaticamente
  • Permite que um maior número de pessoas possa participar (segundo Markham (2004: 101), a utilização da Internet permite ao investigador incluir pessoas que, de outra forma, estariam indisponíveis)
  • Quando o tema da investigação é sensível, este tipo de inquéritos permite o acesso a grupos que são normalmente difíceis de identificar ou aceder
  • Pode constituir uma novidade
  • Os questionários podem ser respondidos de casa ou de qualquer outro lugar onde exista acesso à Internet
  • Os inquiridos podem completar o questionário quando lhes der mais jeito
  • O inquérito não tem de ser completado todo de uma vez
  • As respostas nos inquéritos on-line apresentam menos perguntas não respondidas do que os inquéritos em papel
  • Os erros na entrada e processamento de dados são reduzidos
  • Podem-se adicionar características que tornam o inquérito mais atractivos tais como gráficos e cor
  • Pode-se obter uma maior generalização uma vez que os utilizadores da Internet fazem parte de uma população diversificada
  • A participação voluntária pode levar a uma maior autenticidade nas respostas

A esta lista Zhang (1999) acrescenta o facto de poderem aumentar a motivação para as pessoas responderem ao apresentarem um processo dinâmico e interactivo e Anderson e Kanuka (2003) referem ainda como vantagens adicionais:

  • A introdução directa dos dados pelo inquirido
  • Maiores oportunidades de realizar inquéritos
  • Flexibilidade de design
  • Maior retorno dos inquéritos
  • Mais rápida criação e distribuição

Apesar desta extensa lista, nem tudo é perfeito e vários autores são críticos em relação à aplicação de inquéritos através da Internet. Dillman, Tortora e Bowker (1998: 1-2) e Schleyer e Forrest (2000) referem problemas como a literacia informática e o poder de processamento dos computadores. Se o segundo aspecto hoje em dia pode ser praticamente descartado (onze anos na informática são uma eternidade – Dillman fala em acessos à Internet com modems de 14.4 Kbps), o primeiro não será de menosprezar:

“Internet users tend to be highly educated white men between the ages of 26 and 30 years. Even so, their experience responding to online questionnaires may be limited. Thus, Web-based surveys need to have clear directions on how to perform each needed skill, e.g., how to enter answers with a dropdown box or erase responses from a check box so that responding to the questionnaire does not become a frustrating experience.” (Schleyer e Forrest, 2000)

O tipo de utilizadores da internet, que Schleyer e Forrest descrevem como “highly educated white men beetween the ages of 26 and 30” constitui um dos problemas referidos por Cohen et al. (2007: 231-235). A lista completa que estes autores apresentam é longa (ocupa as páginas 231 a 235 e incluem soluções para os problemas), por isso segue-se um pequeno resumo.

  • Problemas de amostragem:
    • Alguns grupos podem encontrar-se subrepresentados quer por não terem ou preferirem não aceder à Internet
    • Podem existir problemas de cobertura
    • Não haver respostas e enviesamento (bias) do inquirido
  • Problemas de ética:
    • Os inquiridos podem preferir manter o anonimato
    • Os inquiridos podem não saber nada do investigador (por exemplo, se se trata de uma investigação séria)
    • Consentimento
  • Problemas de hardware (a maior parte dos problemas apresentados já não aplicavam em 2007 mas pelo menos um é importante):
    • A utilização de plug-ins como o Flash que podem aumentar o tempo que leva a carregar o inquérito
  • Problemas com os inquiridos:
    • Os inquiridos podem não estar familiarizados ou ser inexperientes no uso da Internet
    • Os inquiridos podem enviar múltiplas cópias das suas respostas
    • Os inquiridos podem não estar habituados à utilização de pull-down menus

Em relação ao problema da amostragem referido por Cohen et al., Schleyer e Forrest (2000) concordam que é preciso ter cuidado.

“While access to e-mail and the Internet grow daily, a ‘digital divide’ exists among age and racial groups, income levels, and geographic settings. Ensuring that each potential respondent has an equal chance of being selected to participate poses a major challenge in conducting a scientifically sound survey. (…) Unfortunately, the sampling procedures reported in many electronic surveys reflect unknown samples. When subjects are recruited by targeting newsgroups or search engines, it is nearly impossible to determine the distribution of the sample population. These survey procedures should be used only when sampling and self-selection biases can be tolerated.” (Schleyer e Forrest, 2000)

Com uma tão grande lista de problemas devemos utilizar questionários online? Penso que sim, desde que, tal como acontece com qualquer ferramenta, se conheçam as suas limitações.

Referências

Anderson, T. & Kanuka, H (2003). e-Research: Methods, strategies and issues. Boston: Allyn and Bacon

Cohen, L., Manion, L., & Morrison, K. (2007). Research methods in education (6ª Ed ed.). Londres: Routledge.

Dillman, A., Tortora, R. & Bowker, D. (1998). Principles for Constructing Web Surveys, disponível online em http://survey.sesrc.wsu.edu/dillman/papers/Websurveyppr.pdf (acedido em 2 de Novembro de 2009)

Markham, Annette N. (2004). Internet communication as a tool for qualitative research. In D. Silverman (Ed.), Qualitative research: Theory, methods and practice (2ª ed., pp. 95-124). Los Angeles, CA: Sage.

Schleyer, T. K., & Forrest, J. L. (2000). Methods for the Design and Administration of Web-based Surveys. JAMIA , 7 (4), 416-425. Disponível online em http://www.ncbi.nlm.nih.gov/pmc/articles/PMC61445/ (acedido em 20 de Novembro de 2009)

Solomon, D. J. (2001). Conducting Web-Based Surveys. Practical Assessment, Research & Evaluation, 7 (19). Disponível online em http://PAREonline.net/getvn.asp?v=7&n=19 (acedido em 18 de Novembro, 2009)

Zhang, Y. (1999). Using the Internet for Survey Research: A Case Study. Journal of the American Society for Information Science. 51(1): 57-68, disponível online em http://www.tim.ethz.ch/education/courses/courses_fs_2007/course_docsem_fs_2007/literature/9_Zhang_Using_the_internet_for_survey_research.pdf (acedido em 15 de Novembro de 2009)

e-entrevistas

Anything that can go wrong will go wrong.

Lei de Murphy

Até há relativamente pouco tempo, os métodos para registar entrevistas eram simples: gravador audio, câmera de vídeo, notas e memória (Kvale & Brinkmann, 2009: 179). Com a chegada da Internet, as coisas começaram a mudar. “(…) the Net-enhanced researcher acquires an attitude of curiosity, a critical but accepting attitude towards technological tools, and a willingness to look at the world through new technological and communication lenses” (Anderson & Kanuka, 2003: 1).

Cohen et al. (2007: 241) consideram que a Internet representa um excelente oportunidade para a realização de entrevistas.

“For example, online interviews which are entirely real-time and synchronous through chat rooms, can be anonymous for both parties if so desired, and the opportunity to contact respondents at mutually convenient times is enhanced. (…) The Internet may also enable researchers to contact hard-to-reach groups and individuals (…).” (Cohen et al., 2007: 241-242)

Mas este poder, abertura e facilidade vêm com um preço. Vem isto a propósito da realização das minhas entrevistas para a u.c. de Metodologia de Investigação em Contexto Online.

A actividade consistia na realização de uma entrevista semi-estruturada a um amigo nosso que nunca tivesse tido nenhuma experiência em EaD. Para a entrevista foram escolhidas 3 questões de investigação: 1) O que pensam pessoas que nunca tiveram experiência de ensino a distância sobre esta modalidade de ensino?; 2) Como é que valorizam e/ou desvalorizam o ensino a distância?; 3) Como é que sentem o facto de ser amigo de um estudante de mestrado em Ensino a Distância?

A entrevista podia ser feita presencialmente ou através da Internet (houve alguma discussão sobre as ferramentas a utilizar, mas quase todos os alunos do mestrado se inclinavam para a realização através da ‘net). A minha primeira ideia foi realizar a entrevista no Second Live não só porque, no semestre passado, já tínhamos utilizado o SL para realizar uma entrevista, mas também porque quem eu tinha pensado entrevistar tem experiência naquele mundo virtual.

As coisas começaram a não correr bem como eu pensava quando a minha futura entrevistada disse que não se importava que a entrevista fosse feita no SL mas que queria utilizar a voz para ser mais rápido. O problema era como gravar a voz no SL. Pesquisa na Internet à procura da solução. Muita coisa para Windows, menos para o Macintosh, mas lá descobri o truque e comprei uma ferramenta chamada Audio Jack Pro.

Depois de tudo instalado e configurado chegou a altura da experiência (sempre necessária quando é a primeira vez que utilizamos uma ferramenta). E foi aqui que as coisas não correram lá muito bem. Primeiro não conseguia captar o som – longos minutos com as preferências do SL e do computador à procura do que estava errado. A seguir, o som estava péssimo, havia feedback, a minha ligação estava demasiado lenta e depois de longos minutos de correria entre o portátil (que estava a ser utilizado porque tem microfone incorporado) e o computador de secretária (mais potente) para tentar perceber o que se passava deixámos o SL. A minha amiga acabou por não ser entrevistada mas isto serve para mostrar que quando subimos a fastia tecnológica, a Lei de Murphy torna-se em algo que devemos ter em atenção. É claro que com as ferramentas clássicas também podem acontecer imprevistos (o gravador não funciona, as pilhas acabam ou a cassette não tem tempo suficiente), mas são sempre problemas mais fáceis de resolver.

Acabei por fazer duas entrevistas: uma presencial (que gravei com o computador, apesar de ter um gravador na mala) e uma através do chat do Google. A presencial deu mais trabalho porque foi preciso transcrevê-la mas foi mais rica e levou menos tempo (conseguimos despachar as coisas em pouco mais de 25 minutos) enquanto que para a outra foram necessários cerca de 90 minutos e foi mais impessoal apesar de conhecer o entrevistado há muito mais tempo.

Referências

Anderson, T., & Kanuka, H. (2003). e-Research: Methods, startegies and issues. Boston: Allyn and Bacon.

Cohen, L., Manion, L., & Morrison, K. (2007). Research methods in education (6ª Ed ed.). Londres: Routledge.

Kvale, S., & Brinkmann, S. (2009). Interviews: Learning the craft of qualitative research interviewing. ThousandOaks, California: Sage Publishing.