Development and validation of a questionnaire for evaluating the impact of ICT in secondary schools

Authors

DOI:

https://doi.org/10.1344/der.2018.34.1-26

Keywords:

Secondary education, evaluation, ICT, questionnaire validation

Abstract

The incorporation of ICT in the classroom should be a reality, however there is still a way to go, hence the importance of evaluating its current impact on educational centers. This study presents a questionnaire designed for the "Evaluation of the use of ICT in schools" from the perspective of the students. For its validation, two studies were carried out in 10 Secondary Education centers in Andalusia, obtaining a total sample of 1260 participants (630 in each study). The results showed that the instrument has adequate psychometric properties. In study 1, Cronbach's Alpha stands at 0.92. An exploratory factorial analysis was performed using the Maximum Likelihood extraction procedure and a Promax rotation. The estimated solution was composed of 6 factors (KMO=0.891, Bartlett's test p <0.001, variance=42.7%). In study 2, the index of goodness of fit and error for the model obtained and tested were adequate (RMSR=0.064, RMSEA=0.072, NNFI=0.90, CFI=0.91, GFI=0.72, AGFI=0.70). As a conclusion, it would be interesting to extend this study to other educational levels and to make a comparative study of the existing reality in our educational system regarding the use and management of ICT.

References

Aguaded, J.I. y Tirado, R. (2008) Los centros TIC y sus repercusiones didácticas en primaria y secundaria en Andalucía. Educar, 41, 61-90. Recuperado de http://ddd.uab.cat/pub/educar/0211819Xn41p61.pdf Amar, V. (2006). Planteamientos críticos de las nuevas tecnologías aplicadas a la educación en la sociedad de la in¬formación y de la comunicación. Píxel- Bit. Revista de medios y educación, 27, 1-6. Arias, B. (2008). Desarrollo de un ejemplo de análisis factorial confirmatorio con LISREL, AMOS y SAS. Seminario de Actualización en Investigación sobre Discapacidad SAID. Mimeografía no publicada. Barberá, J.P. y Fuentes, M. (2012) Estudios de caso sobre las percepciones de los estudiantes en la inclusión de las TIC en un centro de Educación Secundaria. Profesorado, 16 (3), 285-305. Batista, J. M., & Coenders, G. (2012). Modelos de ecuaciones estructurales (2ª Ed.). Madrid: La Muralla. Brown, T. A. (2006). Confirmatory factor analisys for applied research. New York: The Guilford Press. Cabero, J. (2003) Las andaduras de Andalucía en las tecnologías de la información y la comunicación aplicadas a la enseñanza. XXI, Revista de educación, 5, 27-50. Cabero, J. (2004). Formación del profe¬sorado en TIC. El gran caballo de ba¬talla. Comunicación y pedagogía, 195, 27-31. Cabero, J. (2010) Los retos de la integración de las TICs en los procesos educativos. Límites y posibilidades. Perspectiva educacional. Formación de profesores, 49 (1), 32-61. Cebrián de la Serna, M. y Ruiz Palmero, J. (2008). Impacto producido por el proyecto de centros TIC en CEIP e IES de Andalucía desde la opinión de docentes. Píxel-Bit. Revista de medios y educación, 31, 141-154. CENATIC (2012) Centro de gestión avanzado de centros TIC. Un caso a replicar. Recuperado de http://www.cenatic.es/publicaciones/divulgativas Collins, A. & Halverson, R. (2009). Rethinking Education in the Age of Technology: The Digital Revolution and the Schools. New York: Teachers College Press. Davis, N.; Preston, C. & Sahin, I. (2009). ICT teacher training: Evidence for multinivel evaluation from a national initiative. British Journal of Educational Technology, 40 (1), 135–48. Divaharan, S. y Cher Ping, L. (2010) Secondary school socio-cultural context influencing ICT integration: A case study approach. Australasian Journal of educational Technology, 26 (6), 741-763. Recuperado de http://www.ascilite.org.au/ajet/ajet26/divaharan-2.html Eynon, R. y Geniets, A. (2016) The digital skills paradox: how do digitally excluded youth develop skills to use the internet?. Learning, Media and Technology, 41 (3), 463-479. doi: 10.1080/17439884.2014.1002845 Fernández-Batanero, J. M. y Torres-González, J. A. (2015) Actitudes docentes y buenas prácticas con TIC del profesorado de Educación Permanente de Adultos en Andalucía. Revista Complutense de Educación, 26, 33-49. Finney, S. J., & DiStefano, C. (2006). Nonnormal and categorical data in structural equation modeling. In G.R. Hancock, & R.O. Mueller (Eds.), Structural Equation Modeling: A second course (pp. 269-314). United States of America: Information Age Publishing. George, E. (2005). Utiliser internet à des fins d’éducation populaire: potentiali¬tés et réalités. Telos. Cuadernos de Co¬municación e Innovación, 65, 1-8. Hair, J., Black, W. C., Babin, B., Anderson, R. E., & Tatham, R. (2005). Multivariate data analyses (6ª ed.). New York, NY: Prentice-Hall. Huertas, A. y Pantoja, A. (2016). Efectos de un programa educativo basado en el uso de las TIC sobre el rendimiento académico y la motivación del alumnado en la asignatura de tecnología de educación secundaria. Educación XX1, 19 (2), 229-250. doi: 10.5944/educXX1.14224 International Society for Technology Education (2007). National Educational Technology Standars (NETS.S) and Performance Indicators for Students. Recuperado de http://www.iste.org/Content/NavigationMenu/NETS/ForStudents/2007Standards/NETS_for_Students_2007_Standards.pdf Kankaanranta, M., and Vahtivuori-Hänninen, S. (Eds.) (2011). Educational technology in schools everyday life II. Jyväskylä: Finnish Institute for Educational Research & Agora. Law, N., W.J. Pelgrum, and T. Plomp (Eds) (2008) Pedagogy and ICT use in schools around the world: Findings from the IEA SITES 2006 study. Hong Kong: CERC-Springer. Lloret-Segura,S., Ferreres-Traver,A., Hernández-Baeza, A. y Tomás-Marco, I. (2014). Análisis factorial exploratorio de los ítems: una guía práctica, revisada y actualizada. Anales de Psicología, 30 (3), 11551-1169. Marín-Díaz, V., Ramírez, M. y Maldonado, G.A. (2016). Valoraciones del profesorado universitario sobre la integración de las TIC en el aula. EDMETIC, Revista de Educación Mediática y TIC, 5 (1), 177-200. Marôco, J., & Marques, T. (2006). Qual a fiabilidade do alfa de Cronbach? Questões antigas e soluções modernas? Laboratório de Psicología, 4 (1), 65-90. Marsh, H. W., Balla, J. R., & Hau, K. T. (1996). An evaluation of incremental fit indices: A clarification of mathematical and empirical processes. En G. A. Marcoulides, & R. E. Schumacker (Eds.), Advanced structural equation modeling techniques (pp. 115-353). Hilsdale, N. J.: Erlbaum. McKnight, K.; O'Malley, K.; Ruzic, R; Horsley, M. K.; Franey, J. J. & Bassett, K. (2016) Teaching in a Digital Age: How Educators Use Technology to Improve Student Learning. Journal of Research on Technology in Education, 48 (3), 194-211. doi: 10.1080/15391523.2016.1175856 Mirete, A. B., García-Sánchez, F. A. y Hernández-Pina, F. (2015) Cuestionario para el estudio de la actitud, el conocimiento y el uso de TIC (ACUTIC) en Educación Superior. Estudio de fiabilidad y validez. Revista interuniversitaria de formación del profesorado, 83, 75-89. Morales, P., Urosa, B. & Blanco, A. (2003). Construcción de escalas de actitudes tipo Likert. Madrid: La Muralla. Niemi, H.; Kynäslahti, H. & Sanna Vahtivuori-Hänninen (2012) Towards ICT in everyday life in Finnish schools: seeking conditions for good practices. Learning, Media and Technology. 38, 57-71. doi:: 10.1080/17439884.2011.651473 Pavón, F. (2000): Un nuevo reto: en el 2002 todos los docentes europeos deberán saber utilizar Internet. Revista Interuniversitaria de Tecnología Educativa, 0, 156-165. Oviedo. Pegalajar, M.C. (2015) Diseño y validación de un cuestionario sobre percepciones de futuros docentes hacia las TIC para el desarrollo de prácticas inclusivas. Pixel-Bit: Revista de medios y educación, 47, 89-104. Pérez Escoda, A. y Rodríguez Conde, M. J. (2016). Evaluación de las competencias digitales autopercibidas del profesorado de educación primaria en Castilla y León. Revista de Investigación Educativa, 34 (2), 399-415. doi: 10.6018/rie.34.2.215121 Pires, A., Cid, L., Borrego, C., Alves, J., & Silva, C. (2010). Validação preliminar de um questionário para avaliar as necessidades psicológicas básicas em educação física. Revista Motricidade, 6 (1), 33-51. Ramírez-Martinell, A., y Maldonado, G. (2014). Multimodalidad en Educación Superior. (19-38). En A. Ramírez-Martinell y M. A. Casillas (Coord.). Háblame de TIC 2 Internet en Educación Superior. Córdoba, (pp. 45-56). Argentina: Editorial Brujas. Ruthven, K., Hennessy, S. y Deanes, R. (2005). Incorporating Internet resou¬rces into classroom practice: Pedagogical perspectives and strategies of secondary-school subject teachers. Computers and Education, 44, 1-34. Sancho, J. Mª (1994): La tecnología: un modo de transformar el mundo cargado de ambivalencia. En Sancho, J. Mª (coord.): Para una tecnología educativa. Horsori: Barcelona. Sangrá, A., González-Sanmamed, M. (2010) The role of information and communication technologies in improving teaching and learning processes in primary and secondary schools. Research in Learning Technology, 18 (3), 207 - 220. doi: 10.1080/09687769.2010.529108 Sanz Prieto, M. (2009). Las TIC en la vida escolar. Los Centros Modelo de EducaRed. Telos. Cuadernos de Comunicación e Innovación, 78, 1-5. Säljö, R. (2010). Digital tools and challenges to institutional traditions of learning: Technologies, social memory and the performative nature of learning. Journal of Computer Assisted Learning, 26 (1), 53-64. doi: 10.1111/j.1365-2729.2009.00341.x Scientific Software International (2006). LISREL, v. 8.8 [Programa informático]. Lincolnwood, IL: Scientific Software International. SPSS (2010). SPSS, V. 19.0 [Programa informático]. Chicago, IL: SPSS, Inc. Tello, J. y Aguaded, J. I. (2009). Desarrollo profesional docente ante los nuevos retos de las TIC en los centros educativos. Pixel-Bit. Revista de Medios y Educación, 34, 31-47. Tondeur, J., M. Valcke, and J. Van Braak. (2008). A multidimensional approach to determinants of computer use in primary education: Teacher and school characteristics. Journal of Computer Assisted Learning, 24 (6), 494–506.

Published

2018-12-21

Issue

Section

Peer Review Articles