O presente trabalho teve como objetivo verificar a comparabilidade das avaliações educacionais em papel e em computador tendo como base as provas de matemática do pisa 2012. mais precisamente, analisou o efeito do modo de aplicação nos dois lados do processo: no instrumento e no avaliando, pelo estudo da dimensionalidade das provas e da comparação tanto das médias de grupos específicos, quanto do nível de dificuldade dos itens. para as duas primeiras análises, foram utilizadas as respostas dos 1.390 alunos brasileiros que fizeram parte da amostra e que realizaram a prova de matemática nos dois formatos. a avaliação do número de dimensões foi feita pelo método de análise fatorial de informação completa e o ajuste dos itens aos fatores revelou um conjunto predominantemente unidimensional, indicando a equivalência das provas nesse quesito. a comparação das médias considerou características individuais dos alunos e das escolas: posse de computadores, gênero, ano de ensino e localização da escola (urbana/rural; região/estado), demonstrando o impacto positivo das provas em computador no desempenho dos alunos de quase todos os grupos avaliados. a discussão do nível de dificuldade dos itens foi realizada através de uma análise quali-quantitativa, que levou em conta o posicionamento dos alunos e dos itens na escala geral de matemática, bem como a dificuldade dos itens em papel e em computador da categoria de conteúdo espaço e forma classificados na mesma categoria de processo e contexto. o posicionamento dos 125 itens (84 em papel e 41 em computador) que fizeram parte do estudo indicou que, em geral, a prova em computador foi mais difícil que a prova em papel e que um número muito reduzido de itens em computador estavam adequados ao nível de proficiência da maioria dos alunos brasileiros, sugerindo uma possível superestimação das médias de proficiência nesse modo de aplicação, com impacto ainda maior nos grupos de baixo desempenho. as características distintas dos itens não permitiram obter resultados conclusivos quanto à comparabilidade dos dois modos de aplicação.