math.math-st
Ana Lorga Da Silva 
  
Helena Bacelar-Nicolau 
  
Gilbert Saporta 
email: saporta@cnam.fr
  
  
Efeito de um Método de Imputação Múltipla em Classificação Hierárquica de Variáveis *

Palavras Chave: Dados omissos, Imputação Múltipla, Classificação Hierárquica.

Compara-se resultados obtidos em classificação hierárquica ascendente -em particular na classificação de variáveis -após a reconstituição de dados em falta recorrendo a um método de imputação múltipla baseado num modelo de regressão OLS, com estruturas resultantes de matrizes de dados incompletas.

Tal como em trabalhos anteriores ( [START_REF] Silva | Missing Data in Hierarchical Classification -a study with Personality development data[END_REF], [START_REF] Silva | Missing Data in Hierarchical Classification-a study[END_REF], [START_REF] Silva | Dados omissos em Classificação Hierárquica de Variáveis e o Algoritmo Nipals" -IX Jornadas de Classificação e Análise de Dados/JOCLAD[END_REF] e [7]) utilizam-se matrizes de dados, originalmente completos, com distribuição multinormal ( [START_REF] Saporta | Probabilités, Analyse des Données et Statistique[END_REF]), às quais são retirados dados de acordo com a condição MAR -"Missing at Random" -( 

ij ij ij se x R se x  =   .
Os dados gerados, consistem em matrizes 1000×5 -cem simulações para cada casocom o objectivo de obter estruturas específicas representadas pelos seguintes dendrogramas:

Utiliza-se como coeficientes de semelhança o coeficiente de afinidade básico

' 1 . . ' n ij ij a i j j x x c x x = = ∑ , onde . 1 n j i j i x x = = ∑ e . ' ' 1 , n j i j i x x = = ∑ tal como definido por exemplo em [1] e o coeficiente de correlação de Bravais-Pearson ( )( ) ' ' ' 1 j j n j j ij ij i p x x x x x x c s s = - - = ∑ .
Como métodos de agregação utilizam-se aqui três critérios de agregação clássicos: "average linkage", "single linkage" e "complete linkage".

O procedimento comporta três fases gerais:

1. Retiram-se dados a duas variáveis (às duas primeiras variáveis -as variáveis apresentam-se pela ordem X 1 , X 2 , X 3 , X 4 , X 5 , nos cinco dendrogramas representados) -10%,15% e 20% de dados sobre o total da população (matriz 1000 5

X × ). Os dados omissos apresentam um padrão maioritariamente monótono, apenas com uma pequena percentagem de dados omissos representados por padrão não monótono. 2. Faz-se o estudo dos resultados obtidos utilizando os métodos "listwise" (Tabela 1), "pairwise"(Tabela 2) "pairwise após retirados os dados omissos correspondentes ao padrão não monótono de dados omissos"(Tabela 3) e de imputação múltipla quer na presença de todos os dados omissos (Tabela 4) quer após retirados os dados omissos que não satisfazem ao padrão monótono (Tabela 5).

Para comparar os modelos de classificação hierárquica utilizou-se o coeficiente

de Spearman entre as matrizes das ultramétricas.

O método de imputação múltipla utilizado é um método baseado sobre um modelo preditivo de regressão OLS ( [START_REF] Little | Statistical Analysis With Missing Data[END_REF], [8]).

Nos métodos de imputação múltipla o dado omisso é substituído por mais do que um valor (m>1) plausível (dando origem a m matrizes de dados), para que representem uma certa incerteza sobre o dado imputado.

O modelo aqui utilizado é baseado na teoria Bayesiana, como descrito por exemplo em [START_REF] Little | Statistical Analysis With Missing Data[END_REF]. Em primeiro lugar o modelo preditivo de regressão OLS é estimado a partir dos dados completamente observados, como habitualmente. Utiliza-se esse modelo para construir outros, em que os parâmetros são retirados aleatoriamente da sua distribuição à posteriori. "The randomly drawn values are used to generate imputations, wich include random deviations from the model's predictions" ( [START_REF] Statistical | SOLAS for Missing Data Analysis[END_REF]). Deste modo garante-se uma incerteza suplementar devido ao facto dos parâmetros serem estimados a posteriori, e não determinados a partir dos dados observados.

Neste trabalho, considera-se m=5. Reconstitui-se a matriz incompleta (de cinco modos distintos), utilizando o referido modelo de regressão, do seguinte modo: e observado ˆ e omisso

ij ij ij ij ij x se x x x se x ′   =  ′   .
Depois de obtidas, para cada caso (cada m), as cinco matrizes resultantes do método de imputação múltipla determina-se, para cada matriz, a matriz de semelhança correspondente S k , k=1,2,...,5, calculando-se a média das matrizes de semelhança, S, tal que, ( )

5 1 5 k k S S = = ∑
. Aplica-se em seguida a cada matriz S, cada um dos métodos de agregação.

Compara-se então (fase 3) as estruturas hierárquicas obtidas com matrizes reconstituídas desta forma, com as estruturas obtidas na presença de dados omissos (em relação às estruturas originais com os dados completos). 1 s c = , a estrutura geral das duas classificações hierárquicas a serem comparadas é a mesma; isto quer dizer que as duas ultramétricas associadas são "ordinalmente equivalentes" (cada par de arvores de classificação hierárquica, têm a mesma estrutura "ordinal"). ' s s c c > , a estrutura geral das duas classificações hierárquicas não é a mesma, mas as duas ultramétricas são "significativamente correlacionadas" (a 0,1%). Conclui-se, nos casos estudados, que o coeficiente de afinidade tem um comportamento mais robusto do que o coeficiente de correlação e que (globalmente) são obtidos melhores resultados após a utilização deste método de imputação múltipla, do em presença de dados omissos. Os melhores resultados são obtidos utilizando o método de imputação múltipla associado ao coeficiente de afinidade e com os critérios de agregação "average linkage" e "single linkage".

  ' 

  linha representam as médias das ocorrências e os da segunda linha representam os correspondentes desvios padrão.

  Pr

	obs ob R X X	mis	=	ob R X	obs	, onde obs X	representa os valores observados da
	matriz de dados n p X × , miss X	representa os valores omissos em n p X × e	R	ij R   =   é um
	indicador dos dados em falta,			1, 0,	e´ observado e´ omisso

Método "listwise" / complete cases Coef. de Afinidade Coef. de Pearson MD AL SL CL AL SL CL 1

  

											Método "pairwise" / available cases
															Coef. de Afinidade Coef. de Pearson
												MD			AL SL CL AL SL CL
		s c =		99,8 0,4	99,4 0,9	99,6 0,5	86 29,1	91,0 12,1	83,6 34,4				c = s	1	99 0,7	94,2 10,3	99,4 0,9	84 22,3	95,2 5,6	73,6 29,9
	10%	s c c′ s >	0 0	0 0	0,2 0,4	13,2 29,5	5,8 12,9	15,6 34,8		10%	s c c′ > s	0,4 0,9	0,4 0,9	0 0	11 24,6	0 0	15,6 34,8
		s c c′ s <	0,2 0,4	0,6 0,9	0,2 0,4	0,8 1,3	3,2 4,8	0,8 0,8				s c c′ < s	0,6 0.9	5,4 10,4	0,6 0,9	5 5,3	4,8 5,6	10,8 10,1
		s c =	1	99,6 0,9	99,2 2,8	98,8 1,8	84 30,3	83,6 16,9	79,8 35,3				c = s	1	99,4 3	86,4 23,8	98,8 2,2	79,8 22	91,2 7,6	60 28,2
	15%	s c c′ s >	0,2 0,4	0,2 0,4	1 0,4	14 31,3	8,4 18,8	16,6 37,1		15%	s c c′ > s	1 2	2,2 4,9	0,8 1,3	11,2 25	3 6,7	15,8 35,3
		s c c′ s <	0,2 0,4	1,6 2,5	0,2 0,4	2 2,5	8 10	3,6 4,3				s c c′ < s	0,6 0,9	11,4 24,3	0,4 0,9	9 10,5	5,8 7,6	24,2 22,5
		s c =	1	99,2 0,4	96,2 5,8	97,8 3,3	80,8 30,8	76,0 19,7	76,4 35				c = s	1	98,2 4	88,8 17,5	98,2 2,5	94,6 7,2	97,8 1,3	81,2 32,5
	20%	s c c′ s >	0,4 0,5	0,2 0,4	1,8 3,5	14,8 33	10,6 23,7	17 38		20%	s c c′ > s	1,4 3,1	2,8 6,3	1,4 1,9	4,8 7,5	1,6 1,5	16,2 32,9
		s c c′ s <	0,4 0,5	3,6 5,8	0,4 0,5	4,4 4	13,4 13,5	6,6 7,8				s c c′ < s	0,4 0,9	8,4 17,7	0,4 0,9	0,6 0,9	0,6 1,3	2,6 1,7
				T a b e l a 1										T a b e l a 2
							Método "pairwise" / available cases/padrão monótono
									Coef. de Afinidade Coef. de Pearson
							MD			AL SL CL AL SL CL
								c = s	1	99 1,7	90,4 17,7	99 1,7	67,8 26,7	84,2 20,4	38,6 35,1
							10%	s c c′ > s	0,4 0,9	0,8 1,8	0,4 0,9	14 31,3	10 22,4	3,6 1
								s c c′ < s	0,6 0,9	8,8 18	0,6 0,9	18,2 19,2	5,8 7,9	45,8 42,4
								c = s	1	96,8 4,4	76,4 36,5	99,2 1,7