O que justificaria a intenção de aplicar a técnica hierárquica aglomerativa conhecida como Método das Médias das Distâncias (MMD) em um conjunto de dados? E o método não hierárquico ou de partição conhecido como Kmédias?
Passo 1
O enunciado pergunta quais critérios ou características de um conjunto de dados e dos objetivos de análise justificam o uso de
– a técnica hierárquica aglomerativa “Método das Médias das Distâncias” (MMD), e
– o método não hierárquico de partição “K-médias”.
O conteúdo aqui é Análise de Agrupamentos (clustering); vamos comparar os requisitos, as hipóteses e as vantagens de cada método para saber quando aplicar um ou outro.
Passo 2
Método das Médias das Distâncias (MMD) – clustering hierárquico aglomerativo
Este método parte de cada ponto como seu próprio “cluster” e, a cada iteração, funde dois clusters cujas médias de todas as distâncias inter-pontos sejam as menores.
onde d(\cdot,\cdot) é a função de distância (por ex. euclidiana).
3. Não exige que se saiba a priori o número de clusters: gera-se um dendrograma e escolhe-se o nível de corte conforme a granulosidade desejada.
4. É apropriado quando
– há interesse em uma visão hierárquica das partições,
– se suspeita de clusters de formas irregulares,
– o tamanho do conjunto de dados é pequeno a médio (o custo é O(n^3) no pior caso),
– se quer robustez moderada a outliers (média penaliza menos extremos que o “single-link”).
Passo 3
K-médias – método de partição não hierárquico
Exige definir previamente K, o número de clusters.
Objetivo: minimizar a soma das variâncias dentro de cada cluster, ou soma de quadrados intra-cluster
onde \mu_j é o centróide de C_j.
3. Itera atribuindo pontos ao centróide mais próximo e recalculando centróides até convergência.
4. É adequado quando
– o número de clusters K é conhecido ou estimável,
– os clusters tendem a ser “globulares” (convexos, semelhantes a bolas em \mathbb{R}^p),
– o conjunto de dados é grande (o algoritmo é O(nKp) por iteração),
– se busca alta escalabilidade e simplicidade,
– não se importam efeitos de outliers (sensível a pontos distantes).
Passo 4
Comparando as justificativas:
– Use MMD quando você não sabe K a priori e quer explorar a estrutura hierárquica dos agrupamentos, ou suspeita de formas de cluster não convexas em bases de tamanho pequeno a médio.
– Use K-médias quando já tiver uma ideia de K, precisar de escalabilidade em grandes bases e trabalhar com clusters aproximadamente esféricos, em troca de descartar a noção de hierarquia.
Resposta
Justificativa para MMD: quando não se conhece o número de clusters, deseja-se um dendrograma com diferentes níveis de granularidade, trabalha-se com bases pequenas a médias e espera-se capturar grupos de formas arbitrárias com robustez moderada a outliers.
Justificativa para K-médias: quando o número de clusters K é conhecido ou estimável, os grupos são aproximadamente esféricos, há muita observação (escala grande) e se busca um método rápido de partição, mesmo sendo sensível a outliers.