Clustering Tendency

Clustering, como ya saben nuestros lectores, es una técnica muy usada en el ámbito de la analítica de negocio que permite encontrar grupos similares dentro de un conjunto de datos.

Por ejemplo, permite segmentar nuestros clientes en base de sus atributos.  Y esta segmentación nos va permitir diseñar una experiencia de cliente más personalizada.

Para aplicar esta técnica se siguen diversos pasos. Uno de ellos, al final del proceso, busca comprobar la validez de los resultados obtenidos (tanto internamente como externamente). Lo que conocemos como clustering validity. Una pequeña introducción al tema se puede encontrar aquí.

Lo que es menos habitual es empezar el proceso con la pregunta: ¿hay algún tipo de estructura en mis datos? (lo que en esencia denominamos clustering tendency). Normalmente, cuando aplicamos este análisis nos centramos más en la pregunta: ¿qué estructura oculta tienen mis datos? Es decir, presuponemos que existe una estructura y que sabremos encontrarla mediante alguno de los algoritmos disponibles.

Clustering tendency debería ser una práctica común en las empresas. La gran mayoría de algoritmos de clustering pueden segmentar los datos (es decir, generar una estructura) incluso cuando no existen clusters y, por ello, a posteriori dedicamos cierto tiempo a validar la calidad del cluster.

Cómo respondemos la pregunta: ¿hay algún tipo de estructura en mis datos? 

Esta pregunta es equivalente a preguntarse si la distribución de los puntos de un conjunto sigue un distribución no uniforme o no aleatoria. Y para ello podemos usar diferentes técnicas como el estadístico de Hopkins. Sin entrar en detalle técnicos, lo que haremos es realizar un contraste de hipótesis que nos permitirá responder a esta pregunta.

Aunque pueda parecer que estemos hablando de un tema nuevo no lo es. Por ejemplo, hace dos años se comentaba en R-bloggers. Es un tema que remerge cada cierto tiempo dada su importancia y que ha sido olvidado frecuentemente al trasladar la ciencia de los datos a la empresa.

Esperemos que a medida que las empresas vayan apostando más por la ciencia de los datos, no solo adopten los algoritmos (que es importante) sino también el proceso formal en la aplicación de los mismos.

El fracaso en un proyecto analítico no solo está ligado a factores tradicionales (como coste, recursos, selección herramienta, barreras internas,…) sino además ser riguroso. Es hora de ponerse las pilas.