Este Tutorial sobre el Proceso de Minería de Datos Cubre los Modelos de Minería de Datos, Pasos y Desafíos Involucrados en el Proceso de Extracción de Datos:
Las Técnicas de Minería de Datos fueron explicadas en detalle en nuestro tutorial anterior en esta Formación Completa de Minería de Datos para Todos. La Minería de Datos es un campo prometedor en el mundo de la ciencia y la tecnología.
La Minería de Datos, que también se conoce como Descubrimiento de Conocimiento en Bases de Datos es un proceso de descubrimiento de información útil a partir de grandes volúmenes de datos almacenados en bases de datos y almacenes de datos. Este análisis se realiza para los procesos de toma de decisiones en las empresas.
La Minería de Datos se lleva a cabo utilizando diversas técnicas como la agrupación, la asociación y el análisis de patrones secuenciales &árbol de decisión.
¿Qué es la Minería de Datos?
La Minería de Datos es un proceso de descubrimiento de patrones y conocimientos interesantes a partir de grandes cantidades de datos. Las fuentes de datos pueden incluir bases de datos, almacenes de datos, la web, y otros repositorios de información o datos que se transmiten en el sistema de forma dinámica.
¿Por qué las empresas necesitan la extracción de datos?
Con la llegada de Big Data, la minería de datos se ha vuelto más frecuente. Los big data son conjuntos de datos extremadamente grandes que pueden ser analizados por ordenadores para revelar ciertos patrones, asociaciones y tendencias que pueden ser entendidos por los humanos. Los big data tienen una amplia información de diversos tipos y contenido variado.
Por lo tanto, con esta cantidad de datos, la simple estadística con intervención manual no funcionaría. Esta necesidad se satisface con el proceso de minería de datos. Esto lleva a pasar de simples estadísticas de datos a complejos algoritmos de minería de datos.
El proceso de minería de datos extraerá información relevante de los datos en bruto como transacciones, fotos, vídeos, archivos planos y procesará automáticamente la información para generar informes útiles para que las empresas tomen medidas.
Por lo tanto, el proceso de minería de datos es crucial para que las empresas tomen mejores decisiones mediante el descubrimiento de patrones &tendencias en los datos, resumiendo los datos y sacando información relevante.
Extracción de datos como proceso
Cualquier problema de negocio examinará los datos en bruto para construir un modelo que describa la información y saque los informes que serán utilizados por el negocio. La construcción de un modelo a partir de fuentes y formatos de datos es un proceso iterativo, ya que los datos brutos están disponibles en muchas fuentes diferentes y en muchas formas.
Los datos aumentan día a día, por lo que cuando se encuentra una nueva fuente de datos, puede cambiar los resultados.
A continuación se presenta el esquema del proceso.
Modelos de minería de datos
Muchas industrias como la manufacturera, el marketing, la química y la aeroespacial están aprovechando la minería de datos. Por lo tanto, la demanda de procesos de minería de datos estándar y fiable se incrementa drásticamente.
Los modelos de minería de datos importantes incluyen:
#1) Cross-Industry Standard Process for Data Mining (CRISP-DM)
CRISP-DM es un modelo de minería de datos fiable que consta de seis fases. Es un proceso cíclico que proporciona un enfoque estructurado para el proceso de minería de datos. Las seis fases se pueden implementar en cualquier orden, pero a veces requeriría volver a los pasos anteriores y la repetición de las acciones.
Las seis fases de CRISP-DM incluyen:
#1) Entendimiento del negocio: En este paso, se establecen los objetivos de las empresas y se descubren los factores importantes que ayudarán a alcanzar el objetivo.
#2) Comprensión de los datos: En este paso se recogen todos los datos y se introducen en la herramienta (si se utiliza alguna). Los datos se enumeran con su fuente de datos, ubicación, cómo se adquieren y si se encuentra algún problema. Los datos se visualizan y se consultan para comprobar su integridad.
#3) Preparación de los datos: Este paso implica la selección de los datos adecuados, la limpieza, la construcción de atributos a partir de los datos, la integración de los datos de múltiples bases de datos.
#4) Modelado: En este paso se selecciona la técnica de minería de datos, como el árbol de decisión, se genera un diseño de prueba para evaluar el modelo seleccionado, se construyen modelos a partir del conjunto de datos y se evalúa el modelo construido con expertos para discutir el resultado.
#5) Evaluación: Este paso determinará el grado en que el modelo resultante cumple con los requisitos de negocio. La evaluación puede realizarse probando el modelo en aplicaciones reales. Se revisa el modelo para detectar cualquier error o paso que deba repetirse.
#6) Despliegue: En este paso se hace un plan de despliegue, se forma una estrategia para supervisar y mantener los resultados del modelo de minería de datos para comprobar su utilidad, se hacen informes finales y se revisa todo el proceso para comprobar cualquier error y ver si se repite algún paso.
#2) SEMMA (Sample, Explore, Modify, Model, Assess)
SEMMA es otra metodología de minería de datos desarrollada por SAS Institute. El acrónimo SEMMA significa sample, explore, modify, model, assess.
SEMMA facilita la aplicación de técnicas estadísticas exploratorias y de visualización, la selección y transformación de las variables significativas predichas, la creación de un modelo con las variables para obtener el resultado y la comprobación de su exactitud. SEMMA también se rige por un ciclo altamente iterativo.
Pasos en SEMMA
- Muestra: En este paso, se extrae un gran conjunto de datos y se saca una muestra que representa los datos completos. El muestreo reducirá los costes computacionales y el tiempo de procesamiento.
- Explorar: Los datos se exploran en busca de cualquier valor atípico y anomalías para una mejor comprensión de los datos. Los datos se comprueban visualmente para averiguar las tendencias y las agrupaciones.
- Modificar: En este paso, la manipulación de los datos, como la agrupación y la subagrupación, se realiza teniendo en cuenta el modelo que se va a construir.
- Modelo: A partir de las exploraciones y modificaciones, se construyen los modelos que explican los patrones en los datos.
- Evaluar: En este paso se evalúa la utilidad y fiabilidad del modelo construido. Aquí se prueba el modelo con datos reales.
Tanto el enfoque SEMMA como el CRISP funcionan para el Proceso de Descubrimiento del Conocimiento. Una vez que los modelos se construyen, se despliegan para las empresas y el trabajo de investigación.
Pasos en el proceso de minería de datos
El proceso de minería de datos se divide en dos partes, es decir, el preprocesamiento de datos y la minería de datos. El preprocesamiento de datos implica la limpieza de datos, la integración de datos, la reducción de datos y la transformación de datos. La parte de la minería de datos lleva a cabo la minería de datos, la evaluación de patrones y la representación del conocimiento de los datos.
¿Por qué preprocesamos los datos?
Hay muchos factores que determinan la utilidad de los datos como la exactitud, la integridad, la consistencia, la actualidad. Los datos tienen que ser de calidad si satisfacen el propósito previsto. Por ello, el preprocesamiento es crucial en el proceso de minería de datos. Los principales pasos involucrados en el preprocesamiento de datos se explican a continuación.
#1) Limpieza de datos
La limpieza de datos es el primer paso en la minería de datos. Tiene importancia ya que los datos sucios si se utilizan directamente en la minería pueden causar confusión en los procedimientos y producir resultados inexactos.
Básicamente, este paso implica la eliminación de los datos ruidosos o incompletos de la colección. Existen muchos métodos que generalmente limpian los datos por sí mismos, pero no son robustos.
Este paso lleva a cabo el trabajo de limpieza de rutina mediante:
(i) Rellenar los datos que faltan:
Los datos que faltan pueden rellenarse con métodos como:
- Ignorar la tupla.
- Rellenar el valor que falta manualmente.
- Utilizar la medida de tendencia central, la mediana o
- Rellenar el valor más probable.
(ii) Eliminar los datos ruidosos: El error aleatorio se llama datos ruidosos.
Los métodos para eliminar el ruido son :
Binning: Los métodos de binning se aplican ordenando los valores en cubos o bins. El suavizado se realiza consultando los valores vecinos.
El suavizado se realiza mediante el suavizado por bin, es decir, cada bin se sustituye por la media del bin. Suavizado por mediana, es decir, cada valor del bin se sustituye por la mediana del bin. Suavizado por límites de bandeja, es decir, los valores mínimos y máximos de la bandeja son los límites de la misma y cada valor de la bandeja se sustituye por el valor del límite más cercano.
- Identificación de los valores atípicos
- Resolución de incoherencias
#2) Integración de datos
Cuando se combinan múltiples fuentes de datos heterogéneas, como bases de datos, cubos de datos o archivos, para su análisis, este proceso se denomina integración de datos. Esto puede ayudar a mejorar la precisión y la velocidad del proceso de minería de datos.
Diferentes bases de datos tienen diferentes convenciones de nomenclatura de las variables, causando redundancias en las bases de datos. Se puede realizar una limpieza de datos adicional para eliminar las redundancias e incoherencias de la integración de datos sin afectar a la fiabilidad de los mismos.
La integración de datos puede realizarse utilizando herramientas de migración de datos como Oracle Data Service Integrator y Microsoft SQL, etc.
#3) Reducción de datos
Esta técnica se aplica para obtener datos relevantes para el análisis a partir de la colección de datos. El tamaño de la representación es mucho menor en volumen manteniendo la integridad. La reducción de datos se realiza utilizando métodos como Naive Bayes, árboles de decisión, redes neuronales, etc.
Algunas estrategias de reducción de datos son:
- Reducción de la dimensionalidad: Reducir el número de atributos en el conjunto de datos.
- Reducción de la Numerosidad: Sustitución del volumen de datos original por formas de representación de datos más pequeñas.
- Compresión de datos: Representación comprimida de los datos originales.
#4) Transformación de datos
En este proceso, los datos se transforman en una forma adecuada para el proceso de minería de datos. Los datos se consolidan para que el proceso de minería sea más eficiente y los patrones sean más fáciles de entender. La transformación de datos implica el mapeo de datos y el proceso de generación de código.
Las estrategias para la transformación de datos son:
- Suavizar: Eliminar el ruido de los datos utilizando técnicas de agrupación, regresión, etc.
- Agregar: Se aplican operaciones de resumen a los datos.
- Normalización: Escalado de los datos para que queden dentro de un rango más pequeño.
- Discretización: Los valores brutos de los datos numéricos se sustituyen por intervalos. Por ejemplo, la edad.
#5) Minería de datos
La minería de datos es un proceso para identificar patrones y conocimientos interesantes a partir de una gran cantidad de datos. En estos pasos, se aplican patrones inteligentes para extraer los patrones de datos. Los datos se representan en forma de patrones y los modelos se estructuran utilizando técnicas de clasificación y agrupación.
#6) Evaluación de patrones
Este paso implica la identificación de patrones interesantes que representan el conocimiento basado en medidas de interés. Se utilizan métodos de resumen y visualización de datos para hacerlos comprensibles para el usuario.
#7) Representación del conocimiento
La representación del conocimiento es un paso en el que se utilizan herramientas de visualización de datos y representación del conocimiento para representar los datos extraídos. Los datos se visualizan en forma de informes, tablas, etc.
Proceso de minería de datos en Oracle DBMS
RDBMS representa los datos en forma de tablas con filas y columnas. Se puede acceder a los datos escribiendo consultas en la base de datos.
Los sistemas de gestión de bases de datos relacionales, como Oracle, admiten la minería de datos mediante CRISP-DM. Las facilidades de la base de datos Oracle son útiles en la preparación y comprensión de los datos. Oracle soporta la minería de datos a través de la interfaz java, la interfaz PL/SQL, la minería de datos automatizada, las funciones SQL y las interfaces gráficas de usuario.
Proceso de Minería de Datos en Datawarehouse
Un almacén de datos se modela para una estructura de datos multidimensional llamada cubo de datos. Cada celda en un cubo de datos almacena el valor de algunas medidas agregadas.
La minería de datos en el espacio multidimensional llevado a cabo en el estilo OLAP (Procesamiento Analítico en Línea) donde permite la exploración de múltiples combinaciones de dimensiones en diferentes niveles de granularidad.
¿Cuáles son las aplicaciones de la extracción de datos?
La lista de áreas donde la minería de datos es ampliamente utilizada incluye:
#1) Análisis de datos financieros: La minería de datos se utiliza ampliamente en la banca, las inversiones, los servicios de crédito, las hipotecas, los préstamos para automóviles y los servicios de inversión en acciones de los seguros &. Los datos recogidos de estas fuentes son completos, fiables y de alta calidad. Esto facilita el análisis sistemático de los datos y la minería de datos.
#2) Industrias minoristas y de telecomunicaciones: El sector minorista recopila enormes cantidades de datos sobre las ventas, el historial de compras de los clientes, el transporte de mercancías, el consumo y el servicio. La minería de datos en el sector minorista ayuda a identificar los comportamientos de compra de los clientes, los patrones de compra de los clientes y las tendencias, a mejorar la calidad del servicio al cliente y a mejorar la retención y la satisfacción de los clientes.
#3) Ciencia e ingeniería: La ciencia e ingeniería informática de la minería de datos puede ayudar a supervisar el estado del sistema, mejorar el rendimiento del sistema, aislar los errores de software, detectar el plagio de software y reconocer el mal funcionamiento del sistema.
#4) Detección y prevención de intrusiones: La intrusión se define como cualquier conjunto de acciones que amenazan la integridad, la confidencialidad o la disponibilidad de los recursos de la red. Los métodos de minería de datos pueden ayudar al sistema de detección y prevención de intrusiones a mejorar su rendimiento.
#5) Sistemas de recomendación: Los sistemas de recomendación ayudan a los consumidores haciendo recomendaciones de productos que son de interés para los usuarios.
Desafíos de la Minería de Datos
A continuación se enumeran los diversos desafíos que implica la Minería de Datos.
- La Minería de Datos necesita grandes bases de datos y recopilación de datos que son difíciles de manejar.
- El proceso de minería de datos requiere expertos en el dominio que son, de nuevo, difíciles de encontrar.
- La integración de bases de datos heterogéneas es un proceso complejo.
- Las prácticas a nivel organizativo necesitan ser modificadas para utilizar los resultados de la minería de datos. La reestructuración del proceso requiere un esfuerzo y un coste.
Conclusión
La Minería de Datos es un proceso iterativo en el que el proceso de minería puede ser refinado, y nuevos datos pueden ser integrados para obtener resultados más eficientes. La Minería de Datos cumple con el requisito de un análisis de datos eficaz, escalable y flexible.
Se puede considerar como una evaluación natural de la tecnología de la información. Como un proceso de descubrimiento de conocimiento, la preparación de datos y las tareas de minería de datos completan el proceso de minería de datos.
Los procesos de minería de datos se pueden realizar en cualquier tipo de datos, como los datos de la base de datos y las bases de datos avanzadas, como las series de tiempo, etc. El proceso de minería de datos viene con sus propios desafíos también.
Manténgase en sintonía con nuestro próximo tutorial para saber más sobre Ejemplos de Minería de Datos!!!
Tutorial anterior | Tutorial siguiente