Acest tutorial despre procesul de extragere a datelor acoperă modelele de extragere a datelor, etapele și provocările implicate în procesul de extragere a datelor:
Tehnicile de extragere a datelor au fost explicate în detaliu în tutorialul nostru anterior în acest curs complet de formare în extragerea datelor pentru toți. Data Mining este un domeniu promițător în lumea științei și tehnologiei.
Data Mining, care este, de asemenea, cunoscut sub numele de Knowledge Discovery in Databases este un proces de descoperire a informațiilor utile din volume mari de date stocate în baze de date și depozite de date. Această analiză se face pentru procesele de luare a deciziilor în companii.
Exploatarea datelor se realizează folosind diverse tehnici, cum ar fi clusterizarea, asocierea și analiza modelelor secvențiale & arborele de decizie.
Ce este extragerea datelor?
Exploatarea datelor este un proces de descoperire a modelelor interesante și a cunoștințelor din cantități mari de date. Sursele de date pot include baze de date, depozite de date, web și alte depozite de informații sau date care sunt introduse în sistem în mod dinamic.
De ce au nevoie afacerile de extragerea datelor?
Cu apariția Big Data, extragerea datelor a devenit tot mai răspândită. Big data reprezintă seturi extrem de mari de date care pot fi analizate de computere pentru a dezvălui anumite tipare, asocieri și tendințe care pot fi înțelese de oameni. Big data are informații extinse despre tipuri variate și conținuturi variate.
Atunci, cu această cantitate de date, simpla statistică cu intervenție manuală nu ar funcționa. Această nevoie este satisfăcută de procesul de data mining. Acest lucru duce la trecerea de la statisticile simple de date la algoritmi complecși de data mining.
Procesul de data mining va extrage informații relevante din datele brute, cum ar fi tranzacții, fotografii, videoclipuri, fișiere plate și va procesa automat informațiile pentru a genera rapoarte utile pentru ca întreprinderile să ia măsuri.
Prin urmare, procesul de extragere a datelor este crucial pentru ca afacerile să ia decizii mai bune prin descoperirea modelelor & tendințelor în date, rezumând datele și scoțând informații relevante.
Extragerea datelor ca proces
Orice problemă de afaceri va examina datele brute pentru a construi un model care va descrie informațiile și va scoate la iveală rapoarte care vor fi folosite de afaceri. Construirea unui model din surse de date și formate de date este un proces iterativ, deoarece datele brute sunt disponibile în multe surse diferite și în multe forme.
Datele cresc pe zi ce trece, prin urmare, atunci când se găsește o nouă sursă de date, aceasta poate schimba rezultatele.
Mai jos este schița procesului.
Modele de extragere a datelor
Multe industrii, cum ar fi producția, marketingul, industria chimică și industria aerospațială, profită de extragerea datelor. Astfel, cererea de procese standard și fiabile de extragere a datelor a crescut drastic.
Modelurile importante de extragere a datelor includ:
#1) Cross-Industry Standard Process for Data Mining (CRISP-DM)
CRISP-DM este un model fiabil de extragere a datelor care constă din șase faze. Este un proces ciclic care oferă o abordare structurată a procesului de extragere a datelor. Cele șase faze pot fi implementate în orice ordine, dar uneori ar necesita revenirea la etapele anterioare și repetarea acțiunilor.
Cele șase faze ale CRISP-DM includ:
#1) Înțelegerea afacerii: În această etapă, se stabilesc obiectivele afacerilor și se descoperă factorii importanți care vor ajuta la atingerea obiectivului.
#2) Înțelegerea datelor: În această etapă se vor colecta toate datele și se vor popula datele în instrument (dacă se folosește vreun instrument). Datele sunt listate cu sursa de date, locația lor, modul în care sunt obținute și dacă s-a întâlnit vreo problemă. Datele sunt vizualizate și interogate pentru a se verifica dacă sunt complete.
#3) Pregătirea datelor: Această etapă implică selectarea datelor adecvate, curățarea, construirea de atribute din date, integrarea datelor din mai multe baze de date.
#4) Modelarea: Selectarea tehnicii de extragere a datelor, cum ar fi arborele de decizie, generarea unui proiect de testare pentru evaluarea modelului selectat, construirea de modele din setul de date și evaluarea modelului construit cu experți pentru a discuta rezultatul se realizează în această etapă.
#5) Evaluare: Această etapă va determina măsura în care modelul rezultat îndeplinește cerințele de afaceri. Evaluarea se poate face prin testarea modelului pe aplicații reale. Modelul este revizuit pentru a se identifica eventualele greșeli sau pași care ar trebui repetați.
#6) Implementarea: În această etapă se realizează un plan de desfășurare, se formează o strategie de monitorizare și întreținere a rezultatelor modelului de data mining pentru a verifica utilitatea acestuia, se întocmesc rapoarte finale și se revizuiește întregul proces pentru a verifica orice greșeală și pentru a vedea dacă se repetă vreun pas.
#2) SEMMA (Sample, Explore, Modify, Model, Assess)
SEMMA este o altă metodologie de data mining dezvoltată de SAS Institute. Acronimul SEMMA înseamnă sample (eșantionare), explore (explorare), modify (modificare), model (modelare), assess (evaluare).
SEMMA facilitează aplicarea tehnicilor statistice exploratorii și de vizualizare, selectează și transformă variabilele previzionate semnificative, creează un model folosind variabilele pentru a obține rezultatul și verifică acuratețea acestuia. SEMMA este, de asemenea, condus de un ciclu extrem de iterativ.
Pași în SEMMA
- Exemplu: În această etapă, se extrage un set mare de date și se extrage un eșantion care reprezintă datele complete. Eșantionarea va reduce costurile de calcul și timpul de procesare.
- Explore: Datele sunt explorate pentru orice valori aberante și anomalii pentru o mai bună înțelegere a datelor. Datele sunt verificate vizual pentru a afla tendințele și grupările.
- Modificare: În această etapă, manipularea datelor, cum ar fi gruparea și subgruparea, se face ținând cont de modelul care urmează să fie construit.
- Model: Pe baza explorărilor și modificărilor, se construiesc modelele care explică tiparele din date.
- Evaluarea: Utilitatea și fiabilitatea modelului construit sunt evaluate în această etapă. Testarea modelului în raport cu datele reale se face aici.
Atât abordarea SEMMA cât și CRISP funcționează pentru procesul de descoperire a cunoștințelor. Odată ce modelele sunt construite, acestea sunt implementate pentru întreprinderi și lucrări de cercetare.
Etapele procesului de extragere a datelor
Procesul de extragere a datelor este împărțit în două părți, și anume preprocesarea datelor și extragerea datelor. Preprocesarea datelor implică curățarea datelor, integrarea datelor, reducerea datelor și transformarea datelor. Partea de extragere a datelor realizează extragerea datelor, evaluarea modelelor și reprezentarea cunoștințelor din date.
De ce preprocesăm datele?
Există mulți factori care determină utilitatea datelor, cum ar fi acuratețea, caracterul complet, consecvența, actualitatea. Datele trebuie să aibă calitate dacă satisfac scopul urmărit. Astfel, preprocesarea este crucială în procesul de extragere a datelor. Etapele majore implicate în preprocesarea datelor sunt explicate mai jos.
#1) Curățarea datelor
Curățarea datelor este primul pas în data mining. Ea are importanță deoarece datele murdare, dacă sunt folosite direct în minerit, pot cauza confuzie în proceduri și pot produce rezultate inexacte.
În principiu, acest pas implică eliminarea datelor zgomotoase sau incomplete din colecție. Sunt disponibile multe metode care, în general, curăță datele de la sine, dar acestea nu sunt robuste.
Această etapă realizează munca de curățare de rutină prin:
(i) Completarea datelor lipsă:
Datele lipsă pot fi completate prin metode precum:
- Ignorarea tuplelor.
- Completarea manuală a valorii lipsă.
- Utilizarea măsurii tendinței centrale, a medianei sau
- Completarea celei mai probabile valori.
(ii) Eliminarea datelor zgomotoase: Eroarea aleatorie se numește date zgomotoase.
Metodele de eliminare a zgomotului sunt :
Binning: Metodele de binning se aplică prin sortarea valorilor în găleți sau bins. Netezirea se realizează prin consultarea valorilor învecinate.
Binning se realizează prin netezirea pe bin, adică fiecare bin este înlocuit cu media binului. Netezirea prin mediană, adică fiecare valoare din bin este înlocuită cu mediana binului. Netezirea prin limite de bin, adică valorile minime și maxime din bin sunt limite de bin și fiecare valoare de bin este înlocuită cu cea mai apropiată valoare de limită.
- Identificarea valorilor aberante
- Rezolvarea neconcordanțelor
#2) Integrarea datelor
Când mai multe surse de date eterogene, cum ar fi baze de date, cuburi de date sau fișiere, sunt combinate pentru analiză, acest proces se numește integrare de date. Acest lucru poate ajuta la îmbunătățirea acurateței și vitezei procesului de extragere a datelor.
Diferite baze de date au convenții diferite de denumire a variabilelor, provocând redundanțe în bazele de date. Curățarea suplimentară a datelor poate fi efectuată pentru a elimina redundanțele și inconsecvențele din integrarea datelor, fără a afecta fiabilitatea datelor.
Integrarea datelor poate fi efectuată utilizând instrumente de migrare a datelor, cum ar fi Oracle Data Service Integrator și Microsoft SQL etc.
#3) Reducerea datelor
Această tehnică este aplicată pentru a obține date relevante pentru analiză din colecția de date. Dimensiunea reprezentării este mult mai mică în volum, păstrând în același timp integritatea. Reducerea datelor se realizează cu ajutorul unor metode precum Naive Bayes, Decision Trees, Rețeaua neuronală, etc.
Câteva strategii de reducere a datelor sunt:
- Reducerea dimensionalității: Reducerea numărului de atribute din setul de date.
- Reducerea numericității: Înlocuirea volumului original de date cu forme mai mici de reprezentare a datelor.
- Compresia datelor: Reprezentarea comprimată a datelor originale.
#4) Transformarea datelor
În acest proces, datele sunt transformate într-o formă potrivită pentru procesul de data mining. Datele sunt consolidate astfel încât procesul de minerit să fie mai eficient și modelele să fie mai ușor de înțeles. Transformarea datelor implică procesul de cartografiere a datelor și de generare a codurilor.
Strategiile de transformare a datelor sunt:
- Netezirea: Eliminarea zgomotului din date folosind tehnici de grupare, de regresie, etc.
- Agregarea: Se aplică operații de sumarizare a datelor.
- Normalizare: Scalarea datelor pentru a se încadra într-un interval mai mic.
- Discretizare: Valorile brute ale datelor numerice sunt înlocuite cu intervale. De exemplu, vârsta.
#5) Data Mining
Data Mining este un proces de identificare a modelelor interesante și a cunoștințelor dintr-o cantitate mare de date. În aceste etape, se aplică modele inteligente pentru a extrage modelele de date. Datele sunt reprezentate sub formă de modele, iar modelele sunt structurate cu ajutorul tehnicilor de clasificare și grupare.
#6) Evaluarea modelelor
Acest pas implică identificarea modelelor interesante care reprezintă cunoștințele pe baza măsurilor de interes. Se utilizează metode de rezumare și vizualizare a datelor pentru a face datele ușor de înțeles de către utilizator.
#7) Reprezentarea cunoștințelor
Reprezentarea cunoștințelor este o etapă în care se utilizează instrumente de vizualizare a datelor și de reprezentare a cunoștințelor pentru a reprezenta datele extrase. Datele sunt vizualizate sub formă de rapoarte, tabele, etc.
Procesul de extragere a datelor în SGBD Oracle
SGBD reprezintă datele sub formă de tabele cu rânduri și coloane. Datele pot fi accesate prin scrierea de interogări ale bazei de date.
Sistemele de management al bazelor de date raționale, cum ar fi Oracle, suportă Data mining folosind CRISP-DM. Facilitățile bazei de date Oracle sunt utile în pregătirea și înțelegerea datelor. Oracle suportă extragerea de date prin intermediul interfeței java, a interfeței PL/SQL, a extragerii automate de date, a funcțiilor SQL și a interfețelor grafice cu utilizatorul.
Procesul de extragere a datelor în Datawarehouse
Un depozit de date este modelat pentru o structură de date multidimensională numită cub de date. Fiecare celulă dintr-un cub de date stochează valoarea unor măsuri agregate.
Exploatarea datelor în spațiul multidimensional se realizează în stil OLAP (Online Analytical Processing) unde permite explorarea mai multor combinații de dimensiuni la diferite niveluri de granularitate.
Ce sunt aplicațiile extragerii datelor?
Lista domeniilor în care extragerea datelor este utilizată pe scară largă include:
#1) Analiza datelor financiare: Extragerea datelor este utilizată pe scară largă în domeniul bancar, al investițiilor, al serviciilor de creditare, al creditelor ipotecare, al împrumuturilor auto și al serviciilor de investiții în acțiuni de asigurări &. Datele colectate din aceste surse sunt complete, fiabile și sunt de înaltă calitate. Acest lucru facilitează analiza sistematică a datelor și mineritul de date.
#2) Industrii de vânzare cu amănuntul și de telecomunicații: Sectorul comerțului cu amănuntul colectează cantități uriașe de date privind vânzările, istoricul cumpărăturilor clienților, transportul mărfurilor, consumul și serviciile. Extragerea datelor în sectorul comerțului cu amănuntul ajută la identificarea comportamentelor de cumpărare ale clienților, a modelelor de cumpărare ale clienților și a tendințelor, la îmbunătățirea calității serviciilor pentru clienți, la o mai bună păstrare și satisfacție a clienților.
#3) Știință și inginerie: Știința și ingineria calculatoarelor de minerit de date poate ajuta la monitorizarea stării sistemului, la îmbunătățirea performanței sistemului, la izolarea erorilor de software, la detectarea plagiatului de software și la recunoașterea disfuncționalităților sistemului.
#4) Detectarea și prevenirea intruziunilor: Intruzia este definită ca orice set de acțiuni care amenință integritatea, confidențialitatea sau disponibilitatea resurselor rețelei. Metodele de extragere a datelor pot ajuta la sistemul de detectare și prevenire a intruziunilor pentru a îmbunătăți performanța acestuia.
#5) Sisteme de recomandare: Sistemele de recomandare ajută consumatorii făcând recomandări de produse care sunt de interes pentru utilizatori.
Provocări ale Data Mining
Înumerate mai jos sunt diversele provocări implicate în Data Mining.
- Data Mining are nevoie de baze de date mari și de colectare de date care sunt dificil de gestionat.
- Procesul de extragere a datelor necesită experți în domeniu care, din nou, sunt greu de găsit.
- Integrarea din baze de date eterogene este un proces complex.
- Practicile la nivel organizațional trebuie modificate pentru a utiliza rezultatele extragerii datelor. Restructurarea procesului necesită efort și costuri.
Concluzie
Exploatarea datelor este un proces iterativ în care procesul de extragere poate fi rafinat, iar noile date pot fi integrate pentru a obține rezultate mai eficiente. Data Mining răspunde cerinței de analiză eficientă, scalabilă și flexibilă a datelor.
Poate fi considerată ca o evaluare naturală a tehnologiei informației. Ca un proces de descoperire a cunoștințelor, pregătirea datelor și sarcinile de extragere a datelor completează procesul de extragere a datelor.
Procesele de extragere a datelor pot fi efectuate pe orice tip de date, cum ar fi datele din bazele de date și bazele de date avansate, cum ar fi seriile de timp etc. Procesul de extragere a datelor vine și el cu propriile provocări.
Stay tuned to our upcoming tutorial to know more about Data Mining Examples!!!
PREV Tutorial | NEXT Tutorial