Wydobywanie wiedzy z danych złożonych

Abstract

Celem rozprawy jest opracowanie metody wydobywania wiedzy ze złożonych zbiorów danych rzeczywistych o dużej liczebności, uwzględniającej ich specyfikę i dziedzinowy charakter oraz efektywne środki wizualizacji wydobytej wiedzy. Mianem wiedzy, na potrzeby niniejszej pracy, określa się wyrażona w postaci wzorców, trendów czy korelacji "informacje odnośnie otaczającego świata, która umożliwia ekspertowi podejmowanie decyzji" [6]. Badania zostaną oparte na dwóch rzeczywistych zbiorach: pierwszy z nich zawiera dane dotyczące funkcjonowania urządzeń nadawczo-odbiorczych operatora telefonii komórkowej (rozmieszczonych na terenie aglomeracji śląskiej), drugi agreguje statystyki gromadzone w oprogramowaniu AirSync, związane z zarzadzaniem sieciami bezprzewodowymi. Mimo, ze oba zestawy danych wydają się być ze sobą mocno powiązane pod względem tematyki telekomunikacyjnej, to jednak posiadają zupełnie odmienna strukturę i charakterystykę. Spośród wielu technik eksploracji danych zdecydowano się wybrać analizę skupień [7] i to właśnie wszystkie aspekty realizacji tej techniki w odniesieniu do danych złożonych są podstawa niniejszej rozprawy. Wydobywanie wiedzy z rzeczywistych baz wiedzy jest procesem wieloetapowym i stawia szereg wymogów wobec algorytmów grupowania jak: możliwość odkrywania skupień o różnej strukturze, odporność na występowanie wartości izolowanych, posiadanie relatywnie niskiej złożoności obliczeniowej i zajętości pamięci, jasno określone kryteria stopu algorytmu oraz wysoka jakość tworzonych skupień. Niestety klasyczne metody analizy skupień (jak niehierarchiczny algorytm k-średnich) nie spełniają podanych wymagań. Dodatkowo takie rzeczywiste bazy danych najczęściej charakteryzują się występowaniem wartości pustych (brakujących), niezdyskretyzowanych, czy zduplikowanych, co znacząco utrudnia ich przetwarzanie oraz analizę. Zatem w procesie badawczym wykorzystywane są bardziej złożone algorytmy, ale te dla osiągniecia optymalnego rezultatu wymagają zdefiniowania różnej liczby parametrów. Dlatego tez istotnym problemem, omawianym w dalszej części pracy, jest określenie metod: optymalnego doboru parametrów dla procesu grupowania oraz opisu utworzonej struktury złożonych grup. Niniejsza praca odnosi się również do problemu, w jaki sposób wizualizacja danych może funkcjonować jako efektywne i autonomiczne narzędzie analizy, jak również służyć jako technika łącząca wiedze dziedzinowa i zdolności kognitywne człowieka w procesie odkrywania wiedzy. Omawia proces graficznej analizy eksploracyjnej (ang. visual data mining) [3] oraz dokonuje porównania najpopularniejszych technik prezentacji skupień, spotykanych w literaturze przedmiotu, z autorska koncepcja oparta na algorytmie generowania tzw. map prostokątów (ang. treemaps) [11]. Kolejnym istotnym aspektem omawianym w rozprawie jest przegląd i porównanie możliwości obecnie dostępnych systemów analizy danych, wraz z wykazaniem ich wad i zalet, szczególnie w kontekście efektywności zaimplementowanych technik grupowania. Stanowi to jednocześnie motywacje do stworzenia autorskiego systemu wydobywania wiedzy DensGroup.