ZESPÓŁ PRZETWARZANIA I ANALIZY SYGNAŁÓW EEG

Informacja o zespole naukowym:

Członkowie Zespołu prowadzą badania związane z przetwarzaniem, analizą i klasyfikacją sygnałów elektroencefalograficznych (EEG). Tematyka badań obejmuje w szczególności interfejsy mózg-komputer (BCI), analizę emocji na podstawie sygnałów ERP, lokalizację źródeł wewnątrz mózgu (zagadnienie odwrotne) oraz analizę EEG pod kątem predykcji i wykrywania napadów epileptycznych.


Skład Zespołu:
prof. dr hab. inż. Remigiusz Rak – kierownik,
dr inż. Marcin Kołodziej – sekretarz naukowy,
prof. nzw. dr hab. inż. Dariusz Sawicki,
dr inż. Andrzej Majkowski,
dr inż. Łukasz Oskwarek,
mgr inż. Paweł Tarnowski.
e-mail: marcin.kolodziej(et)ee.pw.edu.pl


Opis tematyki badawczej:

Naturalnym sposobem komunikacji człowieka ze światem zewnętrznym jest wykorzystanie aktywności poszczególnych mięśni ciała ludzkiego. Rodzące się w mózgu intencje użytkownika są przekazywane, za pomocą układu nerwowego, do wybranych części ciała i stymulują ich ruch. Jak wiadomo, najczęściej do komunikacji człowiek wykorzystuje mowę (krtań, język, usta), ale również palce dłoni w przypadku języka migowego. Komunikacja człowiek-maszyna (Man-Machine Communication – MMC), to rodzaj komunikacji, w której obowiązują te same zasady. Pewnym uproszczeniem problemu jest komunikacja człowiek-komputer, która tradycyjnie odbywa się za pomocą klawiatury i/lub myszy. Alternatywą jest możliwość wykorzystania mikrofonu i karty dźwiękowej do wydawania poleceń głosowych lub kamery i systemu wizyjnego do przekazywania rozkazów w formie mimiki twarzy czy ułożenia rąk. Wreszcie można sobie wyobrazić sterowanie komputerem za pośrednictwem sygnałów elektrycznych wydobytych z poszczególnych fragmentów obwodowego układu nerwowego czy też ośrodkowego układu nerwowego, w tym bezpośrednio z mózgu. Ostatnia pozycja nosi szumną nazwę interfejsu mózg-komputer (Brain-Computer Interface: BCI)

Pierwsza międzynarodowa konferencja poświęcona BCI miała miejsce w 1999 roku w Nowym Jorku, gdzie Jonathan R. Wolpaw sformalizował definicję systemu BCI jako:

„A brain-computer interface (BCI) is a communication or control system in which the user’s messages or commands do not depend on the brain’s normal output channels. That is, the message is not carried by nerves and muscles and furthermore, neuromuscular activity is not needed to produce the activity that does carry the message.”

Celem prowadzonych badań przez zespół jest opracowanie nowych efektywnych i ekonomicznych rozwiązań z zakresu bezpośredniej komunikacji mózg-komputer, z wykorzystaniem sygnałów EEG pozyskanych wyłącznie w trybie bezinwazyjnym. W trakcie prac powstały nowe algorytmy z zakresu cyfrowego przetwarzania sygnałów EEG (odszumianie, usuwanie artefaktów, ekstrakcja cech, selekcja cech, klasyfikacja) umożliwiające radykalne ograniczenie liczby używanych elektrod.

Możliwość bezpośredniej interakcji człowieka z komputerem (bez manualnej obsługi urządzeń peryferyjnych) otwiera nowe kanały przekazu informacji w medycynie, psychologii, technikach multimedialnych i wojskowych. Szczególne znaczenie mają tutaj zastosowania tego interfejsu w medycynie zarówno w aspekcie poznawczym, funkcjonowania ludzkiego mózgu, jak i praktycznym jako jedyna szansa rozwoju dla osób dotkniętych chorobami neurologicznymi. Interfejs mózg-komputer może pomóc w komunikacji ze światem zewnętrznym osobom w ciężkich stadiach chorób neurologicznych jak stwardnienie zanikowe boczne, udar mózgowy podkorowy, zespół Guillain-Barre’a, mózgowe porażenie dziecięce czy stwardnienie rozsiane. Rocznie około dwa tysiące osób w Polsce (a we wszystkich krajach Unii Europejskiej około 24 tysiące) zapada na stwardnienie zanikowe boczne, neurodegeneracyjną chorobę układu nerwowego, która niszczy część centralnego układu nerwowego odpowiedzialną za ruch, nie zaburza natomiast czucia, zdolności poznawczych i intelektu. Osoby, które na nią zapadają, stopniowo tracą kontrolę nad własnym ciałem i w ciągu 2 do 3 lat osiągają stan, w którym nie mają żadnej możliwości komunikacji z otoczeniem. Kolejną grupą ludzi, którym należy zapewnić możliwość porozumiewania się z otoczeniem za pomocą BCI, jest ok. 14 tysięcy osób, jakie w ciągu roku w Polsce zapada na udary mózgu, a w szczególności udary pnia mózgu. Do wymienionych grup należałoby dołączyć ok. 1,2 tysiąca ofiar wypadków komunikacyjnych, w wyniku których doszło do uszkodzenia szyjnego odcinka rdzenia kręgowego.

BCI_BioMedPW_EE_RAK

Pierwszym badanym przez autorów potencjałem był potencjał wywołany – P300. Neuropsychologia kliniczna interpretuje go jako dojście znaczenia informacyjnego oczekiwanego zdarzenia do ludzkiej świadomości.

EXP_BioMedPW_EE_RAK

Otrzymane rezultaty były bardzo zadowalające i pozwoliły na wybieranie około ośmiu znaków (spośród 36 dostępnych na ekranie monitora) na minutę, z bardzo dużą skutecznością. Testy przeprowadzono na kilku ochotnikach. Podczas testów autorzy dobrali odpowiednie parametry toru przetwarzania, analizy i klasyfikacji sygnału. Ponadto, podjęli udaną próbę wykorzystania potencjału P300 do sterowania zewnętrznym programem (awatar w wirtualnym świecie). W opinii autorów sterowanie odbywało się w sposób wygodny i intuicyjny.

Innym sygnałem wykorzystywanym w projekcie, były potencjały mózgowe skojarzone z ruchem lub wyobrażaniem sobie ruchu (Event-Related Desynchronization/Synchronization – ERD/ERS). Wymagały one znacznie więcej „wysiłku” – odczytania całego zapisu EEG i próby zinterpretowania odpowiednich jego części, bowiem ani pasmo częstotliwości towarzyszących tym zdarzeniom, ani umiejscowienie elektrod nie są znane a priori. Następnym etapem jest ekstrakcja cech sygnału. Mogą to być cechy związane z kształtem przebiegu sygnału (analiza czasowa), z poszczególnymi składowymi częstotliwościowymi (analiza częstotliwościowa) lub z parametrami statystycznymi. Niekiedy liczba cech osiągała bardzo duże wartości, stąd potrzebna była eliminacja cech nadmiarowych przed klasyfikacją – selekcja.

Autorzy  przeprowadzili szereg eksperymentów związanych z interfejsami polegającymi na odczycie intencji ruchu np. ręką lub nogą. Okazało się, że ten najbardziej naturalny tryb komunikacji mózg-komputer, umożliwiający sterowanie urządzeniem, jest jednocześnie najbardziej skomplikowany w realizacji.

Stosowano różne metody przetwarzania sygnału EEG, które ułatwiły dokonanie ekstrakcji cech. Wykorzystano do tego celu metody częstotliwościowe i czasowo-częstotliwościowe (transformacja Fouriera, krótkoczasowa transformacja Fouriera, transformacja falkowa) oraz model autoregresyjny. Podczas przeprowadzonych eksperymentów okazało się, że dobre rezultaty, w sensie trafności klasyfikacji, daje generacja wektorów cech z użyciem statystyk wyższych rzędów (HOS) liczonych dla kolejnych detali transformacji falkowej.

Kolejnym etapem eksperymentów było dokonanie wyboru „najlepszych” spośród wielkiej liczby cech, w celu ułatwienia procesu klasyfikacji. Na tym etapie prac autorzy wykorzystali szereg narzędzi i przeprowadzili wiele doświadczeń z wykorzystaniem zaawansowanych metod selekcji cech takich jak: liniowa analiza dyskryminacyjna (LDA), analiza składowych głównych (PCA), analiza składowych niezależnych (ICA) i algorytmy genetyczne (GA).

Takie kompleksowe podejście pozwoliło też na dokonanie wyboru „najlepszych” elektrod (w sensie rozmieszczenia ich na powierzchni głowy). Niestety, okazało się, że cechy wydobyte z sygnałów, mogą być różne dla kolejnych sesji tego samego użytkownika. Dlatego też autorzy zwrócili szczególna uwagę na automatyzację procesu selekcji elektrod. W wyniku prac zaproponowali algorytm (tor przetwarzania) składający się z filtracji cyfrowej, ekstrakcji cech (prążki widma z zakresu 1¸40Hz) oraz klasyfikatora najbliższego sąsiedztwa (k-NN).

Wyżej opisane badania, doprowadziły do znaczącego ograniczenia liczby elektrod (8 elektrod) z jednoczesnym, niejako automatycznym wyłonieniem ich „optymalnego” położenia na głowie użytkownika.

Dla tak wybranego zestawu elektrod została podjęta próba zaprojektowania „nowego” systemu BCI. Na tym etapie duży nacisk położono na kwestię kondycjonowania sygnału (wzmacnianie, filtracja, odszumianie, eliminacja zakłóceń, eliminacja artefaktów). W zakresie przetwarzania wstępnego, autorzy przebadali użycie algorytmu ślepej separacji sygnału (BSS) oraz analizy składowych niezależnych (ICA). Na tak przetworzonym sygnale została podjęta ponowna próba ekstrakcji cech oraz ich selekcji. Następnie cechy zostały ponownie zweryfikowane, za pomocą klasyfikatorów, podczas eksperymentalnych badań systemu w warunkach rzeczywistych.

O potencjale komercjalizacyjnym badań, może świadczyć fakt zainteresowania firmy Samsung R&D. Firma zainwestowała własne środki i zleciła projekt badawczo-rozwojowy pt. „Expert system for recognition of emotions with the use of EEG signal”. Wyniki prac i rozwiązań powstałych w ramach projektu są trakcie przygotowania patentu.

Badania w zakresie wykrywania emocji są kontynuowane. Autorzy mają nadzieje, że ich wyniki znajdą zastosowanie w neuromarketingu.

Neuromarketing to dziedzina wiedzy związana z bezpośrednim badaniem reakcji psychofizjologicznych człowieka (konsumenta) na oferowane produkty. Do metod badawczych neuromarketingu należą między innymi: badanie reakcji skórno-galwanicznej, elektroencefalografia, elektromiografia, funkcjonalny magnetyczny rezonans jądrowy, neuroobrazowanie.

W zakresie badań elektroencefalograficznych (EEG)  wykorzystuje się nowe narzędzia diagnostyki pracy mózgu,  do wykrycia podświadomych, emocjonalnych reakcji konsumenta na prezentowane bodźce multimedialne. Wpływ emocji na podejmowanie decyzji przez konsumentów, stwierdzono na podstawie szeregu przeprowadzonych do tej pory badań.

Głównym celem eksperymentów, prowadzonych w Zespole, jest znalezienie w zarejestrowanych sygnałach EEG cech, które różnicują prezentowane osobom badanym bodźce multimedialne o wysokim i niskim pobudzeniu emocjonalnym.

Psychologowie najczęściej rozpatrują emocje na płaszczyźnie valence/arosual. Na rysunku zaprezentowano „idealną” przestrzeń valence/arousal.

EMOCJE_MAPA_VALENCE_JPG

W jednym z przeprowadzonych eksperymentów badania dotyczyły pomiaru parametrów sygnału EEG wyznaczonych za pomocą rejestratora MindWave, z oprogramowaniem firmy NeuroSky. Okazuje się, że wykorzystany system pozwala na diagnostykę stanu pobudzenia emocjonalnego osób, na użytek neuromarketingu.

W celu wywołania pożądanych emocji u użytkowników wykorzystano dźwięki o wysokim i niskim pobudzeniu emocjonalnym, opisywanym ilościowo za pomocą parametru arousal. Sygnały dźwiękowe pobrano z bazy IADS (International Affective Digital Sounds).

W eksperymencie udział wzięło 42 ochotników, studentów Politechniki Warszawskiej, w wieku od 21 do 23 lat. Były to zarówno kobiety (7) jak i mężczyźni (35).  Stwierdzono, że wnioski z eksperymentów są zgodne z wiedzą neuropsychologiczną dostępną w literaturze, co dodatkowo wzmacnia stwierdzenie, że wspomniany system umożliwia diagnostykę stopnia pobudzenia badanych użytkowników na potrzeby  neuromarketingu.

Aktualnie prowadzone są zaawansowane i szeroko zakrojone prace związane z predykcją i wykrywaniem napadów epileptycznych na podstawie analizy sygnałów EKG i EEG.  Badania prowadzone są we współpracy z zespołem neurochirurgów.

Wybrane publikacje Zespołu

Publikacje w czasopismach wyróżnionych przez Journal Citation Reports i wymienionych w wykazie ministra o którym mowa w par. 6 ust. 2 pkt 1 rozporządzenia

  1. Andrzej Majkowski, Marcin Kołodziej, Remigiusz Rak,”Joint Time-Frequency And Wavelet Analysis – An Introduction”, Metrology and Measurement Systems, 21, ISSN 0860-8229, pp. 741-758, 12, 10.2478/mms-2014-0054, 2014
  2. Andrzej Majkowski, Marcin Kołodziej, Remigiusz Rak,”Wizualizacja rozkładu potencjałów EEG w zastosowaniu do asynchronicznego interfejsu mózg-komputer”, Przeglad Elektrotechniczny, 11a, ISSN 0033-2097, pp. 101-103, 2012
  3. Marcin Kołodziej, Andrzej Majkowski, Remigiusz Rak,”Linear discriminant analysis as a feature reduction technique of EEG signal for brain-computer interfaces”, Przeglad Elektrotechniczny, 3a, ISSN 0033-2097, pp. 101-103, 2012
  4. Remigiusz Rak, Marcin Kołodziej, Andrzej Majkowski,”Brain-computer interface as measurement and control system The review paper”, Metrology and Measurement Systems, 03, ISSN 0860-8229, pp. 427-444, 2012
  5. Marcin Kołodziej, Andrzej Majkowski, Remigiusz Rak,”Optymalizacja doboru okien czasowych do przetwarzania sygnału EEG w interfejsach mózg-komputer”, PRZEGLAD ELEKTROTECHNICZNY, 9a, ISSN 0033-2097, pp. 1-3, 2011
  6. Marcin Kołodziej, Andrzej Majkowski, Remigiusz Rak,”Implementation of genetic algorithms to feature selection for the use of brain-computer interface”, PRZEGLAD ELEKTROTECHNICZNY, 0033-2097, ISSN 0033-2097, pp. 71-73, 2011
  7. Marcin Kołodziej, Andrzej Majkowski, Remigiusz Rak,”Wykorzystanie t-statystyk do szybkiej selekcji cech sygnału EEG na użytek interfejsu mózg-komputer”, PRZEGLAD ELEKTROTECHNICZNY, 9a, ISSN 0033-2097, pp. 187-189, 2011
  8. Marcin Kołodziej, Remigiusz Rak,”Zastosowanie analizy częstotliwościowej sygnału EEG w interfejsach mózg-komputer”, PRZEGLAD ELEKTROTECHNICZNY, angielski, 5, 2008

Publikacje w innych czasopismach recenzowanych wymienionych w wykazie ministra, o którym mowa w par. 6 ust. 2 pkt 2 rozporządzenia

  1. Marcin Kołodziej, Paweł Tarnowski, Andrzej Majkowski, Remigiusz Rak, Damian Dec,”Registration and analysis of EEG signal for use in neuromarketing [Rejestracja i analiza sygnału EEG na użytek neuromarketingu]”, Przegląd Elektrotechniczny, 91, ISSN 0033-2097, pp. 9-12, 5, 2015
  2. Michał Ochocki, Marcin Kołodziej, Dariusz Sawicki,”Weryfikacja użytkownika na podstawie obrazu tęczówki oka”, Przegląd Elektrotechniczny, 2015, ISSN 0033-2097, pp. 262-265, 11, 91, http://www.pe.org.pl/articles/2015/11/60.pdf, DOI: 10.15199/48.2015.11.60, 2015
  3. Marcin Kołodziej, Andrzej Majkowski, Remigiusz Rak,”Zastosowanie klasteryzacji do automatycznej detekcji artefaktów mrugania oczami w sygnale EEG”, Przegląd Elektrotechniczny, 90, ISSN 0033-2097, pp. 175-177, 2014
  4. Daniel Król, Marcin Kołodziej, Andrzej Majkowski, Remigiusz Rak,”Wykorzystanie analizy składowych niezależnych do automatycznej eliminacji artefaktów mrugania oczami”, Przegląd Elektrotechniczny, 90, ISSN 0033-2097, pp. 192-194, 2014
  5. Michał Nasternak, Marcin Kołodziej, Andrzej Majkowski, Remigiusz Rak,”Rozpoznawanie płci z obrazu twarzy”, Przegląd Elektrotechniczny, 90, ISSN 0033-2097, pp. 213-215, 2014
  6. Andrzej Majkowski, Marcin Kołodziej, Remigiusz Rak, Michał Nasternak,”Przetwarzanie wstępne i analiza obrazu na użytek lokalizacji twarzy”, Pomiary Automatyka Kontrola, 3, ISSN 0032-4140, pp. 132-135, 2014
  7. Marcin Kołodziej, Andrzej Majkowski, Remigiusz Rak, Grzegorz Sułko,”Neurofeedback – eksperiments in LabVIEW”, Przegląd Elektrotechniczny, 89, ISSN 0033-2097, pp. 263-265, 10, 2013
  8. Andrzej Majkowski, Marcin Kołodziej, Remigiusz Rak,” Wykorzystanie potencjałów mózgowych P300 do sterowania awatarem”, Pomiary Automatyka Kontrola, 58, ISSN 0032-4140, ISSN 0032-4140, pp. 352-355, 2012
  9. Marcin Kołodziej, Andrzej Majkowski, Remigiusz Rak,” Wykorzystanie maszyny wektorów wspierających (SVM) do klasyfikacji sygnału EEG na użytek interfejsu mózg-komputer”, Pomiary Automatyka Kontrola, 1, ISSN 0032-4140, pp. 1-2, 2011
  10. Dominik Olszewski, Marcin Kołodziej, Maciej Twardy,”A probabilistic component for K-means algorithm and its application to sound recognition”, PRZEGLĄD ELEKTROTECHNICZNY, 86, ISSN 0033-2097, pp. 185-190, 2010
  11. Marcin Kołodziej, Andrzej Majkowski, Remigiusz Rak,”Matlab FE_Toolbox – an universal utility for feature extraction of EEG signals for Brain-Computer Interface realization”, PRZEGLĄD ELEKTROTECHNICZNY, 86, ISSN 0033-2097, pp. 44-46, 2010
  12. Marcin Kołodziej, Andrzej Majkowski, Remigiusz Rak,”A new method of feature extraction from EEG signal for brain-computer interface design”, PRZEGLĄD ELEKTROTECHNICZNY, 86, ISSN 0033-2097, pp. 35-38, 2010
  13. Marcin Kołodziej, Remigiusz Rak, Andrzej Majkowski,”Interfejs mózg-komputer – wybrane problemy rejestracji i analizy sygnału EEG”, PRZEGLĄD ELEKTROTECHNICZNY, angielski, 12, ISSN 0033-2097, pp. 10-22, 2009

Publikacje w recenzowanych meteriałach konferencji międzynarodowej uwzględnionej w Web of Science (w grupie nauk ścisłych i inżynierskich)

  1. Kołodziej M., Majkowski A., Oskwarek Ł., Rak R., Comparison of EEG Signal Preprocessing Methods for SSVEP Recognition, 39th International Conference on Telecommunications and Signal Processing (TSP2016)
  2. Kołodziej M., Majkowski A., Rak R., Simplified Matching Pursuit as a New Method for SSVEP Recognition, 39th International Conference on Telecommunications and Signal Processing (TSP2016)
  3. Paweł Tarnowski, Marcin Kołodziej, Andrzej Majkowski, Remigiusz Rak,” An Innovative Approach to Classification of Emotions in EEG Signal for the Use in Neuromarketing Research”, The 12th IASTED International Conference on Biomedical Engineering, 1, pp. 117-120, Baza, w której publikacja jest uwzględniona: Web of Science oraz Scopus, DOI: 10.2316/P.2016.832-038, 2016
  4. Marcin Kołodziej, Andrzej Majkowski, Paweł Tarnowski, Remigiusz Rak,” Recognition of visually induced emotions based on electroencephalography”, Proceedings of the 2015 IEEE 8th International Conference on Intelligent Data Acquisition and Advanced Computing Systems: Technology and Applications (IDAACS), 2, pp. 701-704, Baza, w której publikacja jest uwzględniona: Web of Science, 2015
  5. Marcin Kołodziej, Andrzej Majkowski, Remigiusz Rak,” A new method of spatial filters design for brain-computer interface based on steady state visually evoked potentials.”, Proceedings of the 2015 IEEE 8th International Conference on Intelligent Data Acquisition and Advanced Computing Systems: Technology and Applications (IDAACS), 2, pp. 697-700, Baza, w której publikacja jest uwzględniona: Web of Science, 2015
  6. Andrzej Majkowski, Marcin Kołodziej, Remigiusz Rak,”Implementation of automatic feature selection methods for BCI realization”, International Instrumentation and Measurement TEchnology Conference Proceedings, 1, ISSN 1091-5281, pp. 00, 2012
  7. Marcin Kołodziej, Andrzej Majkowski, Remigiusz Rak,”A new method of EEG classification for BCI with feature extraction based on higher order statistics of wavelet components and selection with genetic a”, Springer Lecture Notes in Computer Science – LNCS, Adaptive and Natural Computing Algorithm, 1, pp. 280-289, LNCS 6593, 2011

Konferencja nie uwzględniona w WoS

  1. Andrzej Majkowski, Marcin Kołodziej, Remigiusz Rak,”Implementation of selected EEG signal processing algorithms in asynchronous BCI”, Medical Measurements and Applications Proceedings (MeMeA), 2012 IEEE International Symposium, pp. 000, 2012
  2. Marcin Kołodziej, Andrzej Majkowski, Grzegorz Sułko, Remigiusz Rak,”Implementacja oprogramowania do neurofeedbacku w środowisku LabVIEW”, VI Kongres Metrologii, 1, ISSN 978-83-63792-40-4, pp. 111-112, 2013
  3. Marcin Kołodziej, Andrzej Majkowski, Michał Nasternak, Remigiusz Rak,”Automatyczna detekcja twarzy w obrazie”, VI Kongres Metrologii, 1, ISSN 978-83-63792-40-4, pp. 339-340, 2013
  4. Marcin Kołodziej, Andrzej Majkowski,”Wybrane problemy przetwarzania, analizy i klasyfikacji sygnału EEG na użytek interfejsu mózg-komputer”, Metrologia dziś i jutro, 1, ISSN 83-911669-5-3, pp. 1, 2010

Instytut Elektrotechniki Teoretycznej i Systemów Informacyjno-Pomiarowych