kognitywistyka.net: forum
Umysł - Mózg - Sztuczna Inteligencja

Kognitywistyka - Interfejs człowiek maszyna (komputer)

Jarek Mazurek. - 2007-04-10, 19:46
Temat postu: Interfejs człowiek maszyna (komputer)
Nie jestem pewien w jakim dziale o tym pisać. Jeśli nie na temat to proszę przenieść.

Zajmuję sie projektowaniem urządzeń mikroprocesorowych na bazie 8051, AVR, piszę też programy na PC, głównie bazodanowe ale też graficzne.
Aktualnie pracuję nad programem do modelowania przestrzennego do zastosowań CNC (Computerized Numerical Control = komputerowe sterowanie numeryczne, frezarki, tokarki, roboty itp.).
Będzie to program (przynajmniej w wersji podstawowej) free.
Jestem na etapie sterowania 3D za pomocą klawiatury i myszki.
W niedalekiej przyszłości (jak zakupię - 59$) zaimplementuję manipulator 3D, SpaceNavigator
http://www.3dconnexion.com/products/3a1d.php .
Jako ciekawostkę dodam, że program będzie wykonywał polecenia pisane prawie językiem naturalnym (przynajmniej będzie próbował) np. narysuj(domek,sredniej_wielkosci).
Może to nie sztuczna inteligencja ale domyślanie się co autor miał na myśli.
Ale interesował by mnie interfejs człowiek-komputer, nie działający na zasadzie odczytu mechanicznego ruchu ciała (ręki z myszką, rękawicy wirtualnej, czy nawet kamer obserwujących gałki oczne) ale odczytu np. potencjałów ze skóry lub innych mierzalnych sygnałów.
Wiem, że prace na ten temat są prowadzone.
Od raczkujących ale bardzo ciekawych: http://wideo.gazeta.pl/wideo/0,0,3997633.html ,
http://www.youtube.com/watch?v=BKd_AJUUT7Q
do sterowania za pomocą myśli samolotów bojowych (podobno).
Chciałbym zrealizować to (przynajmniej w stopniu podstawowym) praktycznie.
Czy sygnały z EEG lub czegoś pokrewnego nadawały by się do takich zastosowań ?
Chodzi o to aby reakcja maszyny na sygnał z ciała była co najmniej tak szybka jak z myszki czy klawiatury. Jeśli chodzi o precyzję to myślę, że można nad tym popracować później. Oczywiście interfejs taki mógłby być wykorzystany także w innych dziedzinach, np: grafika komputerowa, muzyka, a może nawet pisanie książek.
Tylko proszę nie mówić, że to SF lub bardzo daleka przyszłość, bo inni już mają wyniki.

Czy ktoś mógłby mnie naprowadzić ?
Może ktoś się zajmował lub zajmuje podobną tematyką?

Marek_Pietraszczyk - 2007-04-10, 22:05

Jarku.
Chciałbym zapytać jaki cel tobie przyświeca przy konstruowaniu opisywanego przez ciebie urządzenia ? Po co robić takie skomplikowane rzeczy skoro inżynierowie dotąd klikali sobie myszkami i nikomu to nie przeszkadzało ?

Ja się nie znam na tym, co ty robisz, ale wydaje mi się że zaadaptowanie odczytu sygnałów elektrycznej aktywności mózgu dla celów sterowania, które normalnie odbywa się z wykorzystaniem funkcji drobnej motoryki (lub, jak mówisz ruchu gałek ocznych) może być trudne. Nie wiem, czy technologia eeg nie ma za mało parametrów („różnych częstotliwości fal EEG, takich jak delta, theta, alfa” i amplitudy) by być użyteczną w sterowaniu takimi
skomplikowanymi ruchami.

Pozdrawiam.
--------------------------------------------------------------------------------------------------
przykład prostego urządzenia sterowanego falami mózgowymi żeby zobaczyć filmik trzeba mieć odtwarzacz quicktime

Jarek Mazurek. - 2007-04-11, 08:16

Marek_Pietraszczyk napisał/a:
Chciałbym zapytać jaki cel tobie przyświeca przy konstruowaniu opisywanego przez ciebie urządzenia ?

I to jest dobre pytanie.
Mam przeczucie, że tak jak czytanie bez "szeptania" jest szybsze, tak sterowanie komputerem bez "ruszania się" także może być wydajniejsze.
Wiem że to wymaga badań ale ktoś to w końcu zrobi. Dlaczego muszą to być znowu Japończycy (przy całym szacunku)? Brak mi wiedzy i doświadczenia na temat sygnałów elektrycznych, które generuje ciało człowieka, szczególnie ich powtarzalności i szybkozmienności.
Najlepiej by było gdyby dane pomiarowe można pobrać ze skóry, bez ingerencji w ciało, choć jestem gotów zostać królikiem doświadczalnym z wszczepioną elektrodą.
Pytam o EEG bo część z forumowiczów miała z tym kontakt i może podpowiedzieć czy się nadaje. Może nadadzą się sygnały z mięśni np. rąk, które są wykorzystywane w sterowaniu protezami. Będę zadowolony jak uzyskam jakkolwiek efekt (na początek).

Jan Wójcik - 2007-04-11, 08:59
Temat postu: Re: Interfejs człowiek maszyna (komputer)
Jarek Mazurek napisał/a:
Ale interesował by mnie interfejs człowiek-komputer, nie działający na zasadzie odczytu mechanicznego ruchu ciała (ręki z myszką, rękawicy wirtualnej, czy nawet kamer obserwujących gałki oczne) ale odczytu np. potencjałów ze skóry lub innych mierzalnych sygnałów.

Witaj na forum.
Oczywiście, że prace nad tym zagadnieniem są prowadzone, a "praktyczne" zastosowanie znajduje się w dziedzinie biofeedback, o czym też tu gdzieś była mowa. Najprostszy przykład - człowiek obserwuje aktywnośc elektryczną swojego mózgu i za pomocą prób i błędów uczy się, aby miała ona określony charakter, np. aby więcej było rytmu alfa. Komputer natomiast interpretuje rytm alfa jako, powiedzmy, jazdę samochodem, czy coś innego. Generalnie człowiek za pomocą aktywności rejestrowanej przez eeg steruje jakimś obiektem, może nie do końca tak samo, jak joystickiem, ale jakoś sterować próbuje. Innym nurtem badań jest implantacja elektrod bezpośrednio do kory ruchowej mózgu zwierząt i trening w prostych grach komputerowych, gdzie świnia, czy małpa uczy się np. sterować w ten sposób ruchomą bramką odbijającą piłeczkę. Jak temat ten Cię poważnie interesuje, spróbuj odnaleźć ośrodek, jaki się tym zajmuje i staraj się tam o przyjęcie do programu PhD. Natomiast odnośnie rejestracji wskaźników fizjologicznych człowieka bez ingerencji, to tym zajmuje się psychofizjologia. Możesz poszukać dalej pod takim właśnie hasłem (psychophysiology) .

Filip Grabowski - 2007-04-11, 11:07

Witaj,
Zajmuję się podobnymi sprawami
A nawet piszę program do modelowania 3D dla obrabiarek CNC ma on co prawda inne zastosowanie niż ten nad którym Ty pracujesz ale to tutaj nieważne.

Chciałbym zwrócić uwagę na kilka problemów:
Jak napisał Jan mózg uczy się nowej sytuacji więc trening inżyniera prawdopodobnie zostałby wydłużony [chociaż to zależy pewnie od zadania ale intuicja podpowiada mi że dopóki takie praktyki nie będą powszechne już od dziecka w domu będzie to dodatkowa nauka]
Nie wiem ile czasu trwa opanowanie prostych gier o których wspomina Jan do perfekcji - a o perfekcję chodzi i to nie w "prostej grze"
Po drugie eliminacja błędów na dodatkowej aparaturze
Po trzecie co innego pisanie programu za pomocą odczytu aktywności ludzkiego mózgu a co innego sterowanie w czasie rzeczywistym
Zastanawiam się nad setkami badań i certyfikatów potrzebnych do wykonywania zawodu mózgo-tokarz nie mówiąc o mózgo-chirurgu
Po czwarte zastanawiam się jak łatwo się zdekoncentrować? kiedy sterujesz myszą i zamyślisz się możesz wykonać np za długi ruch i doprowadzić do zniszczenia przedmiotu
ale jak maszyna zinterpretuje ciąg myśli nie związanych z wykonywanym zadaniem? a błąd jest rzeczą ludzką :)
Przychodzi mi do głowy jeszcze kilka problemów ale na razie za mało wiem w tej dziedzinie żeby je tu formułować.

Moim zdaniem pewne operacje będzie się wykonywać manualnie jeszcze bardzo długo albo będą wykonywać je zamiast nas AI zwłaszcza te czasu rzeczywistego
Co innego np sterowanie inteligentnym domem, pisanie na komputerze, granie itp nie zagrażające innym ludziom i produkcji [w sensie wydajności] czynności. To może się stać dosyć szybko.
Być może zastosowanie we wspomaganiu produkcji np w uczeniu robota.

Jarek Mazurek. - 2007-04-11, 22:59

W moim przypadku sterowanie nawet rozchwianą "myślą" jest bezpieczne.
Tworzony model przestrzenny będzie wielokrotnie poprawiany a następnie testowany w programie symulującym, zanim zacznie nad nim pracować frezarka. Nie musi to być system czasu rzeczywistego.
Dlatego podejmuję taki temat, ponieważ widzę jak trudno przenieść obraz z wyobraźni do zapisu komputerowego i szukam wydajniejszej metody.
Co do konieczności długotrwałego uczenia się przez mózg to myślę, że trudność jest porównywalna do nauki jazdy na rowerze czy pływania. A przynajmniej chciałbym wykorzystać takie sygnały i tak je zinterpretować aby był to podobny poziom trudności.
Dziękuję za dotychczasowe uwagi.

Leszek Nowaczyk - 2007-04-12, 00:56

Witam,

Jarku, do zabrania głosu w tym wątku skłonił mnie Twój ostatni wpis, w którym można przeczytać m.in.
Cytat:
Dlatego podejmuję taki temat, ponieważ widzę jak trudno przenieść obraz z wyobraźni do zapisu komputerowego i szukam wydajniejszej metody.

Po lekturze Twojego pierwszego wpisu sądziłem, chyba jak większość, a może nawet wszyscy, którzy do tej pory zabrali głos, że szukasz metod umożliwiających sterowanie jakimś procesem/obiektem poprzez odczyt sygnałów płynących z mózgu. W tym obszarze faktycznie prowadzone są obiecujące badania, o których już napisano wyżej, a do których dołożyłbym mocno zaawansowane prace związane z protezami kończyn sterowanych przez impulsy nerwowe.

Jeśli jednak szukasz sposobu na przejęcie, za pomocą rejestracji jakichś danych wejściowych typu fMRI czy EEG, wyobrażenia obecnego właśnie w mózgu jakiejś osoby, np. mostu, budynku, samochodu itp., a następnie przetransponowania tegoż wyobrażenia do pamięci komputera, to byłbyś chyba pierwszy na świecie, któremu taka sztuka by się udała. Na razie nauka jest jeszcze baaardzo daleko od tego - "siedzących" w temacie głębiej proszę o ewentualne sprostowanie.

Być może masz plan mniej ambitny ale za to bardziej realny, czyli zasymulowanie procesu "rysowania z pamięci", wspomaganego nie ołówkiem, myszą, czy tabletem z rysikiem, lecz dokonanego bez używania owych przyrządów. Wtedy problem można zakwalifikować do pierwszej kategorii, czyli sterowania obiektem. Sądzę jednak, że efekty nie byłyby oszałamiające, o czym każdy z nas może się przekonać, wyobrażając sobie np. dom swoich marzeń i próbując go narysować za pomocą zwykłego ołówka. Jeśli nie należy się do szczęśliwców obdarzonych talentem, to obraz na kartce będzie dość mocno odbiegał od wyobrażonego.

Jeśli ktoś jednak wie o pracach na temat "przenoszenia wyobrażeń" z głowy na jakieś medium (papier, nośnik magnetyczny), gorąco zapraszam do zabrania głosu. Sam bym się chętnie czegoś o takich rzeczach dowiedział.

Pozdrawiam

Jarek Mazurek. - 2007-04-12, 08:03

Leszek Nowaczyk napisał/a:
Być może masz plan mniej ambitny ale za to bardziej realny, czyli zasymulowanie procesu "rysowania z pamięci", wspomaganego nie ołówkiem, myszą, czy tabletem z rysikiem, lecz dokonanego bez używania owych przyrządów.

Przepraszam, ale nie mam aż tak nierealnych ambicji. Powiem jak pewien znany polski polityk: "bardzo, bardzo, bardzo bym chciał" wdrożyć ten projekt w życie. I nawet sobie nie wyobrażam jak można by bezpośrednio wyjmować wyobrażenia z mózgu. Ale mam silne przekonanie, że sposób który tak jasno opisałeś, i który powyżej cytuję jest realny do wykonania w okresie kilku lat. Najlepszy by był aparat EEG w postaci karty do PC (taniej karty).

Leszek Nowaczyk napisał/a:
Jeśli nie należy się do szczęśliwców obdarzonych talentem, to obraz na kartce będzie dość mocno odbiegał od wyobrażonego.

Ja bym tą metodę porównał do rysowania portretu pamięciowego przestępcy czy zaginionego.
Świadek opowiada(mózg), zdolny grafik rysuje(czujniki, analiza, program rysujący), swiadek na podstawie widzianych postępów w rysowaniu koryguje(mózg). Tak to widzę tylko w sposób bardziej zsynchronizowany, no i (tak jak ten rysownik) system będzie się uczył (lepiej rozumiał co człowiek miał na myśli mówiąc: sympatyczna twarz). A operator systemu też będzie się uczył i przestanie mówić, że :przestępca był taki normalny, jak każdy, w szarym ubraniu , nie wysoki i nie niski. Myślę, że da się wykorzystać jakieś impulsy które będą interpretowane jako "więcej" a inne "mniej" dla właściwości <wysoki>.

Jarek Mazurek. - 2009-05-08, 09:02

Pisanie za pomocą EEG .
Cytat:
Po chwili ćwiczeń Wilson opanował umiejętność wybierania liter z alfabetu i umieszczania ich na ekranie. W ten sposób utworzył elektroniczną notatkę i wysłał ją. Cały proces trwał kilka minut.

Z tego co wiem, to przekazywanie komputerowi nawet prostych informacji (wymuszając określone potencjały na skórze głowy) jest dość długotrwałe, chyba że Adam Wilson ma wyjątkowe predyspozycje lub dobre wspomaganie sprzętowe.

Jarek Mazurek. - 2009-06-16, 16:33
Temat postu: Brain Gate
Sterowanie kursorem z wykorzystaniem małej elektrody wszczepionej do mózgu.
Łukasz Ratz - 2009-06-16, 22:33

Witam:)

Prześledziłem uważnie wątek ponieważ jestem szczerze zainteresowany tematem.
Poczułem się sprowokowany do zabrania głosu :) - bo swego czasu napisałem nawet skromne grafomańskie opowiadanko SF o - najogólniej rzecz ujmując - obrazowaniu wymyślonych kształtów, do którego odsyłam:
http://www.ratz.pl/nowe_laboratorium.html - podaję tam pomysł na kombinację dwóch istniejących patentów - powszechnie znanego EEG i mieszanej rzeczywistości ( http://www.arcane-technologies.com/?page_id=19 )
- oczywiście nie ma ten swobodny twór pretensji do ścisłości technicznej jaką reprezentują w swoich wypowiedziach koledzy forumowicze - i jest wyobrażeniem technologicznej przyszłości dlatego należy potraktować go z dystansem.

Kilka rzeczy, które przychodzą mi do głowy:
Pomyślenie domek i zarejestrowanie aktywności mózgu - w czasie kiedy mózg to słowo generuje daje pewnie dość klarowny odczyt - jeśli zamienić to na komendę, która nakazuje programowi wygenerować prototypową bryłę 3D przypominającą domek - już jest to duże przyśpieszenie pracy dla np. grafika. Jeśli program mógłby uczyć się przymiotników opisujących ten domek, komend itd wszystko przebiegałoby znacznie szybciej niż tylko manualna obsługa (bo podejrzewam, że mieszany interfejs byłby najwygodniejszy - obracanie bryły, określanie proporcji to znacznie szybciej można pewnie zrobić manualnie).
Baza kształtów/obiektów ponazywanych i nagranych przez EEG (jako te pomyślane) , które mogłyby mieszać się (przenikać) na prostą myślową komendę to byłoby coś.
Cały "myk" - wydaje mi się - to stworzenie takiej przestrzennej "gramatyki" - bo do tworzenia przestrzennych form - używamy pewnie w myślach podstawowych modułów i używamy ich w jakiejś składni - np. symetrycznie, kalejdoskopowo lub segmentowo i tego powinien nauczyć się program....
Zgadzam się z Jarkiem, że taki interfejs mógłby być ułatwieniem.
Nie wiem czy rzeczywiście musiałby on być taki trudny do opanowania... - pewnie ze względu na wymóg pamiętania tych kształtów lub poleceń (to zawsze można byłoby robić równolegle manualnie w klasycznym menu)...
Trudność pewnie taka jak przy nauce języka...:)
Błędność takiego urządzenia można by wyeliminować możliwością stopowania akcji EEG manualnie i szybkiego cofania wiele kroków do tyłu...
Odczytywanie pełnych obrazów z głowy - musiałoby być pewnie bardzo precyzyjnym dopasowaniem oprogramowania do pojedynczego użytkownika - bank obiektów, mógłby zawierać coraz bardziej złożone i precyzyjnie opisane kształty...
Wydaje mi się, że to ma sens... - ale pisząc to nie mam pojęcia jak mogłoby to wyglądać od strony programistycznej... ::))

Garśc linków związanych z tematem:
http://emotiv.com/INDS_2/inds_2_1.html
http://www.youtube.com/wa...adset?pod=cedar
http://fora.tv/2008/12/12...Control_Device#

Jarek Mazurek. - 2010-01-04, 20:23

Pomysł zastosowania EMG do sterowania jest stary, a Microsoft potrafi zrobić na nim pieniądze.
I znowu nie zdążyłem się tym zająć. ::((
Również jestem zdania, że EMG nadaje się bardziej niż EEG do sterowania.


Powered by phpBB modified by Przemo © 2003 phpBB Group