Analiza wydajności transmisji danych w komórkach i sieciach ...

Polska Akademia Nauk

Instytut Podstawowych Problemów Techniki

Rozprawa doktorska

Analiza wydajności transmisji danychw komórkach i sieciach neuronowychmetodami teorii informacji

BARTOSZ PAPROCKI

Instytut Mechaniki i Informatyki Stosowanej,Uniwersytet Kazimierza Wielkiego w Bydgoszczy

Promotor:

prof. dr hab. Janusz Szczepański

Instytut Podstawowych Problemów TechnikiPolskiej Akademii Nauk

Warszawa, 2015

Rodzicom

SPIS TREŚCI

iv Lista artykułów

v Streszczenie

1 1 WprowadzenieCel pracy 1 • Struktura rozprawy 2

4 2 Mózg, neurony, komunikacjaKomórki glejowe 5 • Neurony 6: Budowa neuronu, Dendryty, Akson • Synapsy i po-tencjał czynnościowy 10: Synapsy chemiczne, Potencjał czynnościowy, Synapsy elek-tryczne • Neuroplastyczność 13: Wykorzystanie w praktyce, Interfejs mózg–maszyna

16 3 Matematyczne modele neuronuIntegrate-and-fire 17: Koncepcja. Model podstawowy, Leaky integrate-and-fire, Coz impulsami? • Model Hodgkina–Huxleya 20: Oryginalne badania, Dynamika jonów,Kanały zależne napięciowo, Model – opis matematyczny • Sztuczne neurony i sieci24: Perceptron. Neuron McCullocha–Pi�sa, Samoorganizacja. Sieci Kohonena • ModelLevy–Baxter 27: Przepływ informacji • Modelowanie mózgu 29

31 4 Teoria informacjiZarys idei 31: Motywacja • Informacja 33 • Entropia 34: Interpretacja entropii, Wła-sności entropii, Aksjomatyczna definicja entropii, Entropia łączna i entropia warun-kowa • Tempo entropii. Entropia źródła informacji 40 • Informacja wzajemna 41• Kanał komunikacyjny. Twierdzenie Shannona 43

45 5 Estymacja entropiiDigitalizacja danych 45 • Przegląd estymatorów 47: Naiwny estymator, EstymatorLempela–Ziva, Estymator Stronga • Wybór estymatora 49

50 6 Przyjęte technologie i implementacjaPrzygotowania 50 • Program główny 53: Struktura oprogramowania, Maszyny obli-czeniowe • Prezentacja wyników 58

61 7 WynikiPojedynczy neuron i sieć feed–forward 62: Efekty synaptic failure, Wysokość proguaktywacji, Zależność od źródła informacji • Fluktuacje amplitudy 71 • Sieć brain–like75: Wielkość sieci, Neurony hamujące, Połączenia long–range

82 8 Dyskusja i wnioskiSieć feed–forward 82 • Brain–like 83 • Co dalej? 84

86 9 Elementy wkładu oryginalnego

89 Literatura

101 Spisy

104 Indeks

ii

PODZIĘKOWANIA

DupaSerdecznie dziękuję mojemu Promotorowi, Profesorowi Januszowi Szczepańskiemu,

za ukierunkowanie pracy, otrzymane wsparcie naukowe i wskazówki, wartościowe dyskusje,motywację, wielką cierpliwość oraz wyrozumiałość.

Dziękuję Profesorowi Mariuszowi Kaczmarkowi oraz Współpracownikom – Koleżan-kom i Kolegom z Instytutu Mechaniki i Informatyki Stosowanej za ogromny doping,okazaną życzliwość i atmosferę w pracy.

Szczególnie dziękuję moim wyjątkowym Przyjaciołom za ich towarzystwo, pogodęducha, pomysły i poczucie humoru.

Dziękuję wreszcie mojej wspaniałej Rodzinie – za wsparcie w dążeniu do celu, cierpli-wość, wiarę we mnie, inspirację i miłość. Dziękuję Wam za wszystko.

iii

LISTA ARTYKUŁÓW

Rozprawę doktorską stanowi spójny tematycznie zbiór artykułów opublikowanych w indek-sowanych czasopismach naukowych. Lista artykułów zamieszczona jest poniżej, a samepublikacje dołączone są na koniec tekstu rozprawy. Cykl publikacji został poprzedzonyobszernym wprowadzeniem i szczegółową prezentacją rezultatów przedstawionych w tychpublikacjach.

Artykuły

1 B. Paprocki, J. Szczepański (2011). Efficiency of neural transmission as a functionof synaptic noise, threshold, and source characteristics. BioSystems, 105 (1): 62–72.DOI: 10.1016/j.biosystems.2011.03.005 (25 pkt. MNiSzW; IF 1,581).

2 B. Paprocki, J. Szczepański (2013). How do the amplitude fluctuations affect theneuronal transmission efficiency. Neurocomputing, 104: 50–56. DOI: 10.1016/j.neucom.2012.11.001 (30 pkt. MNiSzW; IF 1,634).

3 B. Paprocki, J. Szczepański (2013). Transmission efficiency in ring, brain inspiredneuronal networks. Information and energetic aspects. Brain Research, 1536: 135–143.DOI: 10.1016/j.brainres.2013.07.024 (25 pkt. MNiSzW; IF 2,879).

4 B. Paprocki, J. Szczepański, D. Kołbuk (2013). Information transmission efficiencyin neuronal communication systems. BMC Neuroscience, 1536 (Suppl 1): P217. DOI:10.1186/1471-2202-14-S1-P217 (Art. pokonferencyjny. 25 pkt. MNiSzW; IF 3,0).

Konferencje

1 B. Paprocki, J. Szczepański, Long-range connections’ influence on the efficiency oftransmission in brain–like neuronal networks, 8th Federation of European NeuroscienceSocieties (FENS) Forum of Neuroscience, Barcelona, Hiszpania, 14–18 czerwca, 2012(plakat).

2 B. Paprocki, J. Szczepański, Effectiveness of information transmission in the brain–like communication models, 10th International Neural Coding Workshop 2012, Praga,Czechy, 2–7 września, 2012 (talk, plakat).

3 B. Paprocki, J. Szczepański, Transmission efficiency in the brain–like neuronal ne-tworks. Information and energetic aspects, 10th International Neural Coding Workshop2012, Praga, Czechy, 2–7 września, 2012 (talk).

4 B. Paprocki, J. Szczepański, D. Kołbuk, Information transmission efficiency inneuronal communication systems, 22nd Annual Computational Neuroscience Meeting:CNS*2013, Paryż, Francja, 13–18 lipca, 2013 (plakat).

iv

http://dx.doi.org/10.1016/j.biosystems.2011.03.005

http://dx.doi.org/10.1016/j.neucom.2012.11.001


http://dx.doi.org/10.1016/j.brainres.2013.07.024

http://dx.doi.org/10.1186/1471-2202-14-S1-P217

STRESZCZENIE

Zrozumienie w jaki sposób komórki nerwowe kodują informacje, przetwarzają je i zarządzająich transmisją, jest jednym z największych wyzwań współczesnej nauki. Eksperymentypokazały, że informacja przesyłana między neuronami jest reprezentowana za pomocąpotencjałów czynnościowych w postaci ostrych pików (ang. spikes) napięcia o zbliżonejamplitudzie. Od wielu lat prowadzone są intensywne badania nad sposobami kodowaniatych sygnałów przez neurony.

Celem rozprawy jest, po pierwsze, opracowanie metod teoretycznych na bazie teoriiinformacji oraz narzędzi numerycznych, pozwalających efektywnie wyznaczać optymalneparametry (uwzględniając koszty energetyczne) transmisji informacji przez neurony orazzbadać efekty synergii współpracujących grup (sieci) neuronów pod kątem wydajnościoraz niezawodności transmisji. Po drugie, wykorzystując uzyskane wyniki oraz opraco-wane metody, opisanie, w sposób ilościowy i jakościowy, uproszczonego modelu mózgu,zbudowanego z rozpatrywanych neuronów – tak zwanego brain–like.

Tematyka badań dotyczy nieklasycznego podejścia do sieci neuronowych, modelu-jącego niedeterministyczne komórki, na bazie modelu zaproponowanego w pracy Levyi Baxter (2002). W badaniach potraktowano sieć jako kanał transmisyjny (Shannon,1948), szacując jego pojemność, redundancję transmisji, informację wzajemną pomiędzysygnałami wejściowymi (bodźcami) a odpowiedzią komórek (pobudzeniem), oraz kosztyenergetyczne transmisji. Wymaga to optymalnych implementacji kosztownych obliczeniowoestymatorów entropii – zdecydowano się użyć estymatora Stronga (1998).

W pierwszej kolejności zbadano pojedyncze komórki i proste sieci feed–forward,analizując je pod kątem optymalizacji transmisji informacji ze względu na zmiany częstościaktywacji komórek, szumu synaptycznego oraz wysokości progu aktywacji. Opisano równieżwpływ różnych typów źródeł informacji. Uwagę skupiono również na wpływie fluktuacjiamplitudy.

Następnie przeprowadzono badania dla sieci brain–like. Efektywność transmisji in-formacji neuronów pobudzających, z uwzględnieniem kosztów energetycznych, zbadanojako funkcję: geometrycznej wielkości sieci oraz związanych z nią opóźnień w komunikacji,hamowania (ang. inhibition) o różnej sile, dostępu do źródła informacji danej komórkioraz występowania w strukturze sieci dodatkowych połączeń typu long–range.

Przeprowadzone obliczenia mają dużą dokładność. W symulacjach użyto ciągówwejściowych o długościach co najmniej 106 bitów; dane pochodzące z eksperymentów sąwielokrotnie krótsze z powodu biologicznych ograniczeń.

v

SUMMARY

Understanding how nervous cells encode and decode information, process it, and controlits transmission, is one of the greatest challenges of the contemporary science. Experi-ments have shown that information transmitted between neurons is represented by actionpotentials, i.e electrical impulses in form of short, sharp cell membrane voltage spikes ofsimilar amplitude. For many years, method of coding these signals by neurons is subjectof increased effort among researchers around the world.

The purpose of research presented here is, first, to develop methods based on infor-mation theory and numerical tools, that allow effective determination optimal parameters(including energetic costs) of neuronal information transmission and to examine effectsof synergy of cooperating cells in terms of transmission efficiency and reliability. Second,using obtained results and methods, to describe, in both quantitative and qualitative way,simplified brain model, so called brain–like, built of neurons considered earlier.

A nonclassical approach to neural networks is taken in the research: non-deterministiccells are considered, based on neuron model proposed by Levy & Baxter (2002). Networksare studied as a communication channels (Shannon, 1948). Therefore, among examinedquantities are such as: channel capacity, transmission redundancy, mutual informationbetween input signals (stimuli) and cell response (excitation), and energetic costs ofcommunication. This requires optimal implementation of calculation-expensive entropyestimators. Thus, Strong (1998) estimator is chosen.

First, single neurons and feed–forward networks are examined. Optimal informationtransmission is analyzed in regard to changes of firing rates, synaptic noise and height ofactivation threshold. Influence of different information source types is also described, aswell as impact of amplitude fluctuations.

Next, brain–like networks are studied. Information transmission efficiency of excita-tory neurons is analyzed as a function of: geometrical size of network (and size-relatedcommunication delays), inhibition strength, information source accessibility and additionallong–range connections.

Conducted computer calculations are accurate and precise. Input sequences used insimulations are at least 106 bits long – as opposed to experimental data, much shorter dueto biological restrictions.

vi

1WPROWADZENIE

Cel pracy 1 • Struktura rozprawy 2

Zrozumienie w jaki sposób komórki nerwowe kodują informacje, przetwarzają je i zarządzająich transmisją, jest jednym z największych wyzwań współczesnej nauki. Eksperymentypokazały, że informacja przesyłana między neuronami jest reprezentowana za pomocąpotencjałów czynnościowych w postaci ostrych pików (ang. spikes) napięcia o zbliżonejamplitudzie. Od wielu lat prowadzone są intensywne badania nad sposobami kodowaniatych sygnałów przez neurony.

1.1 CEL PRACY

Celem pracy jest, po pierwsze, opracowanie metod teoretycznych na bazie teorii informacjioraz narzędzi numerycznych, pozwalających efektywnie wyznaczać optymalne parametry(uwzględniając koszty energetyczne) transmisji informacji przez neurony oraz zbadać efektysynergii współpracujących grup (sieci) neuronów pod kątem wydajności oraz niezawod-ności transmisji. Po drugie, wykorzystując uzyskane wyniki oraz opracowane metody,opisanie, w sposób ilościowy i jakościowy, uproszczonego modelu mózgu, zbudowanegoz rozpatrywanych neuronów – tak zwanego brain–like.

Tematyka badań dotyczy nieklasycznego podejścia do sieci neuronowych, modelu-jącego niedeterministyczne komórki, na bazie modelu zaproponowanego w pracy Levyi Baxter (2002). W badaniach potraktowano sieć jako kanał transmisyjny (Shannon,1948), szacując jego pojemność, redundancję transmisji, informację wzajemną pomiędzysygnałami wejściowymi (bodźcami) a odpowiedzią komórek (pobudzeniem), oraz kosztyenergetyczne transmisji (Szczepanski i in., 2011). Wymaga to optymalnych implementacjikosztownych obliczeniowo estymatorów entropii (Amigó i in., 2004; Szczepanski i in., 2004)– zdecydowano się użyć estymatora Stronga (1998).

W pierwszej kolejności zbadano pojedyncze komórki i proste sieci feed–forward,analizując je pod kątem optymalizacji transmisji informacji ze względu na zmiany częstościaktywacji komórek, szumu synaptycznego oraz wysokości progu aktywacji. Opisano równieżwpływ różnych typów źródeł informacji. Uwagę skupiono również na wpływie fluktuacjiamplitudy.

Następnie przeprowadzono badania dla sieci brain–like. Efektywność transmisji in-formacji neuronów pobudzających, z uwzględnieniem kosztów energetycznych, zbadano

1

WPROWADZENIE 2

jako funkcję: geometrycznej wielkości sieci oraz związanych z nią opóźnień w komunikacji,hamowania (ang. inhibition) o różnej sile, dostępu do źródła informacji danej komórkioraz występowania w strukturze sieci dodatkowych połączeń typu long–range.

Oryginalne oprogramowanie napisano w wieloparadygmatowym, wielopoziomowymjęzyku D. Środowisko to okazało się najlepsze do realizacji wyznaczonych celów, przedewszystkim ze względu na szybkość działania skompilowanego kodu. Język D daje możliwośćswobody przechodzenia z programowania obiektowego do poziomu języka assembleradla krytycznych obliczeniowo fragmentów kodu. Całość została przystosowana do pracyrównoległej.

Przeprowadzone obliczenia mają dużą dokładność. W symulacjach użyto ciągówwejściowych o długościach co najmniej 106 bitów; dane pochodzące z eksperymentów sązazwyczaj wielokrotnie krótsze z powodu biologicznych ograniczeń.

1.2 STRUKTURA ROZPRAWY

Rozdział 1 jest wprowadzeniem, w którym obecnie znajduje się czytelnik. Rozdział 2 (strona4) prezentuje podstawy aktualnego stanu wiedzy o zjawiskach związanych z centralnymukładem nerwowym organizmów żywych, w szczególności kręgowców. Poruszone są tutematy odżywiania mózgu (Sekcja 2.1, str. 5), budowy i funkcjonowania neuronów (2.2,str. 6), zasad działania i struktury połączeń pomiędzy komórkami nerwowymi (2.3, str.10) oraz neuroplastyczności (2.4, str. 13).

Rozdział 3 (strona 16) opisuje powszechnie używane modele komórek nerwowych.Prezentacja rozpoczyna się od podstawowego modelu integrate-and-fire (Sekcja 3.1, str. 17),by następnie przejść do najbardziej zaawansowanego, najpełniejszego modelu Hodgkina-Huxleya (1952; Sekcja 3.2, str. 20). Kolejna część, rozpoczynająca się od szkicu modeluMcCullocha–Pittsa (1943), to opis metod stosowanych w sztucznej inteligencji (Sekcja3.3, str. 24). Następnie uwagę skupiono na modelu Levy i Baxter (2002), używanym w tejrozprawie jako podstawowy model neuronu (Sekcja 3.4, str. 27). Rozdział zakończonoprezentacją modelu brain–like (Sekcja 3.5, str. 29), którego analiza stanowi kluczową częśćpracy badawczej opisanej w niniejszej rozprawie.

Zarys metod teorii informacji (Shannon, 1948) znajduje się w Rozdziale 4 (str. 31).Rozdział ten ma na celu umotywować użycie miar wprowadzonych w teorii informacji doopisu aktywności neuronowej (Sekcja 4.1, str. 31). Zdefiniowano tu pojęcia informacji (4.2,str. 33), entropii (4.3, str. 34), entropii źródła informacji (4.4, str. 40), informacji wzajemnej(4.5, str. 41). Na końcu opisano ideę kanału komunikacyjnego wraz fundamentalnym dlateorii informacji twierdzeniem Shannona (4.6, str. 43).

Przegląd estymatorów entropii oraz motywacja wyboru metody estymacji używanejw niniejszej rozprawie znajduje się w Rozdziale 5 (strona 45). Wprowadzeniem do tej częścipracy jest Sekcja 5.1 (str. 45), opisująca proces digitalizacji danych; sekcja ta ma na celuzwrócenie uwagi na równoważność dwóch typów danych używanych w neuroscience: ekspe-rymentalnych oraz cyfrowych. Dalej prezentowane są popularne metody estymacji entropii(Sekcja 5.2, str. 47) – wraz z metodą Stronga (1998), z której korzystano w opisywanychw rozprawie badaniach (Sekcja 5.3, str. 49).

W Rozdziale 6 (strona 50) opisano całość oprogramowania jakie powstało w ramachprowadzonych badań. W przebiegu przeprowadzonych symulacji komputerowych wyróżnićmożna trzy etapy: skrypty w Matlabie przygotowujące obliczenia (Sekcja 6.1, str. 50),

WPROWADZENIE 3

program główny symulacji napisany w języku D (Sekcja 6.2, str. 53) oraz skrypty (po-nownie wykorzystujące środowisko Matlab) służące do opracowania i prezentacji wyników(Sekcja 6.3, str. 58). Rozdział ten zawiera listingi najważniejszych części przygotowanegooprogramowania.

Rozdział 7 (str. 61) prezentuje otrzymane wyniki. Został on podzielony na kilka części,opisujące chronologicznie postępy prac na poszczególnych etapach badań. Sekcja 7.1 (str.62) zawiera wyniki uzyskane dla pojedynczych komórek i sieci feed–forward pod kątemoptymalizacji transmisji informacji – w szczególności odpowiedni dobór modelu źródła in-formacji, wpływ szumu synaptycznego i wysokości progu aktywacji (Paprocki i Szczepanski,2011; Paprocki i in., 2013). Sekcja 7.2 (str. 71) skupia się na roli fluktuacji amplitudy w tychprostych architekturach (Paprocki i Szczepanski, 2013a; Paprocki i in., 2013). Wynikiz tych dwóch pierwszych części ukazują specyfikę natury i zachowania komórek w badanymmodelu (Levy i Baxter, 2002); rezultaty te wykorzystano następnie w części trzeciej. Ostat-nia Sekcja, 7.3 (str. 75), prezentuje wyniki dla bardziej zaawansowanej, pierścieniowej sieci,tak zwanej brain–like. Opisano tutaj zależność informacyjno-energetycznej efektywnościtransmisji od pewnych charakterystycznych, występujących w rzeczywistych strukturachmózgu elementów: połączeń long–range, relacji połączeń pobudzających i hamujących,wielkości sieci oraz związanych z nią opóźnień (Paprocki i Szczepanski, 2013b).

W Rozdziale 8 (str. 82) zawarte są wnioski z wyników badań opisanych w niniejszejrozprawie. W tej części znajduje się dyskusja uzyskanych wyników na tle osiągnięć naświecie. Rozdział wzbogacony jest o plany badawcze na kolejnych, przyszłych etapach orazsugestie dalszego rozwoju bieżących prac (Sekcja 8.3, str. 84).

Ostatnia część pracy, Rozdział 9 (str. 86), opisuje wszystkie zawarte w rozprawieelementy wkładu oryginalnego, podkreślając znaczenie uzyskanych wyników.

Po części opisowej znajduje się wykaz Literatury (strona 89), podzielony ze względu narodzaj publikacji na książki (podręczniki, str. 89) oraz artykuły naukowe (str. 90). Następniezaprezentowane są Spisy (str. 101): rysunków i wykresów, tabel, kodów Źródłowych orazsymboli. Rozprawę zamyka Indeks pojęć (str. 104).

2MÓZG, NEURONY, KOMUNIKACJA

Komórki glejowe 5 • Neurony 6: Budowa neuronu, Dendryty, Akson • Synapsyi potencjał czynnościowy 10: Synapsy chemiczne, Potencjał czynnościowy,Synapsy elektryczne • Neuroplastyczność 13: Wykorzystanie w praktyce,Interfejs mózg–maszyna

Mózg, główna część układu nerwowego, to najbardziej złożony organ wszystkich kręgowcóworaz większości bezkręgowców. Jego podstawowe zadania to centralne sterowanie organi-zmem, kontrola mięśni, dystrybucja i regulacja hormonów, regulacja ciśnienia krwi oraztemperatury ciała, synchronizacja działań. Jest również organem odpowiedzialnym zabardziej złożone (wyższe) funkcje nerwowe, takie jak pamięć, funkcje poznawcze i popędowe.Oprócz tego, mózg kontroluje zmysły, oraz – co czyni go wyjątkowym na tle innych organów– tworzy struktury kojarzone z umysłem. Mózg odpowiedzialny jest za wszystkie procesypoznawcze organizmu, czyli służy tworzeniu i modyfikowaniu wiedzy o otoczeniu, kształtujezachowanie. Innymi słowy, mózg odpowiada za procesy przetwarzania informacji, czyliodbierania informacji z otoczenia, przechowywania ich, oraz powtórnego wprowadzaniaich na zewnątrz w postaci reakcji, lub inaczej – zachowania. Zaawansowany strukturalniei rozbudowany mózg, nie tylko w sensie rozmiarów, prawdopodobnie warunkuje istnienieświadomości (Farthing, 1992; Koch, 2004b; Llinás, 2002).

Ludzki mózg zajmuje objętość około 1400 cm3 i powierzchnię około 2000 cm2, czyliniemal trzykrotnie większą niż kula o tej samej objętości. Podczas gdy organ ten stanowi2% masy ludzkiego ciała (u mężczyzn około 1375 gramów, u kobiet natomiast 1225 g),zużywa aż 20–25% energii (Mink i in., 1981; Nieuwenhuys i in., 1998). Znaczna większośćtej energii aktywuje wyłącznie procesy związane z neurotransmisją informacji wewnątrzmózgu (Attwell i Laughlin, 2001; Sokoloff, 1981).

Utrzymywanie przez organizm tak kosztownego metabolicznie narządu świadczy o jegokluczowej roli w życiu człowieka – u większości pozostałych gatunków kręgowców udziałmózgu w zużywanej przez organizm energii mieści się w przedziale 2–8%. U człowieka(w mniejszym lub większym stopniu również u innych naczelnych), przed powstaniemcywilizacji, szczególnie w okresie powstawania i wzmożonego rozwoju relacji socjalnych,mózg był priorytetowym organem warunkującym selekcję naturalną (Dorus i in., 2004;Dunbar, 1992). W szerszym rozumieniu oznacza to ewolucyjny nacisk na zdolność ludzi dokomunikowania, przetwarzania i gromadzenia lub zapamiętywania informacji (Hernandoi in., 2010; Joffe i Dunbar, 1997).

Mózg od początku stanowił zainteresowanie i był przedmiotem badań człowieka.

4

MÓZG, NEURONY, KOMUNIKACJA 5

Potwierdzają to badania z zakresu antropologii, archeologii oraz paleontologii. Przykładyzabiegu trepanacji czaszki odnajdujemy w zapisie kopalnym wszystkich kultur z czasówneolitu. Malarstwo jaskiniowe wskazuje, że trepanacja była praktykowana do leczeniamigren, epilepsji i chorób umysłowych (Brothwell, 1981). Najstarsze źródło pisane doku-mentujące czysto medyczne zainteresowanie mózgiem, Papirus Edwina Smitha, pochodzize starożytnego Egiptu i datowane jest na około 1500 p.n.e. Dokument zawiera opissymptomów, diagnoz i sposobów leczenia dwóch rodzajów ran głowy (Mohamed, 2008).

Tradycyjnie, mózg był przedmiotem badań filozofów i medyków, potem – biologów.Wiedza o mózgu powiększała się sukcesywnie. Przełomem stało się wynalezienie i udo-skonalenie mikroskopu, a następnie opracowanie metody Golgiego w 1873. Pozwoliło toRamonowi y Cajalowi zaobserwować pojedyncze komórki nerwowe, stawiając obowiązującydo dziś fundament, że to neurony są podstawowymi funkcjonalnymi jednostkami mózgu.Od tamtej pory wiedza o budowie i działaniu mózgu ogromnie się poszerzyła (Bullocki in., 2005; Finger, 2001; Shepherd, 1991).

Od dłuższego już czasu mózg jest przedmiotem badań również dla psychologów, inży-nierów, chemików i fizyków. Obecnie – dzięki miniaturyzacji, globalizacji i upowszechnieniukomputerów – postępuje gwałtowny wzrost zainteresowania mózgiem, układem nerwowymi świadomością wśród naukowców zajmujących się także innymi dziedzinami, wcześniejpozornie odległymi, jak matematyka i statystyka, oraz ostatnio informatyka. Tworzonesą nawet specjalnie dedykowane tym badaniom nauki. Interdyscyplinarność zagadnieńsprawiła, że zaczęto je zbiorczo nazywać Neuroscience. Postępy w tej stosunkowo nowej,jednak dynamicznej i szybko zyskującej na znaczeniu nauce, z dnia na dzień ukazująnowe wyzwania i nadzieje, angażując do współpracy coraz więcej umysłów. Wydaje się, żeludzkość stoi na krawędzi rewolucji naukowej, której jednym z głównych paliw są właśniebadania mózgu, inteligencji i świadomości (Van Hemmen i Sejnowski, 2006).

2.1 KOMÓRKI GLEJOWE

Mózg zbudowany jest głównie z dwóch typów komórek: nerwowych oraz glejowych. Komórkiglejowe (zwane również glejem lub neuroglejem) pełnią wiele istotnych dla działaniamózgu funkcji fizjologicznych: uczestniczą w odżywianiu komórek nerwowych składnikamiodżywczymi transportowanymi układem krążenia (McEwen i Reagan, 2004), syntetyzująenzymy używane m.in. do wytwarzania neuroprzekaźników, tworzą osłonki mielinoweaksonów oraz utrzymują neurony w stałym miejscu, pełnią funkcje ochronne oraz izolująpojedyncze neurony od siebie, niszczą patogeny oraz usuwają martwe neurony (Miller, 2005).Dodatkowo, glej wspomaga neurony w formowaniu połączeń synaptycznych pomiędzy nimi,kierunkuje migrację neuronów oraz produkuje molekuły modyfikujące metabolizm aksonówi dendrytów (Eroglu i Barres, 2010; Ullian i in., 2001). Komórki glejowe współtworzą tzw.barierę krew–mózg (Abbott, 1987).

Neuroglej może również pełnić istotną rolę w przetwarzaniu informacji, dzieląc tęfunkcjonalność z neuronami (Witcher i in., 2007). Odkryto grupę pobudliwych, wrażliwychna depolaryzację, macierzystych komórek gleju. Ich błony pokryte są zależnymi napięciowokanałami jonowymi i otrzymują synapsy pobudzające i hamujące z aksonów neuronów.Komórki te są zatem w stanie generować potencjały czynnościowe, podobnie do komóreknerwowych (Káradóttir i in., 2008; Levine i in., 2001).

Komórki glejowe są zwykle znacznie mniejsze od neuronów, jest ich jednak od 5 do


10 razy więcej (Azevedo i in., 2009). Część mózgu, jaką wypełniają komórki glejowe,zależy od jego wielkości; u człowieka jest to około 90% (Allen i Barres, 2009). Człowiekposiada również najliczniejsze i największe ze znanych stworzeń astrocyty (rodzaj gleju),co sugeruje, że komórki glejowe mogą pełnić istotne funkcje w wyższych czynnościachpoznawczych, charakteryzujących i wyróżniających człowieka spośród innych organizmówżywych.

2.2 NEURONY

Neurony są kluczowymi komórkami dla funkcjonowania mózgu – to one odpowiedzialnesą za przetwarzanie informacji i komunikowanie jej z otoczeniem – mimo że neuronówznajduje się w mózgu wyraźnie mniej (od 5 do 10 razy) niż komórek gleju. Ludzki mózgzawiera około 1,5× 1011 neuronów, każdy z nich posiada około 7 000 połączeń (synaps)z innymi neuronami. Łączna liczba synaps trzyletniego dziecka wynosi około 1015, liczbata spada wraz z wiekiem i u dorosłego człowieka stabilizuje się na poziomie od 1014 do5×1014 (Drachman, 2005). Wielkość sieci, jaką tworzą neurony w ludzkim mózgu, wyglądaciekawie w porównaniu z siecią Internet. Rozrastająca się sieć WWW łączy obecnie niemal4× 1010 witryn (według unikalnych wyszukiwań Google), powoli zatem ich liczba zbliżasię rozmiarem do mózgu człowieka.

Teoretycznie, biorąc pod uwagę liczbę synaps, ludzki mózg jest w stanie przesyłaćnawet 5× 1017 impulsów na sekundę (jeden impuls trwa około 1 ms). W praktyce jednakczęstotliwość aktywacji jest o wiele niższa, średnio wynosi około 2–100 Hz, zatem bardziejrzeczywista moc obliczeniowa mózgu człowieka zamyka się w przedziale od 1015 do 5×1016

impulsów na sekundę. Dla porównania, najszybszy obecnie superkomputer, chiński Tianhe-2, osiąga moc 3,4×1016 operacji na sekundę. Mózg zużywa jednak jedynie 25 W, podczas gdyTianhe-2 wymaga do zasilania 17,6 MW mocy, a wliczając chłodzenie, jego zużycie energiirośnie do 24 MW, czyli do niemal miliona razy więcej od mózgu człowieka. Porównującpodobne moce obliczeniowe wyłącznie pod kątem wydajności na jednostkę energii, mózgjest nieporównywalnie wydajniejszym komputerem.

Wszystkie obecnie komputery świata mają łącznie moc równą około 1020 operacjina sekundę (Hilbert i López, 2011). Jeśli komputery będą rozwijały się w tym tempieco dotychczas, za 40 lat na jednego człowieka będzie przypadała średnio podobna mocobliczeniowa, jaką dysponuje jego mózg – lub znacznie wcześniej, jeśli weźmie się poduwagę obiecujące, potencjalnie rewolucyjne koncepcje nanokomputerów oraz komputerówkwantowych.

Budowa neuronu

Neurony są komórkami występującymi w całym układzie nerwowym, jako, obok neurogleju,jego główny składnik. Cechuje je wysoka specjalizacja do przetwarzania i przesyłaniainformacji w postaci sygnałów nerwowych (elektrycznych). Początkowym źródłem wiedzyo aktywności elektrycznej komórek nerwowych były eksperymenty na neuronach wielkichkałamarnic. Neurony te są znacznie większe od ludzkich, więc lepiej nadawały się do badańw tamtych czasach. Eksperymenty te, polegające na podłączaniu elektrod do aksonówkałamarnicy, dostarczyły pierwszych dokładnych pomiarów potencjału błony neuronowej.


Rysunek 2.1 – Schemat budowy neuronu.

Typowy neuron składa się z trzech podstawowych części (Rys. 2.1): ciała komórki(perikarion, neurocyt), dendrytów i aksonu. Dendryty i akson nazywa się czasem wspólnieneurytami. Ze względu na zróżnicowanie funkcji jakie neurony pełnią w poszczególnychczęściach układu nerwowego, mogą występować pomiędzy nimi znaczne anatomiczneróżnice. Nie istnieją co prawda neurony bez perikarionu, niektóre neurony jednak nieposiadają neurytów (Groves i Rebec, 1992).

Ciało komórkowe jest metabolicznym centrum neuronu. Jak większość komórek orga-nicznych, zawiera jądro, przechowujące materiał genetyczny. W tym miejscu syntetyzujesię większość białek. Ciała neuronów mogą mieć średnicę od 4 do 100 µm, podczas gdyjądra od 3 do 18 µm. Dojrzałe komórki nerwowe nie ulegają podziałom – powstawanienowych neuronów (neurogeneza) u dorosłych możliwe jest wyłącznie przez specyfikacjęnerwowych komórek macierzystych (Eriksson i in., 1998; Gould i in., 1999).

Dendryty

Dendryty to niciowate, zwykle długie i silnie rozgałęzione wypustki z ciała neuronu, przezktóre odbierana jest większość pobudzających komórkę impulsów (wejściowych). Dendrytypełnią kluczową rolę w integrowaniu tych bodźców. Rozbudowana sieć dendrytów określanajest jako drzewo dendryczne. Wielkość tego drzewa różni się znacząco dla różnych neuronów,w zależności od ich funkcji i umiejscowienia w układzie nerwowym. Dendryty typowegoneuronu tworzą z innymi komórkami od 103 do 104 połączeń synaptycznych, największedrzewa dendryczne (komórek nerwowych Purkinje) tworzą do 2× 105 synaps (Purves i in.,2007; Tyrrell i Willshaw, 1992).

Dendryty niektórych neuronów pokryte są niewielkimi wypustkami, tak zwanymikolcami dendrycznymi, których szczyty wyposażone są w synapsę. Niektóre kolce tworząrozgałęzienia i zakończone są więcej niż jedną synapsą. Kolce dendryczne charakteryzują siędużą neuroplastycznością, czyli podlegają dynamicznej adaptacji (De Roo i in., 2008a). Ich


Rysunek 2.2 – Kolce dendryczne na przykładzie połączeń akson–dendryt. Dendryt z kolcami dendrycz-nymi oznaczono czarnym kolorem, akson – białym.

liczba, kształt i rozmiar potrafi się znacznie zmieniać w krótkim czasie, nawet u dorosłychosób zaobserwowano istotne zmiany strukturalne na przestrzeni kilku godzin (Robertsi in., 2010). Żywotność oraz metabolizm kolców są ściśle powiązane z intensywnościąpobudzających je bodźców (De Roo i in., 2008b). Z tego powodu pełnią znaczącą rolęw procesach uczenia się i zapamiętywania (Xu i in., 2009). Ponad 90% synaps w układzienerwowym położona jest na kolcach dendrycznych.

Wyjątkowa neuroplastyczność kolców dendrycznych musi być zrównoważona przezefektywne mechanizmy wspomagające zwiększony metabolizm w ich rejonie. Okazujesię, że kolce wyposażone są we własne rybosomy, co umożliwia im wzmożoną i szybkąsyntezę białek (Glanzer i Eberwine, 2003; McCarthy i Milner, 2003). Brak tych strukturmoże poważnie ograniczać plastyczność kolców. Prowadzi się badania sprawdzające, czynieprawidłowości i schorzenia wyższych, poznawczych czynności umysłowych, takie jakADHD, autyzm lub nawet niepełnosprawność intelektualna, mogą być spowodowanedysfunkcjami w zachowaniu i rozwoju kolców dendrycznych (Penzes i in., 2011).

Akson

Podczas gdy dendryty służą odbieraniu sygnałów pobudzających neuron, wysyłanie wła-snego impulsu na zewnątrz komórki, w odpowiedzi na wystarczająco duże pobudzeniewejściowe, realizowane jest poprzez akson – wypustkę w postaci długiego, cienkiego włókna,najczęściej silnie rozwidlonego na końcu. Końcówki aksonu, nazywane terminalami, tworząpołączenia synaptyczne z innymi neuronami. Połączenia tego typu, dendryt–akson, sąnajczęściej występującymi w całym układzie nerwowym. Każda komórka nerwowa posiadaco najwyżej jeden akson.

Długość aksonu wielokrotnie przekracza średnicę ciała komórki nerwowej. Aksonyniektórych neuronów mają długość jednego milimetra, podczas gdy innych sięgają nawetdo jednego metra. Najdłuższymi aksonami w ciele człowieka są te łączące podstawę


+++++++++++++++

Rysunek 2.3 – Schematyczny akson. Potencjał czynnościowy powstaje na wzgórku aksonu i jest przewo-dzony do synaps znajdujących się na jego zakończeniach, terminalach aksonu.

rdzenia kręgowego z czubkami dużych palców u stóp. Średnica aksonu, w odróżnieniuod zwężających się w miarę rozgałęziania dendrytów, jest stała na całej swojej długości,jednak w zależności od typu neuronu waha się od 1 do 20 µm (u największych ssaków).

Miejsce łączące akson z ciałem neuronu nazywane jest wzgórkiem aksonu. Jest to ob-szar największego zagęszczenia napięciowo zależnych kanałów sodowych (Wollner i Catterall,1986). Dlatego, jako najłatwiej pobudzana część neuronu, czyli o najniższym progu poten-cjału czynnościowego, wzgórek jest miejscem inicjacji impulsu, propagowanego następniewzdłuż aksonu do innych neuronów (Clark i in., 2009).

W przypadku długich aksonów, miejsca takiej zwiększonej koncentracji kanałówsodowych, nazywane węzłami Ranviera, występują na całej długości włókna, w równychodległościach od siebie. Pomiędzy tymi wąskimi obszarami (o długości 1–2 µm), aksonszczelnie pokrywa tłuszczowa otoczka mielinowa (o długości 50 µm–1,5 mm), zapewniającaizolację elektryczną przed kontaktem z płynem pozakomórkowym. Długie aksony z osłonkąmielinową nazywane są włóknami rdzennymi, a aksony bez osłonki to włókna bezrdzenne(Hess i Young, 1952).

W takim naprzemiennym układzie, sygnał propagowany jest wzdłuż aksonu skokowo,od węzła do węzła. Przepływ impulsu tworzy różnicę potencjałów pomiędzy kolejnymiwęzłami Ranviera. Na skutek tej różnicy, do węzła będącego w spoczynku zaczynajągwałtownie napływać jony poprzez nieizolowane kanały sodowe, co powoduje powstanie (lubreinicjację) potencjału czynnościowego w tym węźle. To tworzy z kolei różnicę potencjałówpomiędzy tym, a następnym węzłem, i tak dalej. Taki mechanizm przyspiesza propagacjęsygnału. Pokazano, że zależność długości odstępów pomiędzy węzłami i średnicy aksonu sądobrane tak, aby zmaksymalizować prędkość przepływu sygnału (Salzer, 1997). Sugeruje się,że otoczka mielinowa, poprzez usprawnienie komunikacji pomiędzy neuronami i odległymiczęściami ciała, umożliwiła rozwój większych organizmów (Hartline, 2008).

Sygnał jest propagowany wzdłuż aksonu bezstratnie i bez zaszumienia z prędkościamiod 1 do 100 metrów na sekundę (Hursh, 1939). Amplituda i kształt impulsu pozostająniezmienne podczas przesyłania przez akson. Z tego powodu, powszechnie przyjmuje się,że informacja w procesach neuronowych zawarta jest nie w pojedynczych przesyłanychsygnałach, a raczej we wzorcach tych sygnałów transmitowanych podczas całościowejaktywności na pewnym odcinku czasu (Rieke i in., 1999).


Rysunek 2.4 – Schemat budowy i mechanizmów działania synapsy chemicznej. Potencjał czynnościowy,docierając do zakończenia aksonu, aktywuje zależne napięciowo kanały wapniowe. Zmiany w stężeniujonów wapnia inicjuje pływ pęcherzyków wypełnionych cząsteczkami neuroprzekaźnika w stronę szczelinysynaptycznej. Tam neuroprzekaźnik jest uwalniany, a następnie wychwytywany przez receptory neuronuposynaptycznego. Część cząsteczek powraca jednak poprzez pompy wychwytu zwrotnego.

2.3 SYNAPSY I POTENCJAŁ CZYNNOŚCIOWY

Synapsa to miejsce komunikacji dwóch neuronów (również neuronu z komórką mięśniowąlub gruczołową): neuronu przedsynaptycznego, wysyłającego sygnał, oraz posynaptycznego,który ten sygnał odbiera. Synapsa jest więc strukturą umożliwiającą neuronom przekazy-wanie sygnałów chemicznych (synapsy chemiczne) lub elektrycznych (synapsy elektryczne).Najczęstsze synapsy pomiędzy neuronami to chemiczne połączenia akson–dendryt.

Synapsy chemiczne

W przypadku synapsy chemicznej, sygnał docierając do końcówki aksonu (terminala),powoduje otwarcie kanałów wapniowych. Zwiększona koncentracja jonów wapnia w koń-cówce aksonu inicjuje migrację pęcherzyków, zawierających substancję chemiczną zwanąneuroprzekaźnikiem, w kierunku błony komórkowej. Następnie neuroprzekaźnik uwalnianyjest do szczeliny synaptycznej. Cząsteczki neuroprzekaźnika wyłapywane są przez receptoryneuronu posynaptycznego, co powoduje otwarcie na jego błonie odpowiednich, zależnychchemicznie kanałów jonowych.

Od rodzaju otwieranych w reakcji na neuroprzekaźnik kanałów jonowych zależylokalna zmiana przepuszczalności błony neuronu posynaptycznego. Jako że wewnątrzkomórki stężenie jonów jest inne niż na zewnątrz, powoduje to krótkotrwałą wymianęjonów między neuronem a płynem pozakomórkowym, co w efekcie zmienia chwilowopotencjał elektryczny błony w pewnym ograniczonym sąsiedztwie kanałów, przez którenastępowała ta wymiana. Jeżeli powoduje to zwiększenie potencjału (depolaryzacja) błony,neuroprzekaźnik nazywamy pobudzającym (ang. excitatory); jeżeli obniżenie potencjału(re- oraz hiperpolaryzacja) – hamującym (inhibitory).


Rysunek 2.5 – Potencjał czynnościowy jest krótkotrwałym impulsem elektrycznym o amplitudzie około100 mV. Inicjowany jest gdy potencjał błony komórkowej, powodowany napływem jonów Na+, prze-kroczy próg pobudliwości. Po gwałtownej de- i repolaryzacji, następuje hiperpolaryzacja, gdy potencjałbłony spada poniżej poziomu spoczynkowego. Zanim potencjał ostatecznie wróci do normy, błonakomórkowa jest znacznie mniej pobudliwa, co nazywane jest okresem refrakcji.

Głównym neuroprzekaźnikiem pobudzającym jest kwas glutaminowy, który pośred-niczy w 80-90% chemicznej komunikacji pomiędzy neuronami. Inne neuroprzekaźnikipobudzające to: acetylocholina, noradrenalina, adrenalina, dopamina, serotonina, hista-mina. Głównym neuroprzekaźnikiem hamującym jest kwas γ-aminomasłowy (GABA),pośredniczący w 90% wszystkich reakcji hamujących. Inne neuroprzekaźniki hamujące to:glicyna i peptydy opioidowe (Doussau i Augustine, 2000; Schwappach, 2008).

Potencjał czynnościowy

Odpowiednio duży wzrost potencjału błony (co najczęściej wymaga współpracy wielupobudzających synaps w tym samym czasie), do pewnej wartości potencjału progowego,powoduje nagłe otworzenie napięciowo zależnych kanałów sodowych, inicjując powstaniepotencjału czynnościowego. Taki gwałtowny sygnał rozprzestrzenia się po błonie całegoneuronu, aż do wzgórka aksonu – po przejściu wzdłuż aksonu przekazywany jest kolejnymneuronom poprzez synapsy, w tym samym procesie (Bullock i in., 1977).

Amplituda potencjału czynnościowego jest stała, niezależnie od tego jak gwałtownareakcja synaptyczna go wywołała (Rys. 2.5). Potencjał czynnościowy nazywany jestsygnałem typu wszystko, albo nic, gdyż albo powstaje w swej pełnej formie, albo wcale.Intensywność bodźców pobudzających neuron może jednak wpłynąć na częstotliwośćgenerowanych potencjałów czynnościowych. Impuls dzieli się na dwie, trwające około 1 ms,fazy: pierwszą, fazę depolaryzacji, kiedy potencjał błony komórkowej neuronu wzrasta odpoziomu potencjału spoczynkowego, około −70 mV, do maksimum, około +40 mV; orazdrugą, fazę repolaryzacji, gdy potencjał błony z powrotem maleje (Purves i in., 2007).

Kanały jonowe, otwarte podczas potencjału czynnościowego, nie reagują jednaknatychmiastowo, dlatego potencjał błony po impulsie spada chwilowo poniżej poziomuspoczynkowego, do wartości równej około −80 mV. Spadek ten określa się jako hiperpola-


Rysunek 2.6 – Synapsa elektryczna – budowa i działanie. Neurony przed- i posynaptyczny położone sąna tyle blisko siebie, że komunikacja między nimi nie wymaga neuroprzekaźnika. Sygnał przekazywanyjest bezpośrednio przy pomocy koneksonów, specjalnych kanalików białkowych.

ryzację, a okres równoważenia stężenia jonów, trwający od jednej do kilku milisekund –okresem refrakcji lub po-hiperpolaryzacją (Hardin i in., 2011). Podczas refrakcji stymulowa-nie neuronu do kolejnego pobudzenia jest mocno utrudnione. Natomiast w trakcie trwaniapotencjału czynnościowego błona komórkowa jest całkowicie niepobudliwa. Mechanizm tenpowoduje, że potencjał czynnościowy może przenosić się wzdłuż aksonu tylko w jednymkierunku (Bullock i in., 1977).

Pierwszy model oparty na obserwacjach elektrochemicznych zachowania neuronu,opisujący dynamikę kanałów jonowych, opracowali Hodgkin i Huxley (1952a). Mimo żemodeluje jedynie specyficzny akson (powstał jako wynik eksperymentów nad tak zwanymolbrzymim aksonem kałamarnicy), w którym kanały sodowe i potasowe działają niezależnieod siebie, okazał się przełomem (Sekcja 3.2, Rys. 3.1C). W rzeczywistości na potencjałczynnościowy może mieć wpływ więcej kanałów (Gerstner i Kistler, 2002; Waxman, 2007),niekoniecznie działających niezależnie od siebie (Naundorf i in., 2006).

Synapsy elektryczne

W synapsach elektrycznych sygnał przekazywany jest pomiędzy neuronami bez pośrednic-twa chemicznego neuroprzekaźnika. W strukturze takiej synapsy nie występuje szczelinasynaptyczna, odległość pomiędzy błonami neuronów przedsynaptycznego i posynaptycznegojest na tyle mała (około 2–3.5 nm, w porównaniu do 20–40 nm w synapsach chemicznych),że możliwe staje się przekazywanie impulsów bezpośrednio (Hormuzdi i in., 2004).

Taka komunikacja jest znacznie szybsza, jednak umożliwia jedynie prostą komunikację– w odróżnieniu od synaps chemicznych, gdzie reakcja zależy od neuroprzekaźnika. Synapsyelektryczne znajdują zastosowanie w systemach obronnych organizmu, gdzie wymagana jestreakcja odruchowa. Tego typu połączenia występują na przykład w mięśniach, w siatkówceoka i nerwie wzrokowym, w niektórych częściach serca, oraz w korze mózgowej. Synapsyelektryczne umożliwiają komunikację dwukierunkową, choć niektóre ograniczają ją dojednokierunkowej (Kandel i in., 2012). Do pewnego stopnia wykazują plastyczność (Haasi in., 2011). Obecnie znane są nie tylko pojedyncze połączenia tego typu, ale również dużestruktury sieci połączonych w ten sposób neuronów (Connors i Long, 2004).


2.4 NEUROPLASTYCZNOŚĆ

Neuroplastyczność, zwana również plastycznością mózgu, odnosi się do zmian w połącze-niach sieci neuronów oraz synapsach w mózgu na skutek aktywności lub doświadczenia,zmian w zachowaniu, w środowisku lub wynikających z uszkodzeń ciała. Zazwyczaj wy-różnia się plastyczność synaptyczną, związaną z samą tylko aktywnością synaps, orazplastyczność niesynaptyczną.

Przez większość 20. wieku mózg był postrzegany jako niezmienny strukturalnie odmomentu osiągnięcia przez organizm dojrzałości. Okazało się jednak, że neuroplastycznośćjest procesem zachodzącym w organizmie w ciągu całego jego życia, przy czym termin tenmoże dotyczyć zmian na wielu poziomach: od zmian komórkowych w efekcie uczenia się,do wielkoskalowych strukturalnych przebudowań połączeń nerwowych w odpowiedzi naprzykład na fizyczne urazy (Pascual-Leone i in., 2005; Rakic, 2002).

Historycznie, pierwsze obserwacje świadczące o plastyczności mózgu opisał polskineurofizjolog Jerzy Konorski (1948), który również zaproponował dla tego zjawiska obec-nie funkcjonującą, przyjętą nazwę. Zauważył on, że przypadkowe interakcje pomiędzyneuronami mogą powodować utworzenie trwałych połączeń pomiędzy tymi komórkami,wzmacnianych w miarę częstości używania.

Podobne obserwacje opisano w tym samym czasie również na zachodzie – DonaldHebb (1949) zauważył wzmacnianie się połączeń pomiędzy neuronami, które częściejaktywują się wspólnie. Powtarzająca się komunikacja impulsów pomiędzy neuronami(długotrwale) wzmacnia przewodnictwo synaptyczne; brak takiej komunikacji prowadzinatomiast do osłabienia połączeń synaptycznych. Wzmacnianie synaps zależy od obuneuronów: przedsynaptycznego (ang. pre-synaptic) i posynaptycznego (post-synaptic).Jego teoria, nazywana dziś teorią synaps Hebba lub teorią uczenia Hebba, jest obecniepowszechnie akceptowanym wyjaśnieniem mechanizmu uczenia się jako adaptacji siecineuronów – powstawanie sieci neuronów o zwiększonym przewodnictwie jest podstawąuczenia się i zapamiętywania. Odkrycia Konorskiego i Hebba pozwoliły wyraźnie zauważyćzwiązek, ówcześnie jeszcze podważany, biologicznych funkcji mózgu z wyższymi funkcjamiumysłu.

Wykorzystanie w praktyce

Literatura opisuje wiele przykładów adaptacji mózgu, które można wyjaśnić w ramachneuroplastyczności. Znane są przypadki osób po udarach, z uszkodzonym zmysłem równo-wagi, które odzyskały zdolność swobodnego ruchu po zastosowaniu odpowiedniej kuracjineurologicznej. Paul Bach-y-Rita, amerykański neurofizjolog, wyposażał pacjentów z zabu-rzeniami lub zanikami równowagi w specjalne urządzenia, które stymulowały ich mózgisygnałami równowagi gdy ci ją tracili. Taka aktywna pomoc początkowo pozwalała pa-cjentom nauczyć się reagować na te bodźce i utrzymywać równowagę. Po upływie kilkutygodni użytkowania urządzeń, mózgi pacjentów, wytwarzając całkiem nowe połączenianerwowe, adaptowały się do powtarzającego się wzorca tej nowej stymulacji i w ten sposóbwspomaganie zewnętrzne przestawało być potrzebne – zmysł równowagi powracał (Doidge,2007).

Ciekawym przykładem plastyczności mózgu jest u ludzi wyuczona zdolność do wyko-rzystywania echolokacji. Echolokacja jest umiejętnością lokalizacji obiektów znajdujących


się w otoczeniu za pomocą słuchu: osoba wykorzystuje w tym celu echo wydawanych przezsiebie dźwięków (uderzanie językiem o podniebienie, klaskanie, kroki), odbite od przeszkód.Dzięki tej metodzie, doświadczone osoby mogą oceniać odległość od obiektu, jego wielkość,kształt oraz relatywny kierunek ruchu (Stroffregen i Pittenger, 1995). Ta forma adaptacjiukładu nerwowego obserwowana jest głównie wśród ludzi niewidomych – do echolokacjiprzystosowują się u nich części mózgu związane z przetwarzaniem wizualnym (Thaler i in.,2010, 2011). Pokazano jednak, że osoby widzące mogą zaskakująco szybko nauczyć sięecholokacji z pomocą doświadczonego eksperta (Teng i Whitney, 2011). Przeprowadzonoeksperymenty pokazujące, że osoby niewidome używające echolokacji mogą radzić sobielepiej od osób widzących z niektórymi z codziennych czynności, takimi jak na przykładocena odległości do przeszkód (Schenkman i Nilsson, 2010, 2011).

Innym przykładem są zmiany w mózgu wywołane praktykowaniem medytacji. Wynikiwskazują, że medytacja wpływa na aktywność w wielu obszarach mózgu, związanychmiędzy innymi z uwagą lub koncentracją. Sugeruje się, że zmiany funkcjonalne w efekciedługotrwałych praktyk medytacyjnych są odbiciem fizycznych zmian w strukturze mózgu(Lazar i in., 2005; Lutz i in., 2004). Potwierdzają to badania przeprowadzone we współpracyz Dalajlamą (Davidson i Lutz, 2008).

Interfejs mózg–maszyna

Jednymi z najciekawszych badań wykonywanych na gruncie neuroplastyczności są tezmierzające ku opracowaniu tak zwanego interfejsu mózg-maszyna (ang. brain–machineinterface, BMI). BMI należy rozumieć jako technologiczne medium (kanał bezpośredniejkomunikacji) łączące mózg z pewnym urządzeniem zewnętrznym, umożliwiające sterowanietym urządzeniem za pomocą umysłu, czyli samą myślą, bez użycia mięśni. Celem badańnad BMI jest usprawnienie, naprawa, wspomaganie lub zastąpienie ludzkich zmysłów orazczynności motorycznych (Miranda i Brouse, 2005; Vidal, 1973).

Interesującym przykładem prac nad rozwojem BMI są badania zespołu MiguelaNicolelisa. W swoim eksperymencie nauczyli małpę obsługiwać prostą grę komputerową.Ruch na ekranie sterowany był przez niewidoczny grającemu zwierzęciu pneumatycznysiłownik. W pierwszej fazie doświadczenia, małpa kontrolowała siłownik używając ręcz-nego dżojstika. Naukowcy w tym czasie, za pomocą podłączonych małpie podczas gryelektrod, rejestrowali aktywność stu wybranych neuronów, aż na ich podstawie mogliodtworzyć schematy wszystkich ruchów zwierzęcia. Następnie, kontrola nad siłownikiemzostała przekazana opracowanemu modelowi tych schematów – w ten sposób już nie dłońmałpy, ale aktywność jej mózgu kontrolowała siłownik. Od tej chwili, aktywność neuronówwykazywała coraz mniejsze podobieństwo do ruchów dłoni obsługującej dżojstik, natomiastszybko zaczęła coraz bardziej bezpośrednio odzwierciedlać ruchy samego siłownika. Popewnym czasie, małpa puszczała dżojstik, kontynuując jednak obsługiwanie siłownika.Doświadczenie powtarzano dla wielu małp z tym samym skutkiem. Eksperyment pokazałzatem adaptację części neuronów do odwzorowania behawioralnie istotnych parametrówruchu, niezwiązanych jednak z siłą własnych mięśni zwierzęcia.

Naturalne wydaje się pytanie o możliwości ilościowego opisu zjawisk i procesówzwiązanych z pojęciem neuroplastyczności. Z pomocą przychodzi tu teoria informacji,która dostarcza efektywnych narzędzi do oceny efektywności transmisji informacji komu-nikowanych pomiędzy neuronami, wewnątrz sieci neuronów lub na przeciwnych końcach


interfejsów mózg-maszyna oraz mózg-mózg. Teoria informacji z powodzeniem służy jakoobiektywna miara zmian zachowania w reakcji na określone bodźce oraz zmian zachodzą-cych podczas procesu uczenia się. Wiele z tych procesów można wyjaśnić jako dążące dooptymalizacji transmisji informacji (Chechik, 2003; Lindner i in., 2009; Rieke i in., 1999;Rotman i in., 2011; Scott i in., 2012).

Badania zjawiska neuroplastyczności i jego właściwości wydają się szczególnie intere-sujące jako istotny krok w kierunku zrozumienia zależności pomiędzy fizycznymi funkcjamimózgu, takimi jak relacje pomiędzy pojedynczymi neuronami tworzącymi wielkoskalowestruktury sieci w różnych częściach mózgu, a wyższymi procesami umysłowymi charak-teryzującymi człowieka, między innymi myślenie, percepcja, rozumowanie i inne procesykognitywistyczne.

3MATEMATYCZNE MODELE NEURONU

Integrate-and-fire 17: Koncepcja. Model podstawowy, Leaky integrate-and-fire, Co z impulsami? • Model Hodgkina–Huxleya 20: Oryginalne badania,Dynamika jonów, Kanały zależne napięciowo, Model – opis matematyczny• Sztuczne neurony i sieci 24: Perceptron. Neuron McCullocha–Pi�sa,Samoorganizacja. Sieci Kohonena • Model Levy–Baxter 27: Przepływinformacji • Modelowanie mózgu 29

Model neuronu to matematyczny opis komórki nerwowej. W opracowanych do tej porywyróżnić można dwie podstawowe grupy: modele biologiczne oraz sztuczne neurony.

Pierwsza grupa zawiera modele stworzone z zamysłem pogłębiania wiedzy o naturzerzeczywistych komórek nerwowych oraz zbudowanych z nich sieci. Badania prowadzonez ich użyciem służą precyzowaniu opisu właściwości neuronów; celem jest przewidywaniei kontrola procesów biologicznych. Wyróżnia nacisk położony na dynamikę przepływającychprzez komórkę strumieni jonów, zmiany potencjału błony komórkowej oraz mechanizmy po-wstawania potencjału czynnościowego. Podstawowy model w tej grupie to integrate-and-fire(Sekcja 3.1). Historycznie pierwszym, w pełni opartym na badaniach elektrofizjologicznychkomórek nerwowych, jest model Hodgkina–Huxleya (Sekcja 3.2).

Podstawą opisu w drugiej grupie modeli (Część 3.3) są wagi skojarzone z poszczegól-nymi wejściami, oraz funkcja aktywacji, przetwarzająca sumę ważonych wejść na pojedynczewyjście. Modele tego typu znajdują zastosowanie przede wszystkim przy rozwiązywaniu roz-maitych problemów algorytmicznych, w automatyce i robotyce oraz systemach eksperckich.W odróżnieniu od biologicznych modeli, tutaj dużo uwagi poświęca się efektywności obli-czeń, ograniczaniu złożoności czasowej, optymalizacji. Interdyscyplinarna nauka zajmującasię modelowaniem tych komórek nazywa się Sztuczne Sieci Neuronowe.

Istnieją również modele hybrydowe, łączące oba podejścia i cele. Takim modelemjest przykładowo model Levy–Baxter (2002). Ten właśnie model neuronu używany jestw badaniach opisanych w tej rozprawie (Część 3.4).

W kolejnej Sekcji, 3.5, opisano uproszczony model mózgu, tak zwany brain–like. Jestto specyficzna pierścieniowa sieć neuronowa, modelująca w jednej architekturze szeregskładników obecnych w strukturach rzeczywistego mózgu, między innymi współdziałanieneuronów excitatory i inhibitory lub efekty działania tak zwanych połączeń long–range.Wyznaczenie optymalnych parametrów transmisji informacji w sieciach tego typu, zbu-dowanych z komórek modelowanych metodą Levy–Baxter, stanowi główny przedmiotbadawczy tej pracy.

16

MATEMATYCZNE MODELE NEURONU 17

3.1 INTEGRATE-AND-FIRE

Modele z rodziny integrate-and-fire należą do najprostszych, ale też najczęściej używanych.W opracowaniach naukowych pojawiły się jako jedne z najwcześniejszych, już na początkuXX wieku. Pierwszy badał je Louis Lapicque (1907), o czym jednak na długo zapomniano.Przez ponad 80 lat funkcjonowały w świadomości akademickiej jako swoisty elementfolkloru zanim ich zasłużonego wynalazcę przypomniał szerzej Henry Tuckwell (1988).

Pomimo, że sprawdzają się głównie w analizie potencjałów podprogowych, zaliczanesą do grupy modeli impulsowych (ang. spiking models). Z biofizycznego punktu widzenia,potencjały czynnościowe są efektem prądów płynących przez kanały jonowe w błoniekomórek nerwowych. Modele integrate-and-fire skupiają się właśnie na dynamice tychprądów i wynikającymi z nich zmianami potencjału błony (Gerstner i Kistler, 2002).Dlatego, mimo licznych uproszczeń, modele te są w stanie uchwycić sedno zachowanianeuronów w ujęciu systemów dynamicznych (Bezzi i in., 2004; Breen i in., 2003). Są równieżużyteczne w analizie, na przykład do dowodzenia twierdzeń (Izhikevich, 2007).

Koncepcja. Model podstawowy

Koncepcja jest następująca: wejściowy strumień jonów I(t) depolaryzuje błonę komórkowąneuronu, zwiększając jej potencjał elektryczny V.Wzrost potencjału ponad pewną ustalonąwartość Vthr powoduje wytworzenie potencjału czynnościowego – impuls w postaci deltyDiraca – po czym potencjał błony zerowany jest do poziomu spoczynkowego V0 (Rys.3.1A).

Równanie dynamiki neuronu wyprowadzamy z fizycznej zależności pomiędzy wielko-ściami elektrycznymi charakteryzującymi komórkę w danej chwili t. Błona komórkowa, nielicząc kanałów jonowych, jest nieprzepuszczalna. Izolowany od płynu pozakomórkowegoneuron jest zatem kondensatorem, gromadzącym ładunek elektryczny Q = C V, gdzie Coznacza jego pojemność elektryczną. Wielkość tego ładunku zmienia się w czasie wrazz napływem jonów: I(t) = dQ

dt . Zatem

I(t) = CdVdt . (3.1)

Model można usprawnić wprowadzając po każdej repolaryzacji tak zwany okresrefrakcji. Podczas trwającej tref refrakcji błona komórkowa staje się niepobudliwa, uniemoż-liwiając inicjowanie kolejnych aktywacji. Uzupełnienie to odpowiada fazie hiperpolaryzacji,następującej po przejściu potencjału czynnościowego (po repolaryzacji), czyniąc modelbardziej realistycznym.

Z zależności (3.1) wynika, że częstotliwość aktywacji tak zamodelowanego neuronu(ang. firing rate) rośnie liniowo bez ograniczeń wraz z natężeniem prądu wejściowego I(t).Tym samym każdy sygnał wejściowy, o ile nie podniesie potencjału V ponad poziomaktywacji Vthr, zostanie zapamiętany do czasu wytworzenia kolejnego impulsu, kiedy topotencjał błony komórkowej jest zerowany do wartości spoczynkowej V0. Jednak rzeczywistekomórki nerwowe zachowują się inaczej, tracą podprogową ekscytację wraz z upływemczasu. Jeśli neuron nie jest pobudzany przez odpowiednio długi czas, potencjał jego błonywraca do poziomu spoczynkowego, jako poziomu równowagi.


Leaky integrate-and-fire

Leaky integrate-and-fire (Rys. 3.1B) jest nazwą rozszerzonego modelu, w którym opisanywyżej problem (pamięci niezależnej od czasu) rozwiązano wyposażając błonę komórkowąw tak zwane ujście (ang. leak). Mechanizm ten powoduje dyfundowanie jonów w kierunkuobniżenia potencjału V (t) do poziomu spoczynkowego V0, lub innego, jednak takiego, że:V0 ¬ Vleak < Vthr (Izhikevich, 2007; Stein, 1967; Tuckwell, 1988).

Odbywa się to poprzez dodanie do układu (równanie 3.1) składnika związanegoz nowym, przeciwnym (w sensie zmian potencjału) strumieniem jonów. Oznaczmy po-przedni prąd przez IC(t) = C dV

dt , a nowy przez IR(t). Oba prądy płyną jednocześnie i sąniezależne od siebie, zatem: I(t) = IR(t) + IC(t). Odpowiada to układowi kondensatoraC (sprzyjającemu aktywacji) połączonego równolegle z opornikiem R (utrudniającymaktywację). Z prawa Ohma: IR(t) = V (t)/R. Zatem

I(t) = V (t)R

+ CdVdt . (3.2)

Model z ujściem również jednak nie jest bez wad. Z równania (3.2) wynika, żedla każdego prądu wejściowego I < IR niemożliwe jest przekroczenie progu aktywacjiVthr. Innymi słowy, I(t) musi pokonać barierę IR = V/R w celu wzbudzenia komórki dowytworzenia potencjału czynnościowego. To sprawia, że częstotliwość aktywacji neuronuzbiega do tej obserwowanej w podstawowej wersji modelu z okresem refrakcji (Koch i Segev,1998).

Co z impulsami?

Integrate-and-fire zaliczany jest do rodziny tak zwanych impulsowych (czasem iglicowych)modeli neuronów, jako najprostszy, podstawowy jej przedstawiciel. Należy jednak zauważyć,że model ten w żaden sposób nie opisuje dynamiki potencjału czynnościowego, czylispecyficznego kształtu nagłego wzrostu i następnie spadku potencjału w tej krótkiej chwili.W momencie przekroczenia wartości progowej Vthr powstały impuls przybliża bowiem tutajdelta Diraca, wskazując zaledwie czas wystąpienia sygnału, po czym potencjał od razuwraca do stanu spoczynkowego V0. Zatem integrate-and-fire modeluje jedynie potencjałybłony poniżej progu aktywacji Vthr.

Uproszczenie lub pominięcie opisu potencjałów czynnościowych nie musi jednak wy-kluczać możliwości praktycznego wykorzystania modelu. Wiadomo bowiem, że powstająceimpulsy zachowują niemal identyczne kształty; potencjał czynnościowy określany jest jakosygnał typu wszystko, albo nic, gdyż albo powstaje w swej pełnej formie, albo wcale (patrzCzęści 2.2 oraz 2.3). Jeśli zatem precyzyjny opis impulsów nie jest swoistym celem modelo-wania, wówczas wskazanie jedynie momentów ich powstania może okazać się całkowiciewystarczające (Dayan i Abbott, 2005; Gerstner i Kistler, 2002; Purves i in., 2007).

Mimo to podjęto kilka udanych prób takich modyfikacji modelu, by skutecznie opisaćrównież dynamikę nadprogową komórki nerwowej. Zwykle oznacza to rozszerzenie dopewnej formy nieliniowej. Przykładem takiego podejścia jest model quadratic integrate-and-fire, który, przynajmniej częściowo, charakteryzuje również potencjały czynnościowe (Feng,2001; Hansel i Mato, 2001; Hoppensteadt i Izhikevich, 1997; Izhikevich, 2007; Latham i in.,2000).


Rysunek 3.1 – Porównanie modeli A, integrate-and-fire, B, leak integrate-and-fire (Sekcja 3.1) oraz C,Hodgkina–Huxleya (Sekcja 3.2).


3.2 MODEL HODGKINA–HUXLEYA

Historycznie, opublikowany w 1952 model Hodgkina–Huxleya jest pierwszym tak złożonym(Rys. 3.1). Powstał po serii eksperymentów na olbrzymim aksonie kałamarnicy, rozpo-czętych jeszcze w latach 30. XX wieku, wykorzystujących pionierskie wówczas metodypomiaru parametrów elektrycznych pobudliwych błon. Udało im się najpierw dokonaćzapisu potencjału czynnościowego (Hodgkin i Huxley, 1939), a następnie szczegółowo opisaćmechanizmy jonowe, tłumaczące impulsową aktywność komórek nerwowych (Hodgkini Huxley, 1952a).

Oryginalne badania

Hodgkin i Huxley nieprzypadkowo wybrali do swoich doświadczeń właśnie olbrzymie aksonykałamarnic. Średnice tych aksonów dochodzą do 1mm, wartości stukrotnie większej odprzeciętnych kręgowców. Aksony tej grubości przewodzą sygnały elektryczne znacznieszybciej, co jest ewolucyjnym przystosowaniem kałamarnic skracającym czas reakcjii ułatwiającym ucieczkę (Shepherd, 2004).

Przeprowadzenie eksperymentu stało się dla Hodgkina i Huxleya możliwe z dwóchpowodów. Pierwszym były właśnie odpowiednie rozmiary badanych komórek; drugim– wykorzystanie właściwych technik pomiarowych. Ich pomysł polegał na połączeniuolbrzymiego aksonu kałamarnicy z elektrodami w innowacyjnym wówczas układzie voltageclamp (Bear i in., 2007; Huxley, 2002; Kandel i in., 2012). Mierząc napięcia na błoniekomórkowej udało im się ustalić pływy trzech głównych prądów jonowych. Pierwsze dwaprądy, jonów Na+ oraz K+, okazały się wyraźnie zależeć od potencjału błony; trzeci toujście Ileak, przenoszony głównie przez jony Cl−.

Wyniki i wnioski z pomiarów – opisane szczegółowo w serii artykułów w Journal ofPhysiology (Hodgkin i Huxley, 1952a,b,c,d) – pozwoliły sformułować nagrodzoną Noblemhipotezę kanałów jonowych jako mechanizmu wyjaśniającego powstawanie w komórkachnerwowych potencjałów czynnościowych. Badania potwierdzające tę hipotezę równieżnagrodzono Noblem – w roku 1991 dla Erwina Nehera i Berta Sakmanna, oraz w 2003 dlaRodericka MacKinnona (Schwiening, 2012).

Dynamika jonów

Neurony, jak wszystkie komórki żywe, oraz przestrzeń międzykomórkowa wypełnione sąpłynem zawierającym ogromne ilości swobodnych cząsteczek różnego typu. Skład chemicznyobu tych środowisk, oddzielonych od siebie błonami komórkowymi, zwykle całkowicienieprzepuszczalnymi, różni się od siebie. Te różnice dotyczą również posiadających ładunekelektryczny jonów. Płyn pozakomórkowy zawiera duże ilości Na+, Cl−, oraz relatywniesporo Ca2+; wnętrze neuronu to przede wszystkim jony K+ oraz duże cząsteczki o ładunkuujemnym, oznaczane A− (Tabela 3.1).

Wskutek tych różnic powstają dwie siły napędzające całą aktywność elektrycznąneuronów. Pierwszą jest elektrochemiczny gradient związany z różnicami w koncentracjijonów danego typu po obu stronach błony komórkowej – inaczej, jest to termodynamicznedążenie do równowagi stężeń. Druga siła ma charakter elektrostatyczny – jest wynikiemodizolowania przez błonę ładunków elektrycznych o różnych znakach, skumulowanych po


Tabela 3.1 – Koncentracje jonów w neuronach i w płynie pozakomórkowym, podane w milimolach.Jony A− to duże cząsteczki o ujemnym ładunku, dla których błona komórkowa jest nieprzepuszczalna.Kanały jonowe na błonie umożliwiają pozostałym wymienionym jonom warunkowe przemieszczanie siędo komórki i na zewnątrz niej (Johnston i Wu, 1995; Squire i in., 2008).

Na+ K+ Cl− Ca2+ A−

Wnętrze neuronu 18 135 7 0,0001 147Płyn pozakomórkowy 150 3 120 1,2 25

obu jej stronach. Ruch jonów w dół tych gradientów, przekraczając barierę błony, jestmożliwy dzięki znajdującym się na błonie komórkowej kanałom jonowym.

Przykładowo, jony K+ dyfundują poza komórkę gdyż ich koncentracja wewnątrzneuronu jest większa niż na zewnątrz. Powoduje to zmianę ładunku elektrycznego wewnątrzkomórki – wytworzona w ten sposób różnica potencjałów skutkuje powstaniem skierowanegoprzeciwnie prądu. Gdy w pewnym momencie obie siły równoważą się, wypadkowy prądjest równy zero – nazywamy to potencjałem równowagowym (Hille, 2001; Tuckwell, 1988).

Potencjały równowagowe dla poszczególnych jonów istotnie różnią się wartościami;oznacza się je: ENa, EK, ECa, ECl. Podobnie oznacza się prądy tych jonów. Gdy potencjałbłony komórkowej V ma wartość równowagową dla któregoś z nich, wtedy jego wypadkowyprąd jest równy zero. Przykładowo dla jonów potasu: V = EK ⇒ IK = 0; w przeciwnymrazie prąd jest proporcjonalny do różnicy potencjałów:

IK = gK (V − EK), (3.3)

gdzie gK określa konduktancję K+ (inaczej przewodność, odwrotność oporności). Prądjonowy o stałej konduktancji, czyli spełniający prawo Ohma, nazywamy omowym lubliniowym. Takim prądem jest przykładowo ujście w modelu integrate-and-fire.

Jako że błona komórkowa posiada kanały przystosowane do transportu różnych jonów,całkowity prąd, zgodnie z prawem Kirchhoffa, jest sumą prądów składowych Ii:

I = CddtV (t) +

∑i

Ii, (3.4)

gdzie pierwszy składnik związany jest z pojemnością błony (patrz Równanie 3.1). Potencjałspoczynkowy V0 (lub Vrest) błony jest zatem osiągany gdy ten wypadkowy prąd, do wewnątrzi na zewnątrz, jest równy zero – oraz, w konsekwencji, dV

dt = 0 ponieważ potencjałnie zmienia się gdy prądy są równoważone. Potencjał spoczynkowy większości komóreknerwowych utrzymuje się na poziomie około −70 mV. Przyjmuje się, że potencjał nazewnątrz komórek równy jest zero (Dayan i Abbott, 2005).

W utrzymaniu potencjału spoczynkowego pomagają pompy sodowo-potasowe (Skou,1957). Ich działanie polega na wymianie jonów sodu z wnętrza komórek na jony potasuz płynu pozakomórkowego. Co każde 10 ms pompa oddaje trzy jony Na+, biorąc dwa jonyK+, obniżając łączny dodatni ładunek błony. Praca pomp wymaga jednak stałego dopływuglukozy i tlenu, zużywając w przypadku neuronów znaczne ilości energii (Howarth i in.,2012). Pełnią one jednak istotną rolę w kontroli objętości komórki (Guyton, 2006).


Rysunek 3.2 – Struktura i stany aktywności zależnego napięciowo kanału jonowego na przykładziekanału sodowego: A, kanał zamknięty, nieaktywny ; B, kanał otwarty, aktywny ; C, kanał zamknięty, za-blokowany (ang. inactive). Obie bramki, aktywacji oraz blokady (reagująca z opóźnieniem), uruchamianesą dzięki mechanizmowi wrażliwych na zmiany potencjału czujników napięcia. Filtry jonowe sprawiają,że przez otwarty kanał przepuszczane są wyłącznie wybrane jony – w tym przypadku Na+. Schematwzorowany na Armstrong i Hille (1998), Armstrong (2006) oraz Izhikevich (2007).

Kanały zależne napięciowo

Zazwyczaj prądy jonowe nie spełniają prawa Ohma. Konduktancja kanałów jonowych w ko-mórkach nerwowych zwykle nie jest stała, zależy od potencjału elektrycznego błony. Takiekanały nazywamy zależnymi napięciowo. To dzięki ich aktywności powstają potencjałyczynnościowe. W opisie tych kanałów tradycyjnie stosuje się nomenklaturę wprowadzonąprzez Hodgkina i Huxleya.

Kanały zależne napięciowo kontrolują swoją przewodność przy użyciu bramek (ang.gates), otwierając je lub zamykając w odpowiedzi na lokalne zmiany potencjału błony. Talokalność sprawia, wraz z innymi czynnikami, że przejścia pomiędzy stanami pojedynczegokanału (otwarty lub zamknięty) mają charakter stochastyczny (Hille, 2001) – jednak biorącpod uwagę dużą grupę kanałów wypadkowy prąd można opisać jako

I = g p (V − E), (3.5)

gdzie g jest maksymalną konduktancją grupy, a p średnią proporcją otwartych kanałów.W kanałach zależnych napięciowo istnieją dwie grupy bramek: aktywujące (ang.

activation gate), które otwierają kanał, oraz blokujące (inactivation gate), zamykające go.Kanały, które nie posiadają bramek blokujących, skutkują prądami jonów nazywanymitrwałymi (ang. persistent); te, które posiadają bramki blokujące – prądami przejściowymi(transient). Schemat budowy i działania kanału wyposażonego w bramki blokujące ilustrujeRysunek 3.2. Proporcję otwartych kanałów tego typu w dużej grupie opisuje wzór

p = ma hb, (3.6)

gdzie m i h są prawdopodobieństwami otwarcia bramki aktywującej i blokującej, natomiasta i b są odpowiednio liczbami tych bramek, przypadającymi na kanał. Dynamikę tychzmiennych opisują wzory:

ddtm(t) = m∞(V )−m

τm(V ) , (3.7)


Rysunek 3.3 – Potencjał czynnościowy w modelu Hodgkina–Huxleya.

ddth(t) = h∞(V )− h

τh(V ) , (3.8)

przy czym funkcje występujące po prawej stronie równań wyznaczane są eksperymentalnie.Funkcje aktywacji m∞(V ) i blokująca h∞(V ) są funkcjami sigmoidalnymi, natomiast stałeczasowe τ(V ) unimodalnymi (Hodgkin i Huxley, 1952a; Korngreen i Sakmann, 2000).

Model – opis matematyczny

Przeprowadzone pomiary napięcia na błonie komórkowej aksonu kałamarnicy, pozwoliłyHodgkinowi i Huxleyowi zaobserwować aktywność trzech głównych prądów jonowych.Pierwszy to przejściowy, zależny napięciowo prąd jonów Na+, z trzema bramkami akty-wującymi i jedną blokującą (stąd pNa = m3 h). Drugi to trwały, zależny napięciowo prądjonów K+, z czterema bramkami aktywującymi (pK = n4). Ostatni to omowe ujście Ileak,przenoszony głównie przez jony Cl−.

Dynamikę zmian potencjału na błonie komórkowej neuronu modeluje następującyukład równań różniczkowych, powstały z połączenia wzorów: 3.4 opisującego prądy płynąceprzez błonę, 3.6 dla liczby kanałów aktywujących i blokujących, oraz 3.7 i 3.8 dla zmiennychbramkowych n, m i h:

CddtV (t) = I − gNa m

3 h (V − ENa)− gK n4 (V − EK)− gleak (V − Eleak) (3.9)


ddtn(t) = n∞(V )− n

τn(V ) (3.10)

ddtm(t) = m∞(V )−m

τm(V ) (3.11)

ddth(t) = h∞(V )− h

τh(V ) , (3.12)

przy czym wartości parametrów używanych w modelu są następujące: gNa = 1,2 mS/mm2,gK = 0,36 mS/mm2, gleak = 0,003 mS/mm2, ENa = 50 mV, EK = −77 mV, Eleak = −54,387mV (Dayan i Abbott, 2005).

Ewolucję potencjału czynnościowego w modelu Hodgkina–Huxleya ilustruje Rysunek3.3. Potencjał spoczynkowy błony komórkowej V0 oznacza równoważenie się co do wartościładunków prądów wejściowych i wyjściowych; poziom ten jest stabilny. Pobudzenie błonyniewielkim prądem (Rysunek 3.1) skutkuje małym wahnięciem potencjału. Większy bodziecjest natomiast znacznie wzmacniany (przewodność błony zależy od V ), prowadząc dopowstania potencjału czynnościowego.

Tak duża depolaryzacja skutkuje wyraźnymi zmianami zmiennych aktywacji n, moraz h. Zmienna m, opisująca aktywację kanałów Na+ skacze nagle z poziomu zerowego(gdy zależne napięciowo kanały sodowe są zamknięte) do bliskiego jedności. Blokowanieaktywacji kanałów Na+, charakteryzowane przez zmienną h, chwilowo jeszcze nie zwiększasię. To powoduje w krótkim czasie znaczny napływ jonów sodu, co skutkuje powstaniemnagłego prądu, ukazanego ostrym skokiem w dół na drugim wykresie na Rysunku 3.3.Jednoczesny wzrost V oraz m tworzy dodatnie sprzężenie zwrotne. W efekcie potencjałelektryczny błony komórkowej szybko rośnie do poziomu bliskiego ENa, co obserwuje sięjako potencjał czynnościowy.

W tym samym czasie, wzrost V powoduje stopniowe zmiany pozostałych parametrów.Zmienna h → 0 powoli blokuje prąd jonów sodu. Zmienna n → 1 zwiększa odpływjonów K+. To, w połączeniu z prądem ujścia, repolaryzuje błonę komórkową z powrotemw kierunku poziomu V0.

Odpływ jonów potasu jest aktywny (duże n) jeszcze przez jakiś czas po potencjaleczynnościowym, powodując chwilowy spadek V poniżej poziomu V0. Spadek ten określasię jako hiperpolaryzację.

Co więcej, przez chwilę po potencjale czynnościowym, prąd jonów sodów jest blokowany(małe h). Czas, gdy ten stan się utrzymuje, nazywany jest okresem refrakcji. Zanimwartości zmiennych nie ustabilizują się, model nie może wytworzyć kolejnych potencjałówczynnościowych, lub jest to utrudnione (wymaga większych bodźców).

Opisywany wcześniej model integrate-and-fire to w istocie zredukowany do jednegowymiaru model Hodgkina–Huxleya. Usuwając ze wzoru 3.9 składniki związane z dynamikąkanałów jonowych, otrzymamy nieznacznie przekształcony wzór 3.2, opisujący modelz ujściem (Gerstner i Kistler, 2002; Maass i Bishop, 2001).

3.3 SZTUCZNE NEURONY I SIECI

Celem modeli tego typu jest przede wszystkim rozwiązywanie problemów algorytmicznych.W odróżnieniu od modeli biologicznych, sztuczne neurony nie koncentrują się na dynamicejonów lub ewolucji potencjału elektrycznego błon komórkowych, ale na charakterystyce


Rysunek 3.4 – Schemat perceptronu. Sztuczny neuron zbudowany jest na wzór neuronu biologicznego.Wejścia odpowiadają bodźcom odbieranym przez dendryty. Wagi są modyfikacjami sygnałów wejścio-wych dokonywanymi przez synapsy. Sumowanie odbywa się w jądrze, aktywacja – na wzgórku aksonu.Wyjście odpowiada aksonowi.

Tabela 3.2 – Porównanie możliwych do wykonania zadań algorytmicznych w zależności od liczbywarstw sieci neuronowej złożonej z perceptronów – na przykładzie problemu klasyfikacji danych(punktów) na dwuwymiarowej płaszczyźnie.

Warstwy Obszar Kształt

Jedna Półpłaszczyzna

Dwie Figury wypukłe

Trzy Dowolne figury

fenomenologicznej, czyli opisie obserwowanych efektów działalności elektrycznej neuronóworaz pokazaniu jakie konkretne problemy neurony są w stanie rozwiązać.

Nawet pojedyncze komórki mogą posłużyć jako proste i skuteczne klasyfikatory liniowe.Natomiast sieć perceptronów złożona z trzech warstw jest w stanie rozwiązać dowolnezadanie klasyfikacyjne (Tabela 3.2) – dokładność rozwiązania zależy wtedy wyłącznie odliczby neuronów (Bishop, 1995).

Perceptron. Neuron McCullocha–Pi�sa

Komórki nerwowe nie różnią się znacząco od innych komórek, wyróżnia je przede wszystkimilość oraz wielkość otaczających ciało wypustek, tak zwanych neurytów, czyli rozgałęzionychdendrytów i pojedynczego aksonu. Zadaniem tych wypustek jest w ogólności komunikacjaz innymi komórkami. Sztuczne neurony modelują ten proces.

Neurony te, w najprostszym przypadku liniowe, przetwarzają zsumowane wejścia napojedyncze wyjście (Rys. 3.4). Wejścia są zazwyczaj ważone (liczbami rzeczywistymi),a suma poddana działaniu pewnej funkcji, nazywanej funkcją aktywacji. Funkcja ta


Rysunek 3.5 – Proces dopasowania sieci neuronowej do wzorca na przykładzie samoorganizującej sięsiatki 7 × 7 neuronów odwzorowującej kwadrat. A, Na wstępnym etapie programu punkty zwykleprzesuwane są gwałtownie na większe odległości, kosztem obniżonej precyzji. Początkowo wszystkiepunkty wylosowano w pobliżu lewego górnego rogu płaszczyzny. B, Krótko po starcie procedury,rozciągnięta już siatka zaczyna przypominać figurę kwadratu. C, Gdy licznik iteracji przekracza pewnązaplanowaną wartość, następuje zmiana strategii dalszego dopasowania siatki – od teraz algorytmdba przede wszystkim o precyzję przemieszczania punktów. W tym momencie odwzorowanie zadanejfigury powinno być już wyraźnie widoczne. D, W końcowych iteracjach wykonuje się jedynie drobne,dokładne ruchy. Program kończy działanie wiernie ukazując kształt zadanego kwadratu. Dopasowanietak małej sieci trwa mniej niż sekundę.

przyjmować może dowolną formę, najczęściej jest to jednak funkcja progowa lub sigmoidalna,albo nawet zwykła funkcja liniowa.

Jeśli dany neuron posiada n wejść, pobudzany jest sygnałami od x1 do xn ważonymiprzez odpowiednio w1 do wn. Dodatkowo, sygnał x0, nazywany progiem, przyjmuje wartość+1 i ważony jest przez w0 = b. Wtedy wyjście y takiego neuronu równe jest (Rys. 3.4):

y = f

(n∑i=0

wixi

), (3.13)

gdzie f jest funkcją aktywacji. Z cybernetycznego punktu widzenia neuron jest zatemspecyficznym przetwornikiem sygnałów, posiadającym wiele wejść i jedno wyjście.

Historycznie, pierwszy sztuczny neuron zaproponowali Warren McCulloch i Wal-ter Pitts w 1943. Ich model, tak zwany Threshold Logic Unit, jako funkcję aktywacjiwykorzystywał funkcję progową. Szybko zaprezentowano zdolność takich jednostek doodwzorowania prostych operacji logicznych (poza alternatywą wykluczającą).

W 1957 Frank Rosenblatt opracował schemat uczenia się neuronu poprzez dopasowaniejego wag. Taki model (również sieć tych jednostek) nazywa się perceptronem. Powstałorównież fizyczne, elektroniczne urządzenie realizujące ten pomysł. Oryginalnie perceptronbył algorytmem liniowej klasyfikacji danych, uczącym się pod nadzorem. Rolę nauczycielapełnił tak zwany zbiór testowy, czyli pewnego rodzaju wzorzec odpowiedzi neuronu.

Jedna warstwa perceptronowa jest w stanie rozwiązać zadanie polegające na liniowymrozseparowaniu przestrzeni wejściowej na dwa rozłączne podzbiory. Trzy warstwy mogąseparować przestrzeń wejściową na części o dowolnych kształtach (Tab. 3.2).

Samoorganizacja. Sieci Kohonena

Przykładem uczenia sieci neuronowych bez nadzoru są mapy. Model uczenia bez nauczycielanazywa się czasem samouczeniem. Sieci tego typu zostały po raz pierwszy opisane przez


Teuvo Kohonena (1982), dlatego często nazywa się je sieciami Kohonena. Natomiastneurony w sieciach tego typu nazywa się czasem węzłami.

Takie samoorganizujące się sieci służą przede wszystkim do dyskretnej, zazwyczajdwuwymiarowej reprezentacji przestrzeni danych wejściowych. Przydają się zatem doróżnego rodzaju wizualizacji wielowymiarowych danych. Przy pomocy sieci tego typuz powodzeniem rozwiązuje się zadania polegające między innymi na wykrywaniu zależ-ności, kształtów lub obiektów (na przykład twarzy), kompresji, dopasowywaniu wzorców(odwzorowaniu lub mapowaniu), aproksymacji, organizacji danych (Rysunek 3.5).

Mapy różnią się od innych sieci tym, że wykorzystują do pracy pewną funkcjęodwzorowującą topologię przestrzeni wejściowej. Funkcja ta nosi nazwę funkcji sąsiedztwa.Sąsiedztwo najczęściej definiuje się jako prostokątną lub sześciokątną siatkę. Czasemprzeciwległe końce takich siatek łączy się, tworząc siatki toroidalne.

Pojedynczy krok procedury dopasowania do zadanego wzorca polega zazwyczaj naznalezieniu najbliższego (geometrycznie) węzła do pewnego punktu ze zbioru wejściowego,a następnie zmiany jego położenia tak, aby znajdował się on bliżej wzorca – podobniepostępuje się z jego sąsiadami według reguł sąsiedztwa. Ilość takich kroków ustala się zwyklez góry. Często też z każdym krokiem zmniejsza się tak zwany promień sąsiedztwa orazstopień, w jakim poszczególne węzły są dopasowywane. Dzięki tej strategii w początkowejfazie algorytm gwałtownie dopasowuje znaczne części mapy, by pod koniec działaniajedynie korygować niewielkie niedoskonałości. Początkowe położenia węzłów losuje się lubukłada jednorodnie (Haykin, 1999).

3.4 MODEL LEVY–BAXTER

Modelowi Levy–Baxter (2002) poświęcono osobną Sekcję z dwóch powodów. Po pierwsze,model ten łączy oba opisane wyżej podejścia do matematycznego opisu komórki nerwowej:biologiczne (Części 3.1 i 3.2) oraz sztuczne (Część 3.3). Po drugie, jest modelem, którybada się w tej rozprawie (Rozdziały 6, 7 oraz 8). Z tych powodów zdecydowano poświęcićjego charakterystyce dodatkową uwagę.

Model uwzględnia dużą zawodność i nieprzewidywalność komunikacji synaptycznej(Destexhe i Pare, 1999; Levy i Baxter, 2002; Thomson, 2000). Niepowodzenie transmisjisynaptycznej sygnału jest procesem losowym (Katz, 1966). Również modulacje amplitudyprzesyłanego sygnału mają charakter stochastyczny.

Model ułatwia badanie aktywności neuronowej pod kątem efektywności transmisjiinformacji (Paprocki i Szczepanski, 2011, 2013a). Stosuje się w tym celu teorię informacji(Rozdział 4), rozpatrując komórkę lub sieć jako kanał komunikacyjny (Sekcja 4.6). Obli-czenia neuronowe można w uproszczeniu zapisać jako transformację X → f(X). Wtedyilość przesyłanej przez neuron informacji jest równa informacji wzajemnej (Część 4.5),I(X, f(X)).

Można rozszerzać takie badania o koszty energetyczne komunikacji neuronowej (Pa-procki i Szczepanski, 2013b). Większość energii neurony zużywają na produkcję potencjałówczynnościowych. Ze względu na błędy i losowość transmisji, komunikacja samej informacjiw mózgu zazwyczaj nie jest efektywna. Neurony stają się efektywne dopiero w kontekściewzajemnej zależności pomiędzy przesyłaną informacją a wykorzystywaną w tym celuenergią (Abshire i Andreou, 2001; Balasubramanian i in., 2001; Laughlin i in., 1998; Levyi Baxter, 1996; Schreiber i in., 2002).


SpikeGenerator

DendrosomaticSummation

AmplitudeFluctuation



SynapticFailure

SynapticFailure

SynapticFailure

Rysunek 3.6 – Schemat modelu Levy–Baxter (2002). Procedura obliczania wyjścia Z rozpoczyna się odobliczenia wyniku działania dwóch transformacji, kolejno φ oraz Qi, na każdy z sygnałów wejściowychX(i). Synaptic failure φ, odzwierciedla ryzyko całkowitej utraty sygnału w szumie synaptycznym, gdzieparametr 0 ¬ s ¬ 1 jest prawdopodobieństwem udanego przejścia przez szczelinę synaptyczną. Następ-nie sygnał poddawany jest fluktuacji amplitudy, Qi ∼ [0, 1]. Suma σ tak przekształconych bodźców,określająca całkowite pobudzenie neuronu w danej iteracji, stanowi wejście do funkcji aktywacji g.W badaniach opisanych w niniejszej rozprawie g(σ) przyjmuje postać funkcji progowej. Na podstawieLevy i Baxter (2002).

Przepływ informacji

Przepływ informacji w modelu Levy–Baxter opisano na Rys. 3.6. Schemat modelu pokazujejego podobieństwo do sztucznego neuronu. Wejściem do modelu jest binarny wektor losowyX = {X(1), X(2), . . . , X(n)}, natomiast wyjściem – pojedyncza zmienna losowa Z. ZmienneZ,X(i) są zatem postaci {brak impulsu, impuls} = {0, 1}.

Sygnały wejściowe przechodzą trzy transformacje, podczas których tracona jest(częściowo lub całkowicie) początkowa informacja. Pierwszą z nich, φ, jest synaptic failure.Odzwierciedla możliwość zaistnienia błędu w transmisji synaptycznej; realizowana jest przezfunkcję losową typu wszystko albo nic, gdzie 0 ¬ s ¬ 1 jest parametrem sukcesu (zatemprawdopodobieństwo błędu to f = 1 − s). Druga transformacja, amplitude fluctuation,zapisywana Qi, wyznacza amplitudę i-tego sygnału po przejściu przez synapsę. W ogólnymmodelu może ona mieć dowolną formę – w tej rozprawie zdecydowano się rozpatrywać jednaktylko jednorodne modulacje amplitud, Q ∼ [0, 1]. Ostatnia z transformacji, dendrosomaticsummation, odpowiada za sumowanie przetworzonych sygnałów wejściowych.

Wyjście jest ostatecznie determinowane przez funkcję aktywacji (ang. spike generator.W niniejszej rozprawie używa się w tym celu funkcji progowej, o wysokości progu jakoparametrze symulacji. Jeśli suma wejściowych pobudzeń przekracza próg aktywacji, wtedyZ = 1, co jest równoważne wygenerowaniu potencjału czynnościowego. Wyprodukowanyimpuls może stać się wejściem do innego neuronu, jeśli rozpatrywana architektura ma postaćsieci (na przykład taką jak opisana w Części 3.5). Jeśli suma pobudzeń nie przekroczywartości progowej, neuron nie aktywuje się i wtedy Z = 0.

Komórkę modelowaną w ten sposób wykorzystano w tej rozprawie do analizy efek-tywności transmisji w sieciach neuronowych: prostych feed–forward oraz brain–like (Sekcja


3.5). Badania przeprowadzono metodą symulacji komputerowych w szerokim zakresie pa-rametrów (opis w Rozdziale 6). Wyniki znajdują się w Rozdziale 7, natomiast ich dyskusjawraz z wnioskami w Rozdziale 8. Wyniki te opierają się na badaniach opublikowanych(Paprocki i Szczepanski, 2011, 2013a,b; Paprocki i in., 2013).

3.5 MODELOWANIE MÓZGU

Komórki można modelować samodzielnie, lub w strukturach różnych sieci. W zależnościod specyfiki konstrukcji sieci, spełnia one inne zadania. Szczególnym przypadkiem siecineuronowych są te, które naśladują struktury odnajdywane w mózgach. Taką, inspirowanąmózgiem siecią jest właśnie badana w tej rozprawie pierścieniowa sieć, tak zwana brain–like(Paprocki i Szczepanski, 2012, 2013b; Paprocki i in., 2013; Szczepanski i Paprocki, 2012),której schemat ilustruje Rys. 3.7. Pojedyncze komórki w tej sieci są typu Levy–Baxter(2002), na potrzeby modelu brain–like nieznacznie zmodyfikowane (Rys. 3.8).

Model sieci uwzględnia kilka elementów charakterystycznych dla rzeczywistej struk-tury mózgu. Przede wszystkim są to dwa rodzaje neuronów: pobudzające (ang. excitatory),oznaczane przez E, biologicznie odpowiadające synapsom podnoszącym potencjał elek-tryczny błony komórkowej, oraz neurony hamujące (ang. inhibitory), I, odpowiadającesynapsom obniżającym potencjał. Względna siła oddziaływania tych dwóch typów komórekjest regulowana przez parametr b, będący stosunkiem sił neuronów I do E. W ten sposóboba rodzaje neuronów działają z jednakową siłą gdy b = 1; natomiast b = 0 oznaczawyłączenie neuronów hamujących.

Struktura połączeń w modelu umożliwia również modelowanie tak zwanych połączeńlong-range, realizujących komunikację neuronową na duże odległości. Takie powiązaniasą powszechne w układzie nerwowym, w mózgach ssaków występują przykładowo jakopołączenia pomiędzy warstwami kory mózgowej.

Regulacji podlega również wielkość sieci, rozumiana nie jako ilość węzłów, ale jakoodległość pomiędzy nimi. Kontroluje to parametr r. Gdy r jest małe, sieć jest gęsta,neurony są bliżej siebie i komunikacja między nimi następuje szybciej.

Model pozwala również kontrolować dostęp do źródła informacji. Standardowo, w ar-chitekturze symetrycznej, każdy węzeł posiada połączenie ze źródłem – można jednakto połączenie odciąć, sprawiając, że dany węzeł pobudzany będzie wyłącznie sygnałamiz innych komórek. Biologicznie, źródło odpowiada bodźcom zewnętrznym, na przykładinformacji z nerwu wzrokowego. W tym sensie węzły bez dostępu do źródła mogą byćpostrzegane jako neurony wewnętrzne, należące do głębszej warstwy.

Opis symulacji przeprowadzonych z wykorzystaniem modelu brain–like, wyniki tychsymulacji oraz wnioski opisano w dalszej części pracy (Rozdziały 6, 7 oraz 8). Zawartotam rozszerzenie opisu stanowiącego podstawę opublikowanych wcześniej badań w postaciartykułów lub wystąpień konferencyjnych (Paprocki i Szczepanski, 2012, 2013b; Paprockii in., 2013; Szczepanski i Paprocki, 2012).


Rysunek 3.7 – Pierścieniowy model mózgu, brain–like. Przykład dla pięciu węzłów. Każdy węzeł (E, I)izawiera dwa neurony, pobudzający Ei (ang. excitatory) oraz hamujący Ii (inhibitory). Każde dwatakie neurony wewnątrz węzła są ze sobą połączone, to znaczy wymieniają między sobą informacjęw kolejnych dyskretnych krokach aktywności sieci. Połączone są również sąsiednie węzły. Źródłoinformacji X zaznaczone jest symbolicznie w centrum, przy czym liczba widocznych tam małych okręgówwskazuje na jego wielkość – tutaj, w obu architekturach, jest ich po trzy, zatem X = {X(1), X(2), X(3)}.W architekturze symetrycznej (po lewej) informacja ze źródła komunikowana jest do wszystkichneuronów pobudzających; przepływ informacji można zmienić usuwając niektóre z tych połączeń (poprawej). Rozpatrywany jest również wpływ dodatkowych połączeń, tak zwanych long–range – pomiędzyniesąsiadującymi węzłami. W opisywanych badaniach najbardziej interesujące są przede wszystkimwyjścia z neuronów pobudzających.

SpikeGenerator







SynapticFailure

SynapticFailure

SynapticFailure

SynapticFailure

SynapticFailure

Rysunek 3.8 – Modyfikacja komórki Levy–Baxter dla modelu brain–like. Zmiany obejmują dodatkowewejścia do komórki, pochodzące od sąsiednich neuronów excitatory i inhibitory, oraz rozszerzeniesumatora σ, w którym wejścia hamujące, zgodnie z intuicją, dodawane są ze znakiem minus, pomnożonewcześniej przez współczynnik b.

4TEORIA INFORMACJI

Zarys idei 31: Motywacja • Informacja 33 • Entropia 34: Interpretacja entropii,Własności entropii, Aksjomatyczna definicja entropii, Entropia łączna i entro-pia warunkowa • Tempo entropii. Entropia źródła informacji 40 • Informacjawzajemna 41 • Kanał komunikacyjny. Twierdzenie Shannona 43

Teoria informacji zajmuje się problematyką ilościowego opisu informacji, sposobami jejprzesyłania oraz metodami przetwarzania, kodowania i dekodowania. Ilościowy opis oznacza,że wartość informacji w ujęciu Shannona (1948; 1949) nie uwzględnia jej jakości, niepodejmuje więc problemu opisu jak bardzo dana ilość informacji jest cenna – skupia sięnatomiast na kwestii czy jakakolwiek informacja w ogóle jest, i jeśli tak, to jak dużo.W tym celu operuje się pojęciem kanału komunikacyjnego, czyli teoretycznym medium, poktórym informacja jest przesyłana. Transmisja informacji odbywa się według schematupokazanego na Rys. 4.1.

(szum)↓

źródło → (kodowanie) → kanał komunikacyjny → (dekodowanie) → wyjście

Rysunek 4.1 – Schemat kanału komunikacyjnego według Shannona (1948). Kanał komunikacyjnyopisano szerzej w Części 4.6, oraz wstępnie, poglądowo poniżej.

4.1 ZARYS IDEI

Kanał komunikacyjny, którego schemat przedstawiono na Rys. 4.1, jest pojęciem abstrak-cyjnym. W jego ramy można włożyć dowolne fizyczne medium, po którym możliwe jestprzesyłanie i odbieranie jakiejkolwiek informacji. Kanałem komunikacyjnym może byćprzykładowo przewód elektryczny lub telefoniczny. Mogą nim też być cząsteczki powietrzaprzenoszące dźwięk, na przykład muzykę lub mowę. Kanałem komunikacyjnym jest równieżstrumień fotonów (nośnik informacji) odbitych od obiektu (źródło), docierających do oczu(odbiornik).

Może to wreszcie być komórka nerwowa, reagująca na elektryczny, chemiczny bądźmechaniczny bodziec poprzez wytworzenie potencjału czynnościowego, propagowanegonastępnie wzdłuż aksonu, w kierunku kolejnych komórek lub wgłąb sieci neuronowej.

31

TEORIA INFORMACJI 32

Każdemu z takich modeli kanału komunikacyjnego teoria informacji dostarcza po-dobnych, obiektywnych narzędzi do oceny jakości transmitowanej informacji. Centralną,najciekawszą i najbardziej istotną charakterystyką kanału komunikacyjnego jest jegoprzepustowość (patrz Część 4.6). Przepustowość kanału, nazywana również pojemnością,to zdolność do przesyłania ilości informacji w czasie, lub inaczej maksymalna możliwatransmisja jaką kanał komunikacyjny jest w stanie utrzymać. Transmisja ta jednak, cozaznaczono również na schemacie kanału komunikacyjnego, zakłócana jest przez szum, czyliwszelkie fizyczne zniekształcenia przesyłanego sygnału, powodujące deformacje informacjii utrudniające komunikację.

Shannon (1948) udowodnił jednak – wbrew intuicji i powszechnie panującemu wówczasjeszcze przekonaniu – że nawet w obecności szumu możliwa jest niemal bezbłędna transmisjainformacji jeśli tylko będzie ona przesyłana z prędkością nie większą niż przepustowośćkanału. Co więcej, pokazał, że taka transmisja możliwa jest dla każdego źródła informacji,którego entropia (Część 4.3) – a dokładniej entropia źródła lub tempo entropii (Część4.4), wielkość rozumiana tutaj jako granica możliwej kompresji informacji – nie przekraczaprzepustowości kanału.

Wyniki te są na tyle ważne, że nazywa się je obecnie Fundamentalnym TwierdzeniemTeorii Informacji (pozostałe zwyczajowe nazwy to twierdzenie Shannona oraz twierdzenieo kodowaniu).

Motywacja

Osiągnięcie Shannona stanowi bezpośrednią motywację do tego, by analizę właściwościtransmisyjnych komórek i sieci neuronowych wykonać z wykorzystaniem metod teoriiinformacji. Celem tej pracy jest mianowicie znalezienie optymalnych parametrów transmisjiinformacji w komórkach i sieciach neuronowych, czyli odszukanie wartości ich przepusto-wości lub inaczej górnych granic ich możliwości transmisyjnych.

Formalnie, pojemność kanału komunikacyjnego definiowana jest jako maksymalnainformacja wzajemna (patrz Części 4.5 oraz 4.6) pomiędzy wejściem a wyjściem: jeśliwejście oznaczymy przez X, a wyjście przez Z, wtedy przepustowość C równa będziemaxP(x) I(X;Z), gdzie I(X;Z) jest informacją wzajemną. Jeżeli taki kanał komunikacyjnyo pojemności C jest binarny, może niezawodnie przesyłać 2nC = 2nI(X;Z) różnych informacjio długości n.

Rzetelna transmisja informacji zachodzi w przypadku, gdy po otrzymaniu komunikatuna wyjściu jesteśmy w stanie z możliwie największym prawdopodobieństwem rozstrzygnąćjaki sygnał wejściowy został wysłany. Zatem idealna komunikacja pozwala na jednoznaczneprzyporządkowanie X do Z. W ogólności jednak dwa różne wejścia, z racji występowaniazewnętrznych zakłóceń transmisji, mogą komunikować tę samą informację na wyjściu – takatransmisja jest zatem omylna. Celem jest więc dobranie takich parametrów wejściowych(patrz definicja kanału komunikacyjnego 4.25) by zapewnić jednoznaczność transmisji,czyli nie dopuścić do generowania tego samego wyjścia przez dwa różne wejścia.

Jeżeli entropia wyjścia równa jest H(Z) (Część 4.3), wtedy całkowita liczba możliwychkomunikatów na wyjściu kanału równa jest 2nH(Z). Aby zapewnić niezawodność transmisji,zbiór ten musi zostać podzielony na części wielkości 2nH(Z|X), odpowiadające różnymsygnałom wejściowym. Zatem całkowita liczba rozłącznych zbiorów komunikatów jest niewiększa niż 2n(H(Z)−H(Z|X)) = 2nI(X;Z) (4.25).


Liczba ta ogranicza ilość możliwych do przesłania rozróżnialnych komunikatów i jed-nocześnie stanowi górne ograniczenie pojemności kanału komunikacyjnego. FundamentalneTwierdzenie Teorii Informacji mówi natomiast, że transmisja z taką prędkością możliwajest z dowolnie małym, niezerowym prawdopodobieństwem błędu. Kluczową koncepcjąjest tu zwiększanie długości przesyłanych komunikatów n, tak, by zaczęło działać prawowielkich liczb (jest to oryginalny tok myślenia Shannona).

Po tym wstępie przejdziemy następnie do szczegółowego wprowadzenia do formalizmunarzędzi teorii informacji, pod kątem opisu transmisji informacji w komórkach i sieciachneuronowych.

4.2 INFORMACJA

Aktywność neuronową, pod kątem ilości przesyłanej informacji przez neurony, możnaz powodzeniem opisać metodami teorii informacji, traktując komórki jako kanały komu-nikacyjne (Levy i Baxter, 2002; Rieke i in., 1999). Wiadomość wejściowa i wyjściowasą reprezentowane przez trajektorie procesów stochastycznych, czyli przez ciągi sym-boli. Zakłada się, że ciągi te zbudowane są nad skończonymi alfabetami oraz że procesystochastyczne są stacjonarne (Ash, 1965; Cover i Thomas, 1991).

Niech X = {x1, x2, . . . , xm} będzie zmienną losową o m możliwych wynikach. Jeślistacjonarny proces stochastyczny {X} jest źródłem informacji, wtedy symbol x ∈ Xmoże być traktowany jako wiadomość wysłana przez to źródło. Niech P(x) oznaczaprawdopodobieństwo wygenerowania komunikatu x ∈ X.

Definicja Informacja (Shannona) zawarta w x ∈ X wyraża się wzorem:

I(x) := − log P(x), (4.1)

przy czym dla kompletności przyjmuje się, że jeśli P(x) = 0, to I(x) = 0.Podstawę logarytmu w tej definicji zwyczajowo ustala się na równą 2, wtedy informacja

mierzona jest w bitach. Jeden bit to ilość informacji wystarczająca do opisania zdarzenialosowego o dwóch, równoprawdopodobnych wynikach – takim zdarzeniem jest przykładowopojedynczy rzut monetą. W tym sensie, jako miarę ilości informacji można przyjąć wielkośćniepewności, która została usunięta w wyniku zajścia zdarzenia (otrzymania komunikatu).

Informacja zdefiniowana jest w taki sposób, aby posiadała następujące własności:

1 Ciągłość. Dla każdego x ∈ X, informacja zawarta w x zależy wyłącznie od prawdopo-dobieństwa 0 ¬ P(x) ¬ 1 wystąpienia tego słowa i wtedy: I : [0, 1]→ R.

2 Nieujemność. Dla każdego x ∈ X zachodzi: I(x) 0.

3 Pewność zdarzeń. Zdarzenia pewne nie niosą informacji:

P(x) = 0 ∨ P(x) = 1 ⇐⇒ I(x) = 0.

4 Monotoniczność, lub precyzyjniej: zdarzenia mniej prawdopodobne niosą więcejinformacji. Niech xi, xj ∈ Z. Wtedy:

P(xi) ¬ P(xj) ⇐⇒ I(xi) I(xj).


5 Zasada superpozycji, inaczej: addytywność. Niech xi oraz xj będą zdarzeniami nieza-leżnymi. Wtedy:

P(xi, xj) = P(xi) · P(xj) ⇐⇒ I(xi · xj) = I(xi) + I(xj).

Można wykazać, że funkcja określona wzorem (4.1) jest jedyną, która spełnia wszystkiepowyższe własności 1–5 jednocześnie. Jest to aksjomatyczne podejście do definicji informacji.Częściej jednak aksjomatycznie definiuje się nie informację, a entropię.

4.3 ENTROPIA

Przed otrzymaniem komunikatu jego treść jest niepewna – nie znamy wartości zmiennejlosowej zanim nie wykonamy doświadczenia. Po wykonaniu doświadczenia jego wynik jestjuż znany i niepewność znika – otrzymaliśmy komunikat. Możemy więc powiedzieć, żewielkość niepewności przed otrzymaniem wiadomości równa jest ilości informacji zawartejw dostarczonej wiadomości. Jeżeli dostaliśmy komunikat nastąpiło zdarzenie x, otrzymu-jemy z nim I(x) informacji. Jednak to zdarzenie wystąpi z prawdopodobieństwem równymP(x). Zatem niepewność co do wyniku doświadczenia X jest średnią informacją niesionąprzez poszczególne zdarzenia x ∈ X ważoną prawdopodobieństwami zajścia tych zdarzeń.Wielkość tę nazywamy entropią.

Definicja Średnia lub oczekiwana informacja zawarta w X jest nazywana entropią(Shannona) i wyrażona wzorem:

H(X) := E(I(X)) =∑x∈X

P(x) I(x) = −∑x∈X

P(x) log P(x). (4.2)

Entropia, podobnie jak informacja, również mierzona jest w bitach. Przykładowo,niepewność związana z pojedynczym rzutem monetą równa jest 1 bit, mamy bowiem:

H(X = {O, R}) = −P(X = O) log P(X = O)− P(X = R) log P(X = R)

= −12 log 1

2 −12 log 1

2 = 2 · 12 · 1 = 1 bit.

Entropia jest zatem średnią niepewnością związaną ze zmienną losową lub procesemstochastycznym; innymi słowy określa na ile nie potrafimy przewidzieć tego, co wygenerujeźródło. Entropia może być zatem postrzegana jako miara nieuporządkowania – im możliwezdarzenia są bardziej równoprawdopodobne, tym większa niepewność tego, które z nichzajdzie. Przeprowadzenie doświadczenia oznacza uzyskanie o nim informacji, co przekładasię na usunięcie niepewności, o średniej wielkości równej co do wartości entropii zmiennejlosowej stanowiącej to doświadczenie.

Ze wzoru (4.2) wynika, że entropia H(X) zależy wyłącznie od prawdopodobieństwzdarzeń P(x ∈ X). Dlatego dla każdego 1 ¬ i ¬ m przyjmując P(xi) = pi, możnarównoważnie zapisać:

H(X) = Hm(p1, p2, . . . , pm), (4.3)a w szczególności, dla m = 2:

H(X = {x1, x2}) = H2(p, 1− p). (4.4)


Przykładowo, jeżeli X = {0, 1}, oraz P(X=0) = 1/4 i P(X=1) = 3/4, wtedy wynikdoświadczenia dostarczy nam średnio informację w ilości równej:

H(X) = −P(0) I(0)− P(1) I(1) = −14 · 2−

34 · 0,415 = 0,811 bitów.

Widać tutaj, że obliczona entropia jest mniejsza niż ta dla pojedynczego rzutu monetą.Ogólnie, im zdarzenia są mniej równoprawdopodobne (co można postrzegać jako większeuporządkowanie), tym niepewność co do wyniku doświadczenia jest mniejsza. W skrajnymprzypadku, jeśli któreś z możliwych zdarzeń jest pewne, wtedy doświadczenie nie jestlosowe a jego entropia równa jest zeru.

Interpretacja entropii

Entropię, jako miarę niepewności lub nieuporządkowania, można interpretować na kilkasposobów. Poniżej przedstawione są dwie interpretacje; innych szukać należy w szerokiejliteraturze (Ash, 1965; Cover i Thomas, 1991; Rieke i in., 1999).

Interpretacja 1 Wygląd funkcji niepewności Hm(p1, . . . , pm) wskazuje, że jest ona śred-nią ważoną liczb − log p1,− log p2, . . . ,− log pm, gdzie wagi są prawdopodobieństwamizdarzeń x ∈ X. Sugeruje to, że Hm może być interpretowana jako wartość oczekiwanazmiennej losowej W = W (X), która przyjmuje wartości − log pi, z prawdopodobieństwamipi. Jeśli X = xi, wtedy W (X) = − log P(X = xi). Zatem wartości W (X) są ujemnymilogarytmami prawdopodobieństw zdarzeń przyjmowanych przez X. Wartość oczekiwanaW (X) jest równa:

E(W (X)) = −m∑i=1

P(X = xi) log P(X = xi) = H(X).

Przykład 4.3.1 Dla następującego rozkładu X:

P(x1) = 3/5, P(x2) = 1/5 P(x3) = P(x4) = 1/10,

rozkład W (X) jest:

P(W = log 53) = 3

5 , P(W = log 5) = 15 , P(W = log 10) = 1

10 + 110 = 1

5 .

Wartość oczekiwana W jest zatem równa:

E(W ) = 35 log 5

3 + 15 log 5 + 1

5 log 10 = H(35 ,

15 ,

110 ,

110).

Interpretacja 2 Załóżmy, że komunikujemy się z kimś, kto udziela wyłącznie odpowiedzitak lub nie. Chcemy od niego wydobyć informację o wartości pewnej zmiennej X. NiechX przyjmuje pięć wartości x1, . . . , x5, z prawdopodobieństwami odpowiednio 0,3, 0,2, 0,2,0,15, 0,15.

Dochodzenie do faktycznej wartości X możemy zacząć od dowolnego pytania, przy-kładowo czy X = x4? Nie jest to jednak strategia optymalna. Jeśli zależy nam na zdobyciuinformacji jak najszybciej, czyli zadając jak najmniej pytań, najkorzystniejszą strategią


będzie zacząć od pytania czy X = x1 lub x2? Jeśli odpowiedź będzie tak, wtedy spytamyczy X = x1? i zależnie od odpowiedzi znajdziemy wartość X jako x1 lub x2. Jeśli natomiastodpowiedź na pierwsze pytanie byłaby nie, wtedy jako drugie zadamy pytanie czy X = x3?;jeśli tutaj również odpowiedź będzie nie, zapytamy ostatecznie czy X = x4?

Rozstrzygniemy w ten sposób wątpliwość w kwestii faktycznej wartości X w conajwyżej trzech pytaniach. Zauważmy, że w tym podejściu zadawaliśmy zawsze takiepytania, by możliwie jak najbardziej zrównoważyć prawdopodobieństwa obu odpowiedzi.W ten sposób w każdym kroku maksymalizujemy ilość zdobywanych informacji. Ilośćpytań potrzebnych do znalezienia wartości X możemy traktować jako zmienną losową,która przyjmuje wartość 2 gdy X = x1, x2 lub x3, oraz wartość 3 gdy X = x4 lub x5.Średnio zadamy więc

2 · (0,3 + 0,2 + 0,2) + 3 · (0,15 + 0,15) = 2,3 pytań.

Okazuje się, że niemożliwe jest skonstruowanie takiego zestawu pytań typu tak lub nie,dzięki któremu znajdziemy wartość X zadając ich średnio mniej niż wynosi niepewnośćzmiennej X, która w tym przykładzie wynosi:

H(X) = −0,3 log 0,3− 0,4 log 0,2− 0,3 log 0,15 = 2,27.

Możemy jednak zwiększyć efektywność zgadywania jeśli eksperyment przeprowadzimyniezależnie L razy i będziemy mogli wtedy zgadnąć wszystkie L wartości X jednocześnie.Załóżmy, że X przyjmuje dwie wartości z prawdopodobieństwami 0,7 oraz 0,3. Dokładniejedno pytanie rozstrzygnie w tym przypadku faktyczną wartość X. Jeśli jednak możemyzgadywać wynik dwóch niezależnych obserwacji X, wtedy, operując na prawdopodobień-stwach łącznych zdarzeń z tych dwóch obserwacji, rozstrzygniemy wartość (X,X) zadającśrednio 1,81 pytań, lub 0,905 na pojedynczą wartość X. Niepewność X jest tutaj równaH(X) = 0,88; pokażemy potem, że mając do dyspozycji coraz dłuższe ciągi obserwacji,możemy się do tej wartości dowolnie blisko zbliżyć.

Własności entropii

Dla funkcji entropii, jako miary niepewności lub nieuporządkowania, zdefiniowanej wzorami(4.2–4.4), prawdziwe są następujące zależności:

1 Nieujemność : H(X) 0.

2 Pewność zdarzeń. Jeżeli istnieje takie i, dla którego pi = 1, wtedy dla pozostałych imamy pi = 0 i zachodzi H(X) = 0.

3 Rozszerzalność, inaczej: zdarzenia o zerowym prawdopodobieństwie nie zmieniająentropii:

Hm+1(p1, p2, . . . , pm, 0) = Hm(p1, p2, . . . , pm). (4.5)

4 Ciągłość, to znaczy, że zmiana prawdopodobieństw pi o małe wartości pociąga tylkoniewielkie zmiany wartości entropii. Niech 0 ¬ ∆p ¬ 1 oraz p1 +∆p ¬ 1 i p2−∆p 0.Wtedy zmiana entropii równa jest:

Hm(p1 + ∆p, p2 −∆p, p3, . . . , pm) = Hm(p1, p2, p3, . . . , pm) + ∆H


i zachodzi:∆p→ 0 ⇒ ∆H → 0.

5 Symetria. Wartość entropii pozostaje niezmienna jeśli kolejność argumentów pi zostajezmieniona. Niech π(·) oznacza dowolną permutację, wtedy:

Hm(π(p1, p2, . . . , pm)) = Hm(p1, p2, . . . , pm).

6 Ograniczenie z góry: Hm(p1, . . . , pm) ¬ logm.

7 Wartość maksymalna. Niech pi = 1/m dla każdego i, wtedy: Hm(p1, . . . , pm) = logm.W szczególności: H2

(12 ,

12

)= 1.

8 Tzw. aksjomat Shannona. Dla równoprawdopodobnych zdarzeń entropia rośnie wrazz liczbą możliwych wyników:

Hm

( 1m,

1m, . . . ,

1m

)< Hm+1

( 1m+ 1 ,

1m+ 1 , . . . ,

1m+ 1

). (4.6)

Inaczej, jeżeli F (m) = Hm

(1m, . . . , 1

m

)oraz n < m, to F (n) < F (m).

9 Zasada superpozycji – addytywność. Jeżeli {X} i {Y } są niezależnymi procesamistochastycznymi, wtedy:

H(X, Y ) = H(X) +H(Y ). (4.7)

W szczególności: H(X,X) = H(X) +H(X) = 2 ·H(X). Inny zapis:

Hn(p1, . . . , pn) +Hm(q1, . . . , qm) = Hnm(p1q1, . . . , p1qm, . . . , pnq1, . . . , pnqm).

W konsekwencji, jeśli XL = (X1, X2, . . . , XL) jest wektorem L niezależnych zmiennychlosowych, wtedy:

H(XL) = H(X1, X2, . . . , XL) = H(X1) +H(X2) + · · ·+H(XL). (4.8)

Jeżeli zmienne Xi mają dodatkowo jednakowe rozkłady, wtedy: H(XL) = L ·H(X).

10 Subaddytywność, czyli: entropia łączna dwóch jednoczesnych procesów nie przekraczasumy entropii indywidualnych procesów. Niech {X} i {Y } będą procesami stocha-stycznymi, wtedy:

H(X, Y ) ¬ H(X) +H(Y ). (4.9)Inaczej, biorąc pi = ∑m

j=1 rij oraz qi = ∑ni=1 rij, mamy:

Hnm(r11, . . . , rnm) ¬ Hn(p1, . . . , pn) +Hm(q1, . . . , qm).

11 Grupowanie: Niech q = pm + pm+1. Wtedy:

Hm+1(p1, . . . , pm+1, pm, pm+1) = Hm(p1, . . . , pm−1, q) + q H2

(pmq,pm+1

q

). (4.10)


Aksjomatyczna definicja entropii

Mimo że definicja entropii opisana równaniem (4.2) jest poprawna, niektórzy autorzyuważają, że powinna ona być wprowadzana bez udziału pojęcia informacji. W takimpodejściu definiowanie entropii rozpoczyna się od skonstruowania zbioru aksjomatów, którepowinna spełniać funkcja określająca niepewność, a następnie wnioskuje się z nich konkretnykształt funkcji entropii. W podobny sposób postąpił Shannon (1948) by uzasadnić swojąoryginalną, prostą definicję.

Wzór entropii można wyprowadzić przyjmując za aksjomaty opisane wcześniej wła-sności 1–11. Jednak do wyprowadzenia entropii wystarczy tylko część z nich. Pokazano dotej pory wiele możliwych sposobów aksjomatycznego definiowania entropii (Csiszár, 2008;Csiszár i Körner, 1981). Shannon (1948) wykazał, że do wyprowadzenia entropii (z dokład-nością do stałej) wystarczą ciągłość, aksjomat Shannona oraz mocna addytywność, czyliH(X, Y ) = H(X) +H(Y |X), gdzie H(Y |X) jest entropią Y pod warunkiem X. Fadejew(1956) wyprowadził formułę entropii z dokładnością do stałej korzystając z grupowania,symetrii oraz ciągłości. Diderrich (1975) wykorzystał grupowanie, symetrię i ograniczeniez góry. Chaundy i McLeod (1960) wykazali, że wystarczy spełnianie addytywności orazzależności Hn(p1, . . . , pn) = ∑n

i=n g(pi) dla pewnej ciągłej funkcji g.

Entropia łączna i entropia warunkowa

Wcześniej definiowaliśmy entropię dla pojedynczego procesu stochastycznego. Definicjaentropii, rozszerzona dla pary procesów {X} oraz {Z}, wygląda analogicznie do (4.2) jeślizauważymy, że {X,Z} również jest procesem stochastycznym.

Definicja Niech dane będą dwa dyskretne procesy stochastyczne, {X} oraz {Z}. Niechproces {X} generuje symbole x ∈ X, natomiast {Z} symbole z ∈ Z. Wtedy procesłączny {X,Z} generuje komunikaty postaci (x · z) z prawdopodobieństwem P(x, z), a jegoniepewność lub średnią informację w nim zawartą nazywamy entropią łączną i wyrażamywzorem:

H(X,Z) := −∑x∈X

∑z∈Z

P(x, z) log P(x, z). (4.11)

Zauważmy, że jeżeli {X} oraz {Z} są niezależne, wtedy z (4.11) otrzymujemy:

H(X,Z) = −∑x∈X

∑z∈Z

P(x, z) log P(x, z)

= −∑x∈X

∑z∈Z

P(x) P(z) log P(x) P(z)

= −∑x∈X

∑z∈Z

P(x) P(z) log P(x) −∑x∈X

∑z∈Z

P(x) P(z) log P(z)

= −∑z∈Z

P(z)∑z∈Z

P(x) log P(x) −∑x∈X

P(x)∑z∈Z

P(z) log P(z)

= −∑z∈Z

P(z)H(X) −∑x∈X

P(x)H(Z)

= H(X) +H(Z),

czyli zasadę superpozycji – właściwość entropii opisaną wzorem (4.7).


Przypuśćmy teraz, że mamy dwie zmienne losowe X oraz Z, i dodatkowo zaobser-wowaliśmy zajście zdarzenia x ∈ X: X = x. W tej sytuacji rozkład Z charakteryzująprawdopodobieństwa warunkowe P(z|X = x), dla z ∈ Z.

Definicja Entropia warunkowa Z, wiedząc, że X = x, definiowana jest jako:

H(Z|X = x) = −∑z∈Z

P(z|X = x) log P(z|X = x). (4.12)

Entropię warunkową Z pod warunkiem X definiujemy jako średnią entropię określonąwzorem (4.12), ważoną prawdopodobieństwami P(X = x).

Definicja Entropia procesu {Z} pod warunkiem {X} jest nazywana entropią warunkowąi określona wzorem:

H(Z|X) =∑x∈X

P(x)H(Z|X = x)

= −∑x∈X

P(x)∑z∈Z

P(z|x) log P(z|x)

= −∑x∈X

∑z∈Z

P(x) P(z|x) log P(z|x)

= −∑x∈X

∑z∈Z

P(x, z) log P(z|x). (4.13)

Twierdzenie 4.1 (Reguła łańcuchowa) Entropię łączną H(X,Z) z entropią warunkowąH(Z|X), łączy związek:

H(X,Z) = H(X) +H(Z|X). (4.14)

Dowód

H(X,Z) = −∑x∈X

∑z∈Z

P(x, z) log P(x, z)

= −∑x∈X

∑z∈Z

P(x, z) log P(x) P(z|x)

= −∑x∈X

∑z∈Z

P(x, z) log P(x)−∑x∈X

∑z∈Z

P(x, z) log P(z|x)

= −∑x∈X

P(x) log P(x)−∑x∈X

∑z∈Z

P(x, z) log P(z|x)

= H(X) +H(Z|X).

Można również rozszerzyć tę regułę na więcej niż dwie zmienne losowe. Niech XL =(X1, X2, . . . , XL) będzie wektorem losowym. Entropia tego wektora jest równa entropiiłącznej składowych zmiennych losowych: H(XL) = H(X1, X2, . . . , XL).

Twierdzenie 4.2 (Reguła łańcuchowa dla wektora losowego) Entropię łączną H(XL)wektora losowego XL można wyrazić przez sumę entropii warunkowych:

H(XL) =L∑i=1

H(Xi|Xi−1, . . . , X1). (4.15)


Dowód Stosujemy wielokrotnie regułę łańcuchową dla dwóch zmiennych losowych:

H(X1, X2) = H(X1) +H(X2|X1),H(X1, X2, X3) = H(X1, X2) +H(X3|X2, X1)

= H(X1) +H(X2|X1) +H(X3|X2, X1)...

H(X1, . . . , XL) = H(X1) +H(X2|X1) + · · ·+H(XL|XL−1, . . . , X1)

=L∑i=1

H(Xi|Xi−1, . . . , X1).

Zauważmy, że zachodzenie H(Z|X) = 0, czyli w sytuacji gdy wynik X jednoznaczniedecyduje o wyniku Z – lub równoważnie: Z = f(X), gdzie f jest deterministycznątransformacją – oznacza, że obserwacja Z nie jest konieczna by określić niepewnośćdoświadczenia łącznego:

H(Z|X) = 0 ⇒ H(X,Z) = H(X). (4.16)

4.4 TEMPO ENTROPII. ENTROPIA ŹRÓDŁA INFORMACJI

Przypuśćmy, że dyskretny proces stochastyczny {X} jest źródłem informacji, generującymsymbole x ∈ X = {x1, x2, . . . , xm}. Niech {X} wysyła komunikaty w postaci ciągów Ltakich symboli:

xL = (x1, x2, . . . , xL) ∈ (X1, X2, . . . , XL) = XL.

Powstaje wtedy pytanie o to jak wraz z L zmienia się entropia generowanych w tensposób komunikatów, oraz o wielkość entropii samego źródła informacji. Ponieważ wartościentropii H(XL) = H(X1, X2, . . . , XL) różnią się w zależności od długości L, nie opisująone w pełni procesu {X}. Dlatego definiuje się tempo entropii (nazywane też entropiąźródła) jako miarę niepewności niezależną od długości komunikatów L.

Definicja Tempem entropii (lub entropią źródła) procesu stochastycznego {X} nazy-wamy wielkość wyrażoną wzorem:

H(X) := limL→∞

H(XL)L

= limL→∞

H(X1, X2, . . . , XL)L

, (4.17)

o ile taka granica istnieje.Zdefiniujmy również powiązaną z tempem entropii wielkość:

H ′(X) = limL→∞

H(XL|XL−1, XL−2, . . . , X1), (4.18)

o ile granica istnieje.Obie te wielkości, H(X) oraz H ′(X), stanowią w istocie dwa różne podejścia do opisu

idei tempa entropii. Pierwszą można rozumieć jako średnią informację źródła na symbol,drugą jako entropię ostatniej zmiennej losowej pod warunkiem wystąpienia wcześniejszych.Można udowodnić, że:


Twierdzenie 4.3 Jeśli {X} jest stacjonarnym procesem stochastycznym, wtedy granicewe wzorach (4.17) oraz (4.18) istnieją i są sobie równe:

H(X) = H ′(X). (4.19)

Dowód Zauważmy, że

H(XL+1|XL, . . . , X1) ¬ H(XL+1|XL, . . . , X2) = H(XL|XL−1, . . . , X1), (4.20)

gdzie nierówność wynika z faktu, że warunkowanie obniża niepewność, a równość ze stacjo-narności procesu. Skoro więc H(XL|XL−1, . . . , X1) jest nierosnącym ciągiem niezerowychliczb, posiada granicę, H ′(X). Z reguły łańcuchowej mamy:

H(X1, X2, . . . , XL) =L∑i=1

H(Xi|Xi−1, . . . , X1)

⇒ 1LH(X1, X2, . . . , XL) = 1

L

L∑i=1

H(Xi|Xi−1, . . . , X1). (4.21)

Entropie warunkowe dążą do H ′(X). Na podstawie tak zwanej średniej w sensie Cesáro:

aL → a ∧ bL = 1L

L∑i=1

ai ⇒ bL → a, (4.22)

wnioskujemy, że średnia wartość tych entropii warunkowych również zmierza do H ′(X).Ze wzorów (4.20) oraz (4.21) otrzymujemy zatem

H(X) = limL→∞

H(X1, X2, . . . , XL)L

= limL→∞

H(XL|XL−1, XL−2, . . . , X1) = H ′(X).

Zauważmy, że jeśliX1, X2, . . . , XL są niezależnymi zmiennymi losowymi o jednakowymrozkładzie, wtedy:

H(X) = limL→∞

H(X1, X2, . . . , XL)L

= limL→∞

L ·H(X1)L

= H(X1). (4.23)

Z zależności (4.23) wynika ważny wniosek:

Twierdzenie 4.4 (Równość entropii) Niech stacjonarny proces stochastyczny {X}generuje niezależne od siebie symbole xi ∈ Xi. Wtedy:

H(X) = H ′(X) = H(X). (4.24)

4.5 INFORMACJA WZAJEMNA

Informacja wzajemna to fundamentalne pojęcie teorii informacji, które określa ilościowozależność pomiędzy dwiema zmiennymi losowymi lub dwoma procesami stochastycznymi.Załóżmy, że {X} jest wejściem (źródłem, np. bodźcem) a {Z} wyjściem (np. obserwowanąodpowiedzią).


Rysunek 4.2 – Zależności pomiędzy entropią, entropią łączną i warunkową, oraz informacją wzajemną.

Definicja Informacja wzajemna pomiędzy procesami stochastycznymi {X} oraz {Z}wyraża się przez:

I(X;Z) := H(X)−H(X|Z) (4.25)= H(Z)−H(Z|X) (4.26)= H(X) +H(Z)−H(X,Z). (4.27)

Zauważmy dodatkowo, że:

I(X;Z) 0, (4.28)I(X;Z) = H(X,Z)−H(X|Z)−H(Z|X), (4.29)I(X;Z) = I(Z;X), (4.30)I(X;X) = H(X). (4.31)

Informacja wzajemna jest miarą podobieństwa zmiennych losowych lub procesówstochastycznych. Innymi słowy, jest miarą ilości informacji o jednej zmiennej losowejzawartej w drugiej, lub o jednym procesie w drugim. Jest wielkością symetryczną, zatemX mówi o Z tyle, co Z o X. Informacja wzajemna może być również rozumiana jako miararedukcji niepewności odnośnie jednego procesu, mając wiedzę na temat drugiego. Jestpojęciem kluczowym dla zdefiniowania przepustowości kanału komunikacyjnego. W tymsensie informacja wzajemna jest miarą efektywności transmisji. Ze względu na właściwośćopisaną wzorem (4.31), jest czasem nazywana informacją własną.

Przykład 4.5.1 (Ash, 1965) Przypuśćmy, że mamy dwie monety: jedną normalną, drugąz dwoma orłami. Najpierw losujemy jedną z monet, następnie rzucamy nią dwukrotniei jako wynik doświadczenia zapisujemy liczbę zaobserwowanych orłów. Chcemy dowiedziećsię jak dużo informacji o naturze rzuconej monety zawarte jest w liczbie uzyskanych orłów.

Wynik różny niż dwa orły jednoznacznie wskazuje na rzucenie zwykłej monety; zdrugiej strony, uzyskanie dwóch orłów faworyzuje monetę fałszywą. NiechX będzie zmiennąlosową przyjmującą wartość 0 lub 1, gdy, odpowiednio, wylosowano monetę normalną lubfałszywą; natomiast Y = {0, 1, 2} niech oznacza liczbę uzyskanych orłów.

Prawdopodobieństwa możliwych zdarzeń w tym eksperymencie są równe:

P(X = 0) = P(X = 1) = 12 ,


P(Y = 0) = 18 , P(Y = 1) = 1

4 , P(Y = 2) = 58 ,

P(X = 0 |Y = 0) = 1, P(X = 0 |Y = 1) = 1,

P(X = 0 |Y = 2) = 15 , P(X = 1 |Y = 2) = 4

5Początkowo, przed wykonaniem doświadczenia, niepewność wynosiH(X) = H(1

2 ,12) =

1 bit. Wraz z uzyskaniem informacji o liczbie wyrzuconych orłów, niepewność maleje do

H(X|Y ) = P(Y = 0)H(X|Y = 0) + P(Y = 1)H(X|Y = 1) + P(Y = 2)H(X|Y = 2)

= 18 · 0 + 1

4 · 0−58 · (

15 log 1

5 + 45 log 4

5)

= 0,45 bitów.

Zatem wynik eksperymentu zmniejsza niepewność o wartość

H(X)−H(X|Y ) = I(X;Y ) = 1− 0,45 = 0,55 bitów

równą ilości informacji o X zawartej w Y .

Znaczenie pojęcia informacji wzajemnej ujawnia się szczególnie w sytuacji, gdy jedenproces, na przykład {Z}, jest wynikiem transformacji innego, znanego procesu {X}, czyliX 7→ f(X) = Z. Przykładem takiej sytuacji jest ewolucja sygnału przesyłanego przezneuron.

4.6 KANAŁ KOMUNIKACYJNY. TWIERDZENIE SHANNONA

Komunikacja to wymiana informacji między wysyłającym a odbiorcą. To, że obie stronypomyślnie skomunikowały się, oznacza, że zgadzają się w kwestii tego co zostało prze-słane. W idealnym przypadku, odebrana wiadomość powinna być identyczna lub zgodnaz wysłaną. Komunikacja to jednak fizyczny proces, transmisja informacji podlega więcniekontrolowanym zniekształceniom. Zakłócenia te sprawiają, że dwa różne komunikatywejściowe mogą na wyjściu zostać odebrane tak samo – wtedy wysyłający i odbiorca nieporozumieją się. Udana komunikacja powinna więc przynajmniej umożliwiać rozróżnianieprzesyłanych informacji i wyodrębnianie ich z szumu.

Formalnie, medium służące wymianie informacji nazywa się kanałem komunikacyjnym.Jest to układ, w którym wyjście zależy probabilistycznie od wejścia. Wszelkie fizycznezakłócenia i utrudnienia w komunikacji określa się jako szum, lub zaszumienie. Właściwośćkanału komunikacyjnego, określającą jego zdolność do transmisji informacji, nazywa sięprzepustowością.

Definicja Niech {X} (wejście, źródło informacji) oraz {Z} (wyjście) będą dyskretnymiprocesami stochastycznymi. Przepustowość kanału komunikacyjnego oznacza się literą Ci definiuje jako:

C = maxP(x)

I(X;Z). (4.32)

Znaczenie pojęcia przepustowości kanału komunikacyjnego ilustruje fundamentalnew teorii informacji twierdzenie Shannona o kodowaniu.


Twierdzenie 4.5 (Shannona o kodowaniu) Jeżeli dla źródła w postaci dyskretnegoprocesu stochastycznego {X} oraz kanału komunikacyjnego o przepustowości C zachodzi:

H(X) < C,

wtedy informacje generowane przez X mogą być przesyłane tym kanałem z dowolnie małymprawdopodobieństwem błędu.

Przepustowość jest zatem górną granicą możliwości kanału komunikacyjnego dobezstratnego przesyłania informacji.

5ESTYMACJA ENTROPII

Digitalizacja danych 45 • Przegląd estymatorów 47: Naiwny estymator,Estymator Lempela–Ziva, Estymator Stronga • Wybór estymatora 49

Chcąc oszacować efektywność transmisji w komórkach neuronowych, lub w danej architek-turze sieci neuronowej, niezbędna w pewnym momencie jest estymacja entropii. Nieznanawielkość entropii uniemożliwia proste obliczenie informacji wzajemnej oraz pojemnościkanału komunikacyjnego. Estymacja staje się zatem konieczna. W ogólności nie jest tojednak zadanie łatwe. Poniżej opisano na czym polegają trudności związane z estymacjąentropii, zaprezentowano część z popularnych, najczęściej wykorzystywanych estymatorów,oraz przedstawiono który z nich wybrano do badań opisanych w niniejszej rozprawie.

5.1 DIGITALIZACJA DANYCH

Eksperymentalny odczyt aktywności neuronu zapisany jest w postaci analogowej, czyliciągłej. Chcąc zbadać lub przetworzyć go cyfrowo, należy go zdigitalizować. Proces tennazywa się próbkowaniem (ang. sampling) i polega na podziale sygnału analogowego nawąskie, rozłączne przedziały, a następnie przypisaniu każdemu z tych przedziałów wartościliczbowej, odpowiadającej interesującej nas cesze sygnału, najczęściej jego odczytanejwartości.

Formalnie, podział sygnału na dyskretne części nazywamy dyskretyzacją, a przypisanietym częściom wartości – kwantyfikacją. Próbkowanie jest w tym sensie realizacją tych dwóchetapów. Najczęściej też, próbkowanie rozpoczyna się od filtrowania sygnału analogowego(Pharr i Humphreys, 2004).

Proces próbkowania zamienia ciągły sygnał analogowy S o długości T do jego postacidyskretnej X. Niech próbkowanie rozpoczyna się w chwili t0, a szerokością przedziału jest∆t. Niech dodatkowo ∆t dzieli T bez reszty. Wtedy po próbkowaniu otrzymamy sygnałdyskretny:

S 7→ X = {S(t0 + ∆t), S(t0 + 2∆t), . . . , S(t0 + i∆t), . . . , S(t0 + T )}ozn.= {x1, x2, . . . , xi, . . . , xT/∆t},

gdzie S(t) jest interesującą nas cechą sygnału, na przykład jego wartością, w chwili tzawartej w odpowiednim przedziale (Gilmore i Lefranc, 2002; Lind i Marcus, 1996; Pharri Humphreys, 2004; Shannon, 1949).

45

ESTYMACJA ENTROPII 46

Rysunek 5.1 – Sposób w jaki digitalizowany (do ciągu binarnego, zer i jedynek) jest analogowy zapissygnału produkowanego przez aktywność neuronową.

W przypadku analogowego zapisu aktywności neuronu, digitalizację przeprowadza sięw taki sposób, aby wynikowy sygnał był ciągiem binarnym, czyli sekwencją zer i jedynek.W tym celu dobiera się odpowiednie kryteria dyskretyzacji oraz kwantyfikacji. Precyzyjnie,szerokość przedziałów ustala się tak, by w każdym z nich znalazł się co najwyżej jedenspike. Zwykle jest to 1ms gdyż tyle właśnie trwa potencjał czynnościowy, jednak istniejątutaj różne metody (Nemenman i in., 2004; Vu i in., 2007). Następnie, przypisujemy 1jeśli w danym przedziale impuls jest obecny, lub 0 w przeciwnym wypadku (MacKayi McCulloch, 1952; Shlens i in., 2007; Strong i in., 1998a,b).

W ten sposób digitalizujemy sygnał analogowy do ciągu zer i jedynek. Powszechnieuważa się, że wzorce występowania potencjałów czynnościowych są dominującym nośnikieminformacji aktywności neuronowej (Bialek i in., 1991; Mainen i Sejnowski, 1995; Rieke i in.,1999). W tym sensie, oba te sygnały, analogowy i cyfrowy, są sobie równoważne (Kenneli in., 2005; Nemenman i in., 2004; Strong i in., 1998a; Victor i Nirenberg, 2008). Taki sygnałmożna poddać dalszej analizie cyfrowej (Kennel i in., 2005; Shlens i in., 2007; Willemsi in., 1995), w szczególności, zbadać jego zawartość informacyjną (Paninski, 2003a,b).W tym celu konieczne jest estymowanie entropii ciągu reprezentującego sygnał, przy czymkluczowy jest wybór odpowiedniego estymatora.


5.2 PRZEGLĄD ESTYMATORÓW

Niech {Z} będzie dyskretnym procesem stochastycznym i niech zL ∈ ZL będzie obser-wowaną realizacją tego procesu o długości L. Niech K oznacza liczbę różnych symbolizaobserwowanych w zL, to znaczy K = |{z ∈ Z : P(z) > 0}|. Niech yk będzie liczbąpojawień się k-tego symbolu, k = 1, 2, . . . , K, i niech pk = yk/L oznacza obserwowaneprawdopodobieństwo wystąpienia tego symbolu.

Naiwny estymator

Literatura opisuje wiele różnych estymatorów entropii dla ogólnych sytuacji, w którychobserwowane K jest duże (co najmniej niebinarne). Podstawowym estymatorem częstojest tak zwany estymator naiwny (ang. naive, lub Maximum Likehood Estimator – MLE),polegający na zliczaniu obserwowanych częstości poszczególnych symboli i wyliczeniuentropii bezpośrednio na tej podstawie.

Definicja Estymator naiwny:

H MLE = −K∑k=1

pk log pk. (5.1)

Estymator naiwny jest szybki – działa w czasie liniowym. Otrzymany wynik jestdokładny, o ile obserwowane K jest małe, a badane ciągi symboli – długie. Estymatoranaiwnego zazwyczaj nie stosuje się do szacowania entropii dla danych eksperymentalnych,chyba że jako podstawę bardziej złożonego estymatora.

Estymator Lempela–Ziva

Innym podejściem do estymacji entropii (niż to oparte na zliczaniu częstości występowaniaposzczególnych symboli) jest badanie złożoności ciągów znaków. Klasyczną proceduręrealizuje w tym przypadku estymator Lempela–Ziva 1976. Przypisuje on łańcuchowisymboli pewną liczbę C, równą ilości niepowtarzalnych wzorców. Entropię oblicza sięnastępnie według wzoru:

Definicja Jeżeli dla obserwowanej realizacji procesu {Z} o długości L, ilość niepowta-rzalnych wzorców równa jest C, wtedy estymator Lempela–Ziva (LZ76) oblicza entropięprocesu według wzoru:

H LZ76 = ClogLL

, (5.2)

przy czym liczbę C uzyskuje się następująco: jeśli z1z2 · · · zi−1 jest łańcuchem niepowta-rzalnych wzorców, wtedy wzorzec zizi+1 · · · zj jest niepowtarzalny, o ile nie pojawia się onw łańcuchu z1z2 · · · zj−1.

Przykładowy podział danego binarnego łańcucha znaków na niepowtarzalne wzorcewedług tej procedury prezentuje Rys. 5.2.

Estymator Lempela–Ziva 76 szacuje entropię dokładniej niż inne, prostsze procedury.Potrzebuje na to jednak dużo więcej czasu – produkuje wyniki w czasie O(L2). Ma tospore znaczenie szczególnie dla długich ciągów.


01011010001101110010 → 0 | 1 | 011 | 0100 | 011011 | 1001 | 0

Rysunek 5.2 – Przykład podziału łańcucha znaków na niepowtarzalne wzorce według proceduryLempel–Ziv 1976.

Rysunek 5.3 – Schemat przebiegu procedury estymacji entropii metodą Stronga (1998). Dane poglą-dowe, l = 3. Czarne koła oznaczają punkty, przez które przechodzi dopasowana prosta, wyznaczającaestymowaną entropię H(Z).

Estymator Stronga

Innym sposobem szacowania entropii procesu jest estymator Stronga (1998). Proceduraestymacji w tym przypadku jest rozwinięciem koncepcji estymatora naiwnego, przy czymprzynosi znacznie lepsze rezultaty (większa dokładność uzyskanych wyników), nie wydłu-żając znacząco czasu obliczeń (działa w czasie liniowym).

Procedura estymacji metodą Stronga przebiega następująco (przykład na Rys. 5.3):

1 Obliczamy entropie łączne H(Z l) dla kilku kolejnych długości l = 1, 2, 3, . . .,

2 Dopasowujemy prostą do punktów (1l, H(Zl)

l),

3 Szukaną wartość entropii odczytujemy na przedłużeniu wyznaczonej prostej – w punk-cie (0, H(Z)).

Metoda Stronga różni się od pozostałych opisanych wcześniej tym, że jest estymatoremparametrycznym, co pokazuje punkt 1 procedury naszkicowanej powyżej. Nie ma to jednakwiększego znaczenia w praktyce, gdyż zazwyczaj wybiera się i ustala jedną, niezmiennąwartość l, obowiązującą w całym toku badań.

Estymator Stronga sprowadza się do kilkukrotnego zastosowania estymatora naiwnego– dla l = 1 procedury są tożsame. Złożoność obliczeniowa metody Stronga jest zatemproporcjonalna do złożoności estymatora naiwnego. Pamiętając, że l jest niewielkie, możnapominąć złożoność procedury dopasowania prostej (dowolną metodą), przyjmując, że jestona stała. Całkowita złożoność czasowa estymatora Stronga jest więc liniowa, O(L).

Intuicja podpowiada, że metoda Stronga prowadzi do co najmniej tak dobrychwyników, jak te uzyskiwane przy pomocy estymatora naiwnego. Doświadczenie potwierdzate przypuszczenia (Tab. 5.1). Skuteczność metody Stronga ukazuje graficznie Rys. 5.4.


Rysunek 5.4 – Dokładność estymacji entropii procedurą Stronga (1998) dla ciągu o rosnącej długości.Estymowana jest entropia procesu Bernoulliego z parametrem p równym 0,16. Entropię tego procesu,równą około 0,634, zaznaczono linią przerywaną, natomiast kolejne przybliżenia – linią ciągłą.

5.3 WYBÓR ESTYMATORA

W badaniach opisanych w niniejszej pracy testowano możliwości kilku estymatorów, w szcze-gólności tych wymienionych powyżej. Ostatecznie zdecydowano się na wybór estymatoraStronga (wartość parametru l przyjęto na równą 3) ze względu na dokładność uzyskiwanychprzy jego pomocy wyników, przy najlepszym możliwym – liniowym – rzędzie złożonościczasowej. Inne estymatory, na przykład LZ76, prowadziły nierzadko do bardziej precy-zyjnych wyników, ich złożoności czasowe wykluczały jednak praktyczne ich zastosowanie.Tabela 5.1 porównuje wyniki działania poszczególnych estymatorów.

Tabela 5.1 – Porównanie poszczególnych metod estymacji entropii. Oba procesy są binarne. Wartośćparametru l dla estymatora Stronga równa jest 3.

Proces długość L HMLE H LZ76 H Strong H(Z)

100 0,7015 0,6644 0,6798Bernoulli 1 000 0,6271 0,6378 0,6263 0,6098

10 000 0,6018 0,5966 0,6018

100 0,4690 0,5315 0,4682Markow 1 000 0,5178 0,5182 0,5065 0,4971

10 000 0,5029 0,4989 0,4957

6PRZYJĘTE TECHNOLOGIE I IMPLEMENTACJA

Przygotowania 50 • Program główny 53: Struktura oprogramowania, Maszynyobliczeniowe • Prezentacja wyników 58

Przygotowane oprogramowanie podzielić można na trzy części. Każda z nich odpowiadaróżnym etapom symulacji (Rys. 6.1):

1 Przygotowanie symulacji – określenie zakresu wartości parametrów i następnie podziałzadań w zależności od liczby dostępnych procesorów (Sekcja 6.1),

2 Obliczenia, czyli etap właściwy symulacji, kiedy prowadzone są obliczenia dla wszyst-kich parametrów z zadanego zakresu (6.2),

3 Opracowanie wyników – sczytywanie zapisanych wyników, wstępne ich opracowanieoraz ostatecznie sporządzenie wykresów i tabel (6.3).

Największe wyzwania programistyczne napotkano przy tworzeniu oprogramowaniagłównego, służącemu prowadzeniu symulacji. Na tym etapie zaimplementowano przedewszystkim:

• model neuronu Levy–Baxter zgodnie z opisem w Sekcji 3.4 i schematem na Rys. 3.6,

• model sieci neuronowej typu feed–forward,

• model sieci typu brain–like (Sekcja 3.5 oraz Rys. 3.7) wraz z rozszerzeniem modelukomórki Levy–Baxter dla tej sieci (Rys. 3.8),

• estymator entropii metodą Stronga (Sekcja 5.2, procedura na str. 48; Rys. 5.3).

6.1 PRZYGOTOWANIA

Symulacje, po wyborze zakresów parametrów, rozpoczynają się od wykonania skryptunapisanego w środowisku Matlab, brains-check.m (Kod 6.1). Skrypt ten po pierwszesprawdza które zestawy parametrów z zadanego zakresu nie zostały jeszcze policzone. Podrugie, rozdziela zaplanowane zadania pomiędzy dostępne procesory (wątki) maszyny, naktórej obliczenia mają być wykonywane. Po rozdzieleniu zadań, skrypt tworzy odpowiedniąilość plików wsadowych (.bat), w liczbie równej ilości dostępnych do obliczeń procesorów.

50

PRZYJĘTE TECHNOLOGIE I IMPLEMENTACJA 51

Rysunek 6.1 – Schemat całości oprogramowania symulacyjnego. Program można podzielić na trzyczęści. Obliczenia główne wykonywane są w części drugiej.

W przypadku gdy w zadanym zakresie zostały policzone już wszystkie zestawyparametrów, skrypt nie utworzy żadnych plików wsadowych. Jeżeli chcemy dany zakrespoliczyć ponownie, czyli nadpisać uzyskane wcześniej wyniki, korzystamy z nieznaczniezmienionego skryptu brains-make.m.

Takie rozwiązanie uznano za optymalne po testach przeprowadzonych w pierwszejfazie badań. Początkowo napisane oprogramowanie prowadziło symulacje w inny sposób.Mianowicie, proces obliczeń oraz rozdział poszczególnych zadań odbywały się jednocze-śnie, to znaczy zarządzał tym ten sam program, rozpoczynając nowy wątek gdy tylkoktóryś z dostępnych procesorów zwalniał się. Takie podejście okazało się jednak bardziejczasochłonne – znacznie korzystniejsze w praktyce jest podzielenie zadań jeszcze przedrozpoczęciem właściwego procesu symulacji.

Kod źródłowy 6.1: brains-check.m – skrypt przygotowujący symulacje dla zadanych zakresówparametrów. Dla każdego zestawu parametrów tworzy osobne zadanie, listę wszystkich zadań dzieli naokreśloną liczbę procesorów.

1 function bat = brains -check (filename , g, r, b, s, f, parts)2

3 [ source_size , cells , len] = brains - getparams ( filename );4 nodes = cells / 2;5

6 bat = cell( length (g), length (r), length (b));7 res = 0;8

9 t = tic;10


11 % tworzy listę brakujących punktów symulacji12 for gi = 1: length (g)13 for ri = 1: length (r)14 for bi = 1: length (b)15 fprintf ('%.2f %.2f %.2f [%.2f sec .] ', g(gi), r(ri), b(bi)

, toc(t));16 i = 0;17 for si = 1: length (s)18 for fi = 1: length (f)19 path = sprintf ('..\\..\\ results \\ brains2013 \\ data

\\en \\% dN_%dB_%dL \\%s\\%.2f\\%.2f\\%.2f\\%.2f\\%.2f\\ ', nodes ,source_size , len , filename , g(gi), r(ri), b(bi), s(si), f(fi));

20 listing = dir(path);21 if length ( listing ) < 322 i = i+1;23 batp = sprintf ('brains2013 %s %.2f %.2f %.2f

%d %.2f', filename , f(fi), s(si), g(gi), r(ri), b(bi));24 res = res + 1;25 bat{gi , ri , bi} = sprintf ('%s%s\n', bat{gi ,

ri , bi}, batp);26 end27 end28 end29 if i > 030 fprintf ('\t\ tmissing %d points ... ', i);31 end32 fprintf ('\n');33 end34 end35 end36

37 % dzieli listę brakujących punktów symulacji na części w zależnościod liczby zadanych procesorów i zapisuje podzielone listy doplików wsadowych

38 if res > 039 fprintf ('\ ntotal points missing :\t\t\t%d\n', res);40

41 if parts > res42 parts = res;43 end44

45 tmp = '';46 for gi = 1: length (g)47 for ri = 1: length (r)48 for bi = 1: length (b)49 if ~ isempty (bat{gi , ri , bi})50 tmp = sprintf ('%s%s', tmp , bat{gi , ri , bi});51 end52 end53 end54 end55

56 tmp = regexp (tmp , '\n', 'split ');57 bat = cell(parts , 1);58

59 for i = 1: length (tmp)


60 bat{mod(i, parts)+1} = sprintf ('%s%s\n', bat{mod(i, parts)+1}, tmp{i});

61 end62

63 for i = 1: parts64 bat{i} = bat{i}(1: length (bat{i}) -1);65

66 fid = fopen( sprintf ('bat \\%d.bat ', i), 'w');67 fprintf (fid , bat{i});68 fclose (fid);69 end70 end71

72 % tworzy zbiorczy plik wsadowy73 fid = fopen('bat \\ _all.bat ', 'w');74 for i = 1: parts75 fprintf (fid , sprintf ('start /min / belownormal %d.bat\n', i));76 end77 fclose (fid);78

79 % wyświetla informację o upływie czasu80 fprintf ('\ntime elapsed :\t\t\t\t\t%.2f sec. [%s]\n', toc(t), datestr (

rem(now ,1)));

6.2 PROGRAM GŁÓWNY

Główne oprogramowanie symulacyjne napisano w Języku D. Jest to stosunkowo nowy,wieloparadygmatowy język programowania, opracowany przez Waltera Brighta, zasłużonegotwórcę kompilatorów C/C++, w tym pierwszego natywnego, Zortech C++. D umożliwiaprogramowanie obiektowe, imperatywne oraz metaprogramowanie. W języku D możnapłynnie przechodzić od programowania wysokopoziomowego do assemblera. Składnia orazmożliwości języka D wzorowane są na C/C++, C#, Javie oraz innych.

Język D został wybrany do realizacji badań opisanych w tej rozprawie przede wszyst-kim ze względu na swoją największą zaletę – szybkość działania programów wykonawczych.Szybkość ta porównywalna jest z programami napisanymi w C, a nawet przewyższa ją.Dzieje się tak ze względu na stosowanie różnych technik optymalizacji już na poziomiekompilatora; możliwe jest również obliczanie niektórych wartości zmiennych w trakciekompilacji. Sam kod źródłowy tworzy się przy tym znacznie łatwiej i sprawniej niż w C;proces kodowania w języku D nie ustępuje w prostocie i wygodzie pisania środowiskomC++ lub C#.

W pierwszej fazie badań próbowano napisać potrzebne oprogramowanie symulacyjnew Javie, ze względu na przejrzystość kodu. Szybko jednak z tego zrezygnowano. Czastrwania obliczeń okazał się jednak bardzo długi.

Za główne, priorytetowe zadanie uznano optymalizację oprogramowania pod kątemjak najkrótszego czasu realizacji symulacji. Oczywistym kierunkiem poszukiwań stał sięjęzyk C, a krótko potem, ostatecznie wybór padł na język D. Dzięki tej decyzji, w stosunkudo pierwotnego pomysłu napisania oprogramowania w Javie, niektóre krytyczne fragmentyprogramu udało się przyspieszyć ponad stukrotnie.


Struktura oprogramowania

Pojedyncze uruchomienie programu wywołuje oddzielny wątek, obliczający wartości szu-kanych wielkości dla jednego zestawu parametrów z wybranego zakresu. Przebiega tow następującym porządku: tworzony jest obiekt klasy Brains, inicjowany zadeklarowanymiwartościami parametrów. Konstruktor klasy wywołuje wtedy metodę run() (Kod 6.2),rozpoczynając obliczenia w nowym wątku. Następnie wykonywane są kolejno działaniapokazane na Rysunku 6.1. Generowanie źródła ilustruje Kod 6.3; aktywacja komórki(w sieci brain–like) odbywa się tak, jak pokazano w Kodzie 6.4; entropie estymuje Kod 6.5.

Wspomnianymi parametrami są: synaptic success s ∈ [0, 1] ⊂ R, firing rate fr ∈[0, 1] ⊂ R, wysokość progu g ∈ R0, wielkość źródła n ∈ N+ oraz długość trajektoriiprocesu L ∈ N+. Oprócz tego decydujemy o architekturze sieci. Jeśli wybór pada nasieć feed–forward, dobieramy odpowiednią liczbę neuronów; jeśli rozpatrujemy sieć typubrain–like, określamy ilość węzłów, geometryczną wielkość sieci r ∈ N+, oraz relatywnąsiłę oddziaływania neuronów hamujących do pobudzających b ∈ R0.

Szczegóły dotyczące możliwej parametryzacji symulacji zamieszczone są w Rozdziale7 opisującym Wyniki, w Tabelach 7.1 (sieć feed–forward), oraz 7.6 (sieć brain–like).

Kod źródłowy 6.2: brains.d, linie: 82–183 – metoda Brains:run().

82 private void run () {83 Sequence input = new Bits[ length ];84 input = bernoulliProcess (this.p, this. entries );85 double hx = bernoulliEntropy (this.p, this. entries );86 writefln ("hx =%.2f;", hx);87

88 Sequence output = new Bits[ length ];89 output = spikeGenerator (input);90

91 Sequence pout = new Bits[ length ];92

93 double [] hz , hxz , mi;94 hz. length = this. neurons ;95 hxz. length = this. neurons ;96 mi. length = this. neurons ;97

98 writef ("neur: ");99 for (int i=0; i<this. neurons ; i++)

100 writef ("%7d", i);101

102 Length [] fr;103 fr. length = this. neurons ;104

105 for (int i=0; i<this. neurons ; i++) {106 mi[i] = 0.0f;107 pout = seqPart (output , [i]);108 fr[i] = intFiringRate (pout);109 if (fr[i] > this.acc) {110 hz[i] = strongEntropy (pout , 2);111 foreach (j, ref elem; pout)112 elem += (input[j] << 1);113 hxz[i] = strongEntropy (pout , 2);114 mi[i] = hx + hz[i] - hxz[i];


115 if (mi[i] < this.eacc)116 mi[i] = 0.0f;117 }118 }119

120 writef ("\nfr: ");121 for (int i=0; i<this. neurons ; i++)122 writef ("%7s", fr[i] > 0 ? format ("%7d", fr[i]) : " - ");123 writef ("\nfrs: ");124

125 double [] tmpa;126 tmpa. length = this. neurons ;127

128 double [] theta;129 theta. length = this. neurons ;130 double tmp = 0.0f;131 Length frs = 0;132 bool src = false;133 for (int i=0; i<this. neurons ; i++) {134 tmp = 0.0f;135 frs = 0;136

137 for (int k=0; k<this. neurons ; k++)138 if (this. connections [k][i] == 1)139 frs += fr[k];140

141 writef ("%7s", frs > 0 ? format ("%7d", frs) : " - ");142

143 tmpa[i] = frs / cast( double )this. length ;144

145 if ((( this. readInput >> i) & 0x01) == 1)146 tmp = this. entries * this.p;147

148 if (i%2 == 0)149 tmp -= this.att * (fr[i+1] / cast( double )this. length );150

151 tmp += tmpa[i];152 tmp *= this.s;153 tmpa[i] = tmp;154

155 theta[i] = 0.0f;156 if (tmpa[i] > 0.0f)157 theta[i] = mi[i] / tmpa[i];158 }159

160 string [] resPath ;161 resPath . length = this. neurons ;162

163 foreach (i, path; resPath ) {164 path = this. basePath ~ std. string . rightJustify ( format ("%d.dat

", i), 3, '0');165 std.file.write(path , "");166 append (path , format ("%.5f\t%d\t%.5f", mi[i], fr[i], theta[i])

);167 }168


169 writef ("\nmi: ");170 for (int i=0; i<this. neurons ; i++)171 writef ("%7s", mi[i] > 0.0f ? format ("%7.4f", mi[i]) : " -

");172 writef ("\ntmpa: ");173 for (int i=0; i<this. neurons ; i++)174 writef ("%7s", tmpa[i] > 0.0f ? format ("%7.4f", tmpa[i]) : "

- ");175 writef ("\nth: ");176 for (int i=0; i<this. neurons ; i++)177 writef ("%7s", theta[i] > 0.0f ? format ("%7.3f", theta[i]) : "

- ");178 writefln ("\n");179

180 delete input;181 delete output ;182 delete pout;183 }

Kod źródłowy 6.3: brains.d, linie: 203–218 – część głównego programu obliczeniowego, odpowie-dzialna za generowanie źródła informacji dla zadanej jego wielkości entries oraz prawdopodobieństwap. Druga z funkcji, identycznie parametryzowana, oblicza entropię źródła.

203 private Sequence bernoulliProcess ( double p, ushort entries ) {204 Sequence seq;205 seq. length = this. length ;206 foreach (ref elem; seq) {207 elem = 0;208 for (ubyte i=0; i< entries ; i++)209 if (!( uniform (0.0f, 1.0f, this.gen) > p))210 elem += pow(cast(ulong)2,i);211 }212 return seq;213 }214

215 private double bernoulliEntropy ( double p, ushort entries ) {216 if (p==0.0F || p==1.0F) return 0.0F;217 return ( -1.0F) * (cast( double ) entries ) * (p*log2(p) + (1.0F-p)*

log2 (1.0F-p));218 }

Kod źródłowy 6.4: brains.d, linie: 220–266 – część programu głównego, implementacja funkcjiaktywacji dla wszystkich neuronów w sieci, tak zwany spike generator.

220 private Sequence spikeGenerator ( Sequence input) {221 double sum = 0.0F;222 int dlay = 0;223 Bits entry = 0;224

225 Sequence output = new Bits[input. length ];226

227 for (int i=0; i<input. length ; i++) {228 output [i] = 0;229 for (int j=0; j<this. neurons ; j++) {


230 entry = 0;231 dlay = 0;232 sum = 0.0F;233

234 // excitation received from the information source235 if ((( this. readInput >> j) & 0x01) == 1) {236 entry = input[i];237 for (int k=0; k<this. entries ; k++) {238 if ((( entry >> k) & 0x01) == 1)239 sum += failureChannel () * fluctuation (0.0F,

1.0F);240 }241 }242

243 // excitation passed from other cells244 for (int k=0; k<this. neurons ; k++) {245 dlay = 0;246 entry = 0;247 if (this. connections [k][j] != 0) {248 dlay = delay(k,j);249 entry = 0;250 if (i-dlay >= 0) entry = output [i-dlay ];251 if ((( entry >> k) & 0x01) == 1) {252 if (this. connections [k][j] == 1)253 sum += failureChannel () * fluctuation (0.0

F, 1.0F);254 else if (this. connections [k][j] == -1)255 if (this.att < 0)256 sum += failureChannel () * fluctuation

(this.att , 0.0F);257 }258 }259 }260

261 if (sum >= this.spike)262 output [i] += pow(cast(ulong)2,j);;263 }264 }265 return output ;266 }

Kod źródłowy 6.5: brains.d, linie: 325–349 – część głównego programu obliczeniowego, implemen-tująca procedurę estymacji entropii metodą Stronga (1998).

325 private double strongEntropy ( Sequence sequence , int cnt) {326 double [] entropies ;327 entropies . length = cnt;328 foreach (byte i, ref entropy ; entropies )329 entropy = strong (sequence , i+1);330

331 return leastSquares ( entropies );332 }333

334 private double strong ( Sequence sequence , int word) {335 Length len = sequence . length ;


336 Length [Bits []] symbol ;337

338 for (uint i=0; i<len -word +1; i++)339 symbol [cast( immutable )( sequence [i..(i+word)]) ]++;340

341 double entropy = 0.0F;342 double tmp = 0.0F;343 foreach ( Length cnt; symbol ) {344 tmp = cnt/cast( double )(len -word +1);345 entropy -= tmp*log2(tmp);346 }347

348 return entropy /cast( double ) word;349 }

Maszyny obliczeniowe

Symulacje okazały się czasochłonne i wymagały dużych zasobów. Obliczenia dla jednejarchitektury sieci dla pełnego zakresu parametrów pochłaniały – w zależności od wielkościsieci oraz stopnia jej skomplikowania – od kilkunastu godzin do kilku dni. W fazie testówta procedura jeszcze dodatkowo wydłużała się. Obliczenia generowały też znaczną ilośćdanych.

Symulacje, po fazie testów, prowadzono głównie na dwóch maszynach:

1 serwer: 16 procesorów 2,67 GHz, 64 GB pamięci RAM,

2 stacja: 8 procesorów 3,06 GHz, 16 GB pamięci RAM.

6.3 PREZENTACJA WYNIKÓW

Opracowania wyników symulacji dokonano przy użyciu oprogramowania Matlab. Powstałow tym celu ponad sto skryptów różnej długości. Programy te, oprócz skryptów pomocni-czych, w większości służą: przygotowaniu symulacji dla zadanych zakresów parametrów,sczytywaniu danych (wyników symulacji) oraz prezentacji wyników w formie wykresówlub tabel (przykładowo Kod źródłowy 6.6). Wykresy zapisywano w formacie wektorowym.svg, tak aby uzyskać jak najlepszą jakość obrazu (poprzez zapewnienie dowolności doboruskali). W tym celu zapis realizowano przy pomocy skryptu plot2svg.m, autorstwa JuergaSchwizera.

Końcowy retusz i ujednolicenie wykresów wykonano w programie Inkscape, służącymdo graficznej obróbki obrazów wektorowych. Opisy diagramów i osi, legendy, oznaczenia,etykiety oraz komentarze wstawiono do wykresów przy użyciu wtyczki textext, pozwa-lającej na integrowanie łańcuchów znaków składanych w LATEX-u (na przykład wzorówi symboli matematycznych) w obrazach wektorowych. Gotowe wykresy konwertowanoi zapisywano ostatecznie do formatu .pdf. Zbliżoną procedurę stosowano również podczastworzenia wszystkich innych, niebędących wykresami grafik i rysunków. Wszystkie źró-dłowe pliki tekstowe składano przy pomocy narzędzi LATEX2ε i kompilowano programempdflatex, bezpośrednio do finalnego dokumentu .pdf.


Kod źródłowy 6.6: plotcontour.m – skrypt rysujący wykres izoliniowy.

1 function res = plotcontour (filename , g, r, b, neuron )2

3 % gęstość siatki4 f_st = 21; s_st = 21;5

6 % akwizycja danych7 Z = brains_getcdata (filename , 'm', g, r, b, neuron );8 Z = Z{1}9

10 maxval = 1.5;11

12 div = 2;13 tick = 1/25;14 minorTick = tick/div;15 V = 0: minorTick : maxval ;16 density = 2/ minorTick ;17

18 % usuwanie artefaktów19 Z(Z <0) = 0;20 Z(Z <1/ density ) = 1/ density ;21

22 % wykres23 [X,Y] = meshgrid (0:1/( f_st -1) :1, 0:1/( s_st -1) :1);24 [C,h] = contour (X, Y, Z, V);25 xlabel ('$f_r$ ', 'Interpreter ', 'latex ', 'fontsize ', 12);26 ylabel ('$s$ ', 'Interpreter ', 'latex ', 'fontsize ', 12);27

28 set(gca , 'xtick ' ,0:.2:1);29 set(gca , 'ytick ' ,0:.2:1);30

31 % grubości lini32 set(h, 'LineWidth ', .4);33 set(gca , 'LineWidth ', 1, 'fontsize ', 8);34

35 % kolory36 caxis ([ maxval maxval +1]);37 colormap (gray( maxval / minorTick ));38

39 set(gca , 'ZLim ' ,[0 maxval ]);40 set(gca , 'ZTick ' ,0:0.25: maxval );41

42 hold on43 V = 0:5* minorTick : maxval ;44 [C,h] = contour (X, Y, Z, V);45 set(h, 'LineWidth ', 1);46 set(gcf , 'units ','centimeters ')47

48 set(gcf , 'PaperUnits ', 'centimeters ');49 set(gcf , 'PaperSize ', [10.5 8.5]);50 set(gcf , 'PaperPositionMode ', 'manual ');51 set(gcf , 'PaperPosition ', [ -0.6 0 12 9]);52

53 % gwarancja formatu wektorowego54 set(gcf , 'renderer ', 'painters ');


55

56 % zapis do formatu wektorowego57 plot2svg ( sprintf ('%s.svg ', filename ), gcf , 'png ');58

59 % czyszczenie60 delete (gca);61 clf(gcf);62 delete (gcf);

7WYNIKI

Pojedynczy neuron i sieć feed–forward 62: Efekty synaptic failure, Wysokośćprogu aktywacji, Zależność od źródła informacji • Fluktuacje amplitudy 71• Sieć brain–like 75: Wielkość sieci, Neurony hamujące, Połączenia long–range

W tym Rozdziale zaprezentowane zostały wyniki badań, zawarte oryginalnie w artykułach:Paprocki i Szczepanski (2011, 2013a,b) i Paprocki i in. (2013). Wyniki opisano w porządkuchronologicznym, według czasu publikacji odpowiadającego im artykułu.

Na początku (Sekcja 7.1) rozpatrywano pojedyncze neurony Levy–Baxter oraz prostesieci feed–forward złożone z tych komórek. Wyniki opublikowano w czasopiśmie BioSystems(Paprocki i Szczepanski, 2011). Zbadano je pod kątem optymalizacji transmisji informacjize względu na zmiany częstości aktywacji komórek, szumu synaptycznego oraz wysokościprogu aktywacji. Opisano również wpływ różnych typów źródeł informacji. Szczegółowy opismodelu Levy–Baxter i znaczenie występujących w nim parametrów znajduje się w Sekcji3.4 oraz na Rys. 3.6.

W drugim etapie (Sekcja 7.2) uwagę skupiono na wpływie fluktuacji amplitudyw sieciach feed–forward zbudowanych z komórek Levy–Baxter. Artykuł opisujący te badaniawydany został w Neurocomputing (Paprocki i Szczepanski, 2013a). Krótki przegląd wynikówz dwóch pierwszych publikacji sporządzono w artykule wydanym w BMC Neuroscience(Paprocki i in., 2013).

Jako ostatnie (Sekcja 7.3) przeprowadzono badania dla rozszerzonych sieci innegotypu, tak zwanych brain–like, modelujących (w uproszczony sposób) rzeczywiste struk-tury występujące w mózgu. Efektywność transmisji informacji neuronów pobudzających,z uwzględnieniem kosztów energetycznych, zbadano jako funkcję: geometrycznej wielkościsieci oraz związanych z nią opóźnień w komunikacji, hamowania (ang. inhibition) o różnejsile, dostępu do źródła informacji danej komórki, występowania w strukturze sieci dodat-kowych połączeń typu long–range. Wyniki opublikowano w czasopiśmie Brain Research(Paprocki i Szczepanski, 2013b). Model brain–like, wraz z parametrami, opisano w Sekcji3.5 oraz na Rys. 3.7. Dodatkowo, na Rys. 3.8 pokazano schemat rozszerzenia modeluLevy–Baxter na potrzeby sieci typu brain–like.

61

WYNIKI 62

Tabela 7.1 – Zestawienie parametrów symulacji dla pojedynczych komórek i sieci typu feed–forward.Podane zmiany częstości aktywacji (ang. firing rate, parametr fr) dotyczą niezależnego wejściowegoprocesu (Bernoulliego); natomiast w przypadku procesu zależnego (Markowa) fr zmienia się w tensam sposób, jednak zaczynając od wartości minimalnej równej p01/(p01 + 1). Na podstawie Paprockii Szczepanski (2011).

Grupa Parametr Oznaczenie Zakres Użyte wartości

Źródłodługość ciągów L N+ 220 = 1 048 576firing rate fr [0, 1] ⊂ R 0, 0,01, 0,02, . . ., 0,99, 1wielkość źródła n N+ 3 lub 5

Neuron synaptic success s [0, 1] ⊂ R 0, 0,01, 0,02, . . ., 0,99, 1wysokość progu g 0–100% 5, 10, 15, . . ., 45, 50, 60, 70, 80, 90 [%]

Sieć liczba komórek m N+ 1, 3 lub 5badane sieci n×m N2

+ 3× 1, 5× 1, 3× 3, 5× 5

7.1 POJEDYNCZY NEURON I SIEĆ FEED–FORWARD

Efekty synaptic failure

Komunikacja, jako fizyczny proces wymiany informacji, jest nieodłącznie obciążona przy-padkowymi zakłóceniami. W komunikacji neuronowej zakłócenia te najczęściej objawiająsię w postaci szumu synaptycznego (Destexhe i Rudolph-Lilith, 2012), który jest wynikiemlosowej natury synaps (Sekcja 2.3). Stopień zaszumienia synaptycznego w rozpatrywanymmodelu komórki nerwowej kontrolowany jest przez parametr s (im większe s, tym mniejszumu; s = 1 oznacza brak zaszumienia).

Intuicyjnie, parametr s (synaptic success) pomaga komórce w przesyłaniu informacji –jego duża wartość zwiększa prawdopodobieństwo, że sygnał wejściowy nie zniknie w szumiesynaptycznym; mała wartość ułatwia natomiast bezpowrotną utratę sygnału wejściowego.Należałoby się zatem spodziewać, że im wartość s jest bliższa jedności (maksymalnejwartości), tym więcej informacji neuron przesyła i transmisja jest bardziej efektywna;odwrotnie, im s jest mniejsze, bliższe zeru, tym mniej impulsów skutecznie przechodziprzez synapsy, zmniejszając efektywność transmisji.

Okazuje się jednak w wielu przypadkach, że zmniejszenie wartości s powoduje zacho-wanie neuronu przeciwne do intuicyjnego. Wyniki pokazują, że szum synaptyczny częstopoprawia efektywność transmisji (w sensie wartości informacji wzajemnej jako miary tejefektywności) w neuronach Levy–Baxter (2002) oraz sieciach tych komórek. Efekt tenwidoczny jest dla małych progów aktywacji (Tabela 7.2).

Jak pokazuje Tabela 7.2, głównie wielkość źródła wydaje się mieć wpływ na wystę-powanie wspomnianego efektu poprawy efektywności transmisji dzięki obecności szumusynaptycznego. Ilość neuronów ma mniejszy wpływ. Dlatego sieć 5 × 5 (pięć neuronówpobudzanych źródłem pięciu procesów) jest tutaj najciekawszym przykładem. Rysunek 7.1ilustruje ten efekt dla sieci 5× 5 dla sześciu najniższych progów aktywacji.

Rysunek 7.1 pokazuje dodatkowo silną zależność występowania omawianego zjawiskaod wysokości progu aktywacji. Im niższy próg, tym efekt ujawnia się dla szerszego zakresuczęstości aktywacji. Co więcej, dla mniejszych progów aktywacji obserwuje się, przy

WYNIKI 63

Rysunek 7.1 – Informacja wzajemna w sieci feed–forward 5× 5 (pobudzana procesem niezależnym)w funkcji częstości aktywacji fr oraz synaptic success s dla sześciu najniższych progów aktywacji. Szumsynaptyczny potrafi poprawić efektywność transmisji informacji – szczególnie dla niewielkich progów glub większych częstości aktywacji fr . Na podstawie Paprocki i Szczepanski (2011).

ustalonej wartości fr, ogólnie większe różnice pomiędzy maksymalną informacją wzajemną,a tą osiąganą dla s = 1 (bez szumu synaptycznego). Skalę tych różnic widać wyraźniena Rysunku 7.2, pokazującym (dla wszystkich trzech badanych typów źródeł informacjiw sieciach 5×5) przekroje wykresów informacji wzajemnej, dla częstości aktywacji ustalonejna 0,6. W każdym z tych trzech przypadków informacja wzajemna maksymalizuje się dlazaskakująco małych wartości s, s < 0,4.

Dowodzi to, że efektywność transmisji w sieciach tego typu bywa optymalizowanaw warunkach znacznego zaszumienia synaptycznego, czyli intuicyjnie niekorzystnych – na

WYNIKI 64

Rysunek 7.2 – Zależność informacji wzajemnej od parametru synaptic success s w sieci feed–forward5× 5. Proces Bernoulliego (góra); proces Markowa z parametrem p01 = 0,05 (środek); proces Markowaz parametrem p01 = 0,1 (dół). W lewej kolumnie widok na przekroje wzdłuż progu równego 5%; z prawej,dodatkowo przekroje wzdłuż fr = 0,6. We wszystkich przypadkach informacja wzajemna maksyma-lizuje się dla s mniejszych od 0,4, osiągając wartości dwukrotnie większe niż dla niezaszumionychsynaps, s = 1. Na podstawie Paprocki i Szczepanski (2011).

przykład gdy połowa (lub nawet dwie trzecie) sygnałów ginie w szumie. Co więcej, teoptymalne wartości mogą być nawet ponad dwukrotnie większe niż te osiągane w warunkachbraku jakichkolwiek synaptycznych zakłóceń (to znaczy gdy s = 1). Rysunek 7.3 porównujewartości maksymalne informacji wzajemnej z tymi osiąganymi dla s = 1 – dla wszystkichczęstości aktywacji oraz typów źródeł.

Rysunek 7.4 pokazuje ostatecznie, że opisywane sieci feed–forward zbudowane z ko-

WYNIKI 65

Rysunek 7.3 – Porównanie maksymalnych wartości informacji wzajemnej (kropki), z tymi osiąganymidla s = 1 (linia ciągła), w sieci 5× 5 z progiem 5%. Wielkość kropek jest proporcjonalna do 1− s, zatemim większa kropka, tym odpowiadająca danej kropce wartość informacji wzajemnej osiągana jest dlamniejszego s. Proces Bernoulliego (góra); proces Markowa z parametrem p01 = 0,05 (środek); procesMarkowa z parametrem p01 = 0,1 (dół). Na podstawie Paprocki i Szczepanski (2011) oraz w częściPaprocki i in. (2013).

Tabela 7.2 – Maksymalne wartości progów aktywacji, dla których widoczny jest efekt zwiększaniaefektywności transmisji w obecności szumu synaptycznego. Na podstawie Paprocki i Szczepanski (2011).

Typ źródła Sieć n×m. Wysokość progu aktywacji [%]3× 1 5× 1 3× 3 5× 5

Bernoulli 5 20 10 30Markow, p01 = 0,05 5 20 10 30Markow, p01 = 0,1 5 20 10 30

mórek Levy–Baxter wymagają niezerowego zaszumienia synaptycznego do maksymalizacjiinformacji wzajemnej (jest tak przynajmniej dla dużych sieci tego typu, 5× 5, oraz dlaniewielkich progów aktywacji), niezależnie od źródła informacji. Widać bowiem wyraźnie,że globalnie (czyli po wszystkich częstościach fr) największe wartości informacji wzajemnejosiągane są w warunkach s < 1. Jeśli rozpatrywać takie sieci jako kanały komunikacyjne,wynik ten ma bezpośrednie przełożenie na ich szacowaną pojemność. Prowadzi to doważnego wniosku: transmisja informacji w omawianych strukturach neuronowych jestnajbardziej efektywna w obecności szumu synaptycznego.

Szum synaptyczny może znacząco utrudnić neuronom transmisję informacji (Whitei in., 2000; Winterer i Weinberger, 2004). Ostatnio coraz częściej jednak rozważa sięrównież jego przydatność i obserwuje niekoniecznie tylko negatywny jego wpływ (Er-mentrout i in., 2008; Stacey i Durand, 2001; Toutounji i Pipa, 2014; Volgushev i Eysel,

WYNIKI 66

Rysunek 7.4 – Przekroje wykresów zależności I(s, fr) wzdłuż tych częstości aktywacji fr , dla którychinformacja wzajemna w sieci 5× 5 z progiem 5% jest globalnie maksymalizowana. Proces Bernoulliego(góra); proces Markowa z parametrem p01 = 0,05 (środek); proces Markowa z parametrem p01 = 0,1(dół). Dla wszystkich trzech typów źródeł informacji optymalna transmisja osiągana jest dla s < 1, czyliw obecności szumu synaptycznego. Na podstawie Paprocki i Szczepanski (2011).

2000). Wyniki zaprezentowane w tej rozprawie potwierdzają pozytywną rolę szumu synap-tycznego. Obecność szumu może znacznie poprawić komunikację neuronową, zwiększającefektywność transmisji nawet ponad dwukrotnie (Rys. 7.2 i 7.3). Przypadki niektórych,dużych rozpatrywanych sieci pokazują nawet, że niezerowe zaszumienie wymagane jest domaksymalizacji efektywności (Rys. 7.4). Efekty związane z poprawą efektywności transmisjiinformacji w towarzystwie szumu synaptycznego są wyraźniejsze zwykle dla niewielkichprogów aktywacji (Rys. 7.1).

WYNIKI 67

Rysunek 7.5 – We wszystkich czterech rozpatrywanych architekturach sieci informacja wzajemnazależy w sposób niemonotoniczny od wysokości progu aktywacji g. Lokalne ekstrema, niezależnieod typu źródła informacji, występują dla progów g = 100

n %, gdzie n jest wielkością źródła (g = 1w jednostkach absolutnych) – jednak dla największej sieci, 5× 5, część tej regularności jest utracona.Proces Bernoulliego (linia ciągła); proces Markowa z parametrem p01 = 0,05 (linia kropkowana); procesMarkowa z parametrem p01 = 0,1 (linia kreskowana). Na podstawie Paprocki i Szczepanski (2011).

Wysokość progu aktywacji

Próg aktywacji jest mechanizmem neuronowym uniemożliwiającym aktywację komórkisłabym bodźcem. Innymi słowy, jedynie odpowiednio duże, intensywne pobudzenie zeźródła informacji (wystarczające by przekroczyć wartość progową) jest w stanie aktywowaćneuron. Intuicja podpowiada zatem, że zdolność komórki do komunikowania informacjiw sieci powinna maleć wraz ze wzrostem bariery progowej. Wyniki wskazują jednak, że niemusi to być prawda. Na Rysunku 7.5 pokazano wykresy maksymalnych wartości informacjiwzajemnej w funkcji wysokości progu dla wszystkich badanych architektur sieci oraz typówźródeł informacji. Ukazują one niemonotoniczny charakter wspomnianej zależności, copociąga za sobą zaskakujący fakt istnienia lokalnych ekstremów.

Okazuje się, że ekstrema istnieją we wszystkich badanych przypadkach sieci. Możnadostrzec regularność w lokalizacji tych ekstremów; wydaje się, że miejsca ich występowanianie zależą ani od typu źródła informacji, ani od liczby neuronów. (Wyjątkiem jest tu jedynieprzypadek 5 × 5, gdzie regularność tych niemonotoniczności nie jest już tak wyraźna.)Mianowicie, dla architektur zasilanych źródłem wielkości równej 3, informacja wzajemnamaksymalizuje się lokalnie przy g = 35 %; natomiast dla sieci 5× 1, ekstremum pojawiasię dla g = 20 %. Pozwala to przypuszczać, że dla sieci o postaci ogólnej n×m ekstremumwystąpi dla g = 100/n % (Rys. 7.5).

WYNIKI 68

Rachunek ten pokazuje, że przechodząc z relatywnych (%) wartości progów doabsolutnych, również wielkość źródła nie wpływa na lokalizację tych ekstremów. Toprzejście realizujemy bowiem poprzez przeskalowanie względnej wysokości progu g przezczynnik odpowiadający wielkości n procesu wejściowego. Dla sieci 5 × 1 mamy zatem5 ·20/100 = 1, natomiast dla 3×1 oraz 3×3 otrzymamy 3 ·35/100 = 1,05 ≈ 1. W obu tychrównaniach widzimy po prawej stronie wartości równe, bądź bliskie, jedności (w drugimbyłoby tak dla g ≈ 33%).

Dlaczego jedność? Jeżeli próg jest mniejszy niż 1, pojedynczy sygnał źródłowy możeokazać się bodźcem wystarczającym do aktywowania neuronu. Amplituda takiego po-jedynczego sygnału zawiera się bowiem w przedziale X(i)φQi ∈ [0, 1] (Sekcja 3.4 orazRysunek 3.6), jest zatem w stanie samodzielnie pokonać barierę progu mniejszego od (lubnawet równego) jedności, w konsekwencji aktywując komórkę. Jednak prawdopodobień-stwo takiego zdarzenia maleje wraz ze wzrostem wartości progu aktywacji do wartościrównej jedności. Mówiliśmy już wcześniej, że zdarzenia mniej prawdopodobne niosą więcejinformacji (Sekcja 4.2), co może tłumaczyć dlaczego krzywe na wykresach na Rys. 7.5rosną wraz z g w bliskiej okolicy g = 1.

Ta rosnąca tendencja odwraca się dla progów wyższych od jedności. Obserwowanyfakt aktywacji neuronu o progu g > 1 oznacza bowiem, że w danej iteracji musiał on byćpobudzany już nie jednym, ale co najmniej dwoma niezerowymi sygnałami źródłowymi.Redukuje to niepewność co do możliwego w danej chwili kształtu bodźca wejściowego, czylizmniejsza ilość komunikowanej wówczas informacji. To tłumaczy odwrócenie tendencjii spadki krzywych z Rys. 7.5 po przekroczeniu bariery g > 1.

To (lub zbliżone) wnioskowanie mogłoby wyjaśniać powtarzalność położenia lokalnychekstremów na wykresach z Rys. 7.5. Jednak natura tego zjawiska nadal pozostaje niejasnai zasługuje na dalsze badania.

Wysokość progu aktywacji (lub potencjału progowego, ang. threshold potential) kontro-luje czy przychodzące pobudzenie jest wystarczająco duże by neuron wytworzył potencjałczynnościowy. Wyspecjalizowane neurony, pełniące różne funkcje, mogą mieć różną wartośćtego potencjału. Wiadomo również, że komórki dopasowują wartość progu w reakcji nawcześniejsze sygnały wejściowe (Burke i in., 2001; Nicholls i in., 2012; Stuart i in., 1997;Wang i in., 2011). W niniejszej rozprawie przebadano szerokie zakresy progów aktywacji,sprawdzając efektywności transmisji informacji dla wszystkich z nich. Zaobserwowanoniemonotoniczną zależność informacji wzajemnej od wysokości progu. Intuicyjnie, imniższy próg, tym łatwiej sygnałowi wejściowemu aktywować neuron, zatem wydaje się,że efektywność transmisji powinna być większa dla niewielkich progów. Zaobserwowanojednak występowanie lokalnych ekstremów efektywności transmisji względem wysokościprogów aktywacji (Rys. 7.5).

Zależność od źródła informacji

Interesującą kwestią jest odpowiedź na pytanie: który typ procesu stochastycznego –niezależny czy zależny – jest korzystniejszym źródłem informacji dla omawianych komóreki sieci w sensie osiąganych wartości informacji wzajemnej. Niezależne wejście realizowanebyło przez stacjonarny proces Bernoulliego z parametrem fr = p; wejście zależne natomiastprzez stacjonarny proces Markowa pierwszego rzędu z parametrem fr = p01/(p01 + p10),gdzie p01 jest prawdopodobieństwem jedynki gdy poprzednio wylosowano zero, a p10

WYNIKI 69

Tabela 7.3 – Globalnie największe wartości informacji wzajemnej po wszystkich progach aktywacji, dlawszystkich badanych sieci oraz typów źródeł informacji. Na podstawie Paprocki i Szczepanski (2011).

Wielkość źródła Neurony Typ źródła p01 fr g [%] s H(X) I(X; Z)

Bernoulli – 0,21 5 1 2,22 0,743 1 Markow 0,05 0,11 5 1 1,09 0,54

Markow 0,10 0,15 5 1 1,64 0,67


Markow 0,10 0,11 5 1 2,47 0,64


Markow 0,10 0,14 5 1 1,61 0,92

Bernoulli – 0.39 20 1 4,82 1,425 5 Markow 0,05 0,11 10 1 1,81 0,96

Markow 0,10 0,15 10 1 2,73 1,19

Tabela 7.4 – Lokalnie największe wartości informacji wzajemnej po wszystkich progach aktywacji, dlawszystkich badanych sieci oraz typów źródeł informacji. Dla sieci 5× 5 pobudzanej źródłami Markowa,lokalne i globalne ekstrema pokrywają się. Na podstawie Paprocki i Szczepanski (2011).

Wielkość źródła Neurony Typ źródła p01 fr g [%] s H(X) I(X; Z)


Markow 0,10 0,48 35 1 1,44 0,31


Markow 0,10 0,30 20 1 2,82 0,40


Markow 0,10 0,50 35 1 1,41 0,54


Markow 0,10 0,15 10 1 2,73 1,19

jest prawdopodobieństwem wylosowania zera w następstwie jedynki. Rozważamy dwakonkretne procesy Markowa: z parametrem p01 = 0,05, oraz p01 = 0,1.

Wiele wniosków w tym obszarze wysnuć można na podstawie obserwacji opisanychod początku Sekcji 7.1. Rysunki 7.1–7.4 pokazują, że badane komórki i sieci zachowują sięefektywniej jeśli pobudza się je wejściem w postaci procesu niezależnego. Najlepiej widaćto na Rysunku 7.4, gdzie proces Bernoulliego okazuje się korzystniejszym wejściem wewszystkich przypadkach, dla wszystkich progów aktywacji.

Efekty synaptic failure są bardziej widoczne gdy źródło neuronów modeluje sięprocesem niezależnym. Rysunek 7.3 wskazuje nie tylko, że dla źródeł niezależnych wartości

WYNIKI 70

Rysunek 7.6 – Im wyższy próg aktywacji g, tym większa częstość aktywacji fr wymagana jest domaksymalizacji informacji wzajemnej. Proces Bernoulliego (linia ciągła); proces Markowa z parametremp01 = 0,05 (linia kropkowana); proces Markowa z parametrem p01 = 0,1 (linia kreskowana). Napodstawie Paprocki i Szczepanski (2011).

informacji wzajemnej są większe, ale również że są one osiągane dla mniejszych, mniejintuicyjnych wartości parametru s. Podobne wnioski wyciągniemy analizując Rysunek 7.1.

Ilościowy opis omawianej zależności od źródła informacji znajduje się w Tabelach7.3 oraz 7.4. Dla danej architektury i procesu wejściowego, Tabela 7.3 podaje wartościwszystkich parametrów w punktach, w których informacja wzajemna osiąga największewartości po wszystkich progach. Tabela 7.4 jest podobna, koncentruje się jednak na lokalnienajwiększych wartościach. Tabele te potwierdzają, że we wszystkich przypadkach, zarównoglobalnie maksymalne wartości informacji wzajemnej (czyli pojemności kanałów), jaki lokalnie maksymalne, są większe przy pobudzaniu procesem niezależnym.

Podsumowując, zauważmy, że wyniki pokazane na Rysunkach 7.1, 7.2 oraz 7.4 sugerująistnienie zależności typu n · fr · s ≈ g. Związek ten może być poparty teoretycznymwyjaśnieniem. Spójrzmy mianowicie na wartość oczekiwaną wyrażenia, które w modeluLevy–Baxter porównywane jest z wysokością progu:

E(

n∑i=1

X(i)φQi

)= n · EX · Eφ · EQ = n · fr · s · EQ, (7.1)

co rzeczywiście może wskazywać na zależność typu n ·fr ·s ·EQ ≈ g. Widzimy również (Rys.7.6), że im wyższe progi, tym większe częstości aktywacji wymagane są do optymalizacjiinformacji wzajemnej (Paprocki i Szczepanski, 2011).

WYNIKI 71

Rysunek 7.7 – Charakterystyka Qi(α). A, B, Parametr α ∈ [−90◦; 90◦] determinuje ciągły rozkładQi(α). Zakropkowany obszar wyznacza rozkład gęstości prawdopodobieństwa zmiennej Qi(α) dladanego, przykładowego α. Dla α = 0◦ otrzymujemy Qi(α) ∼ [0; 1]. Inne interesujące przypadki to:α = ±90◦ oraz α = arctg (±2). A, przykładowy rozkład dla pewnego α > 0◦; B, przykład dla α < 0◦.C, podstawowe właściwości probabilistyczne zmiennej Qi(α): wartość oczekiwana (linia ciągła) ±odchylenie standardowe (linia przerywana). Na podstawie Paprocki i Szczepanski (2013a).

Rysunek 7.8 – A, Informacja wzajemna w funkcji α, maksymalizowana po fr oraz s, dla czterechróżnych wysokości progów aktywacji g0 = 0,5, 1, 1,5, 2. B, Informacja wzajemna w funkcji α, mak-symalizowana po fr , s, oraz g. Informacja wzajemna pozostaje na poziomie 1,04 dla α ∈ [−90◦; 45◦],następnie rośnie do poziomu 1,12 dla α 80◦. Na podstawie Paprocki i Szczepanski (2013a).

7.2 FLUKTUACJE AMPLITUDY

Synapsy chemiczne, czyli z mechanizmów połączeń między neuronami, są z naturylosowe (Sekcja 2.3). Przypadkowość ich działania może objawiać się wielorako (Destexhei Rudolph-Lilith, 2012); jeden z tych objawów – zanikanie sygnału wejściowego, synapticfailure – zbadano we wcześniejszej części pracy (począwszy od strony 62 do 70). Innymprzejawem jest losowa ilość cząstek neuroprzekaźnika wypuszczana do szczeliny synaptycz-nej w reakcji na bodziec, co skutkuje zmianami amplitudy sygnałów wejściowych (Koch,2004a). Właściwość ta w komórce Levy–Baxter modelowana jest poprzez przekształcenielosowe Qi, nazywane fluktuacją amplitudy (ang. amplitude fluctuation, Sekcja 3.4, Rys.3.6).

W tej części pracy zrezygnujemy z dotychczasowego założenia dotyczącego jednostaj-nego rozkładu fluktuacji amplitudy i pokażemy jaki wpływ na zachowanie komórek i siecima zastosowanie bardziej złożonego modelu Qi. Mianowicie, uzależnimy fluktuacje od pew-nego parametru α w następujący sposób: niech Qi(α) będzie rodziną zmiennych losowych,

WYNIKI 72

Tabela 7.5 – Zestawienie parametrów symulacji w badaniach fluktuacji amplitudy. Zaszły zmianyw stosunku do parametrów zastosowanych w symulacjach opisanych w Sekcji 7.1. Po pierwsze, krokzmian parametrów fr oraz s zwiększył się z 0,01 do 0,05. Po drugie, parametr g nie jest już opisanyprocentowo, badanych jest też więcej jego wartości. Na podstawie Paprocki i Szczepanski (2013a).


Źródłodługość ciągów L N+ 220 = 1 048 576firing rate fr [0, 1] ⊂ R 0, 0,05, 0,1, . . ., 0,95, 1wielkość źródła n N+ 3

Neuronsynaptic success s [0, 1] ⊂ R 0, 0,05, 0,1, . . ., 0,95, 1wysokość progu g [0, n] ⊂ R 0, 0,05, 0,1, . . ., 2,95, 3wzmocnienie α [−90◦, 90◦] −90◦, −85◦, −80◦, . . ., 80◦, 85◦, 90◦

Sieć liczba komórek m N+ 3badane sieci n×m N2

+ 3× 3

parametryzowanych przez α ∈ [−90◦; 90◦] w sposób ciągły, w pełni charakteryzowaną naprzedziale [0; 1] przez gęstość prawdopodobieństwa pokazaną na Rysunku 7.7 (Paprockii Szczepanski, 2013a).

Wybór tak określonej rodziny zmiennych losowych podyktowany jest szerokim za-kresem rożnych możliwych przypadków testowych, wliczając rozpatrywany wcześniej:Qi(α = 0◦) ∼ [0; 1] (Sekcja 7.1). Dla małych, ujemnych wartości parametru α sygnały sąosłabiane (Rys. 7.7A), wzmacniane natomiast dla wartości dużych, dodatnich (Rys. 7.7B).

Podstawowe własności tak zdefiniowanych zmiennych Qi(α), takie jak wartości oczeki-wane czy odchylenia standardowe, pokazane są na wykresie na Rysunku 7.7C. Dla α = 0◦sygnały wejściowe w wyniku fluktuacji amplitudy będą w tym modelu osłabiane staty-stycznie o połowę, gdyż wtedy Qi(0◦) ∼ [0; 1]. Im większa wartość α, to znaczy im bliższakątowi 90◦, tym sygnały (w stosunku do kąta zerowego) są statystycznie wzmacniane –przykładowo dla maksymalnego w modelu α = 90◦ fluktuacja amplitudy jest zmiennąo rozkładzie Qi(90◦) ∼ [1

2 ; 1].Tak jak poprzednio (w Sekcji 7.1), celem jest tutaj znalezienie takich zakresów parame-

trów sieci, dla których optymalizowana jest transmisja danych, rozumiana jako informacjawzajemna pomiędzy wejściem a wyjściem. Zestawienie wszystkich parametrów sieci orazzastosowanych w symulacjach ich wartości podaje Tabela 7.5. Źródło informacji modelo-wane jest przez niezależny, stacjonarny proces stochastyczny Bernoulliego. Rozpatrujemytutaj jedynie sieć n×m = 3× 3. Amplituda sumarycznego sygnału wejściowego w takiejsieci zawiera się w przedziale [0;n] = [0; 3]. Dlatego tym razem zdecydowano się posługiwaćwysokością progu aktywacji w jednostkach absolutnych (w odróżnieniu od procentowychwartości progów używanych w Sekcji 7.1, ułatwiających tam porównanie właściwości siecio różnych strukturach).

Im większa jest wartość parametru α (wzmocnienia), tym mniejszy jest statystycznyspadek amplitudy danego sygnału wejściowego (Rysunek 7.7C pokazuje oczekiwane spadkidla wszystkich alf ). Zatem zwiększenie wartości α ułatwia sumarycznemu sygnałowiwejściowemu pokonanie bariery progu aktywacji i tym samym pobudzenie neuronu. Jednakniekoniecznie prowadzi to zwiększenia efektywności transmisji. Rysunek 7.8A pokazuje, żedla pewnych progów, w szczególności tych małych, efektywność transmisji może wyraźnie

WYNIKI 73

Rysunek 7.9 – Przekroje funkcji max I(α, g) przez cztery różne wartości parametru s. Na podstawiePaprocki i Szczepanski (2013a).

Rysunek 7.10 – Funkcja max I(α, g), czyli informacja wzajemna w funkcji α oraz g, maksymalizowanadla fr oraz s. Na podstawie Paprocki i Szczepanski (2013a).

wzrosnąć gdy α maleje. Dzieje się tak zwłaszcza dla ±α > arctg 2 (do pewnego stopniarównież dla innych kątów, co widać na Rys. 7.10). Przykładowo, dla progu g = 0,5,informacja wzajemna dla α = −70◦ jest szacowana na 0,62, natomiast dla α = −90◦ już na0,87, co oznacza wzrost o 40%. Niewielki, bo równy blisko 4% wzrost (z wartości 1,03 do1,07) widzimy też zmniejszając kąt z 90◦ do 65◦. Podobne przypadki wzrostów efektywnościtransmisji obserwujemy również dla innych progów aktywacji. To pokazuje, że większakorelacja wejścia z wyjściem niekoniecznie przekłada się na efektywniejszą transmisję.

WYNIKI 74

Co ciekawe, dla szerokiego przedziału kątów α maksymalne wartości informacjiwzajemnej (gdzie maksimum brane jest po wszystkich pozostałych parametrach) są bardzodo siebie zbliżone, równe około 1,04 (Rys. 7.8B). Dzieje się tak dla wszystkich kątówmniejszych od 45◦. Dla 45◦ < α < 80◦ obserwuje się wzrost tych wartości wraz z kątem,po czym następuje ponowna stabilizacja, tym razem na poziomie 1,12. Ten szybki wzrostjest skutkiem charakterystyki rozkładu Qi(α > arctg 2), gdyż dla takich kątów nie jestmożliwe obniżenie amplitudy danego sygnału poniżej poziomu 1/2− ctgα, uniemożliwiająctemu sygnałowi zniknięcie poprzez fluktuacje.

Nie obserwujemy jednak zjawiska odpowiadającego w jakiś sposób powyższemu dlaprzeciwnych kątów, to znaczy dla α < − arctg 2. Mimo że dla takich kątów amplitudysygnałów wejściowych są z pewnością zmniejszane poniżej poziomu 1/2− ctg α (fluktuująw przedziale [0; 1/2−ctgα]), utrudniając komórce aktywację, nie wpływa to na zmniejszeniewartości max I(α), co widać na Rys. 7.8B. Te dwie obserwacje świadczą zatem o tym,że dla każdego α ∈ [−90◦; arctg 2] istnieje próg aktywacji, pozwalający sieci utrzymaćtransmisję na optymalnym poziomie 1,03–1,05, pomimo znacznej utraty informacji.

Rysunek 7.9 przedstawia przekroje funkcji max I(α, g) wzdłuż czterech różnych war-tości parametru synaptic success, s = 0,5, 0,75, 0,95, 1. W Sekcji 7.1 pokazaliśmy, żetransmisja może być optymalizowana w obecności znacznego szumu dla małych progówaktywacji. Teraz pokażemy, że mając kontrolę nad skalą fluktuacji amplitud sygnałówwejściowych można zaobserwować dodatkowe warunki gdy ten efekt występuje, a w szcze-gólności: pojawia się on dla znacznie szerszego zakresu progów. Przykładowo, dla α > 60◦oraz g ¬ 0,55, informacja wzajemna maksymalizowana jest dla s = 0,95; co więcej, w tymzakresie parametrów, informacja wzajemna osiągana w warunkach bez jakiegokolwiekzaszumienia, czyli gdy s = 1, równa jest tej dla s = 0,75, gdy jedna czwarta informacjitracona jest w szumie.

Dodatkowo, dla α > 60◦ efekt ten widoczny jest również dla progów w okolicachg = 1, gdzie transmisja jest najefektywniejsza przy s = 0,95; lub nawet przy s = 0,9, o ileα > 80◦. To pokazuje, że im większy jest kąt α, tym korzystniejszy jest wpływ szumusynaptycznego na efektywność transmisji informacji.

Jeśli maksymalizujemy informację wzajemną również po s (Rys. 7.10), zauważymy,że aby utrzymać transmisję na danym poziomie (czyli na danej izolinii, czytając wykresy),obniżając próg aktywacji (ułatwiając pobudzanie komórek), należy wzmacniać sygnaływejściowe (to znaczy zwiększać α). Widać to po części również na Rys. 7.9. Przykładowo,zmniejszając próg z g = 1 do wartości równej 0,85, aby utrzymać informację wzajemną napoziomie 0,8 konieczne jest zwiększenie α z −20◦ do 40◦, co zmienia całkowicie charakterfluktuacji (rozkład Qi).

Podsumowując, w badaniach wpływu fluktuacji amplitudy na efektywność transmisjiinformacji, udało się zaobserwować kilka ciekawych wyników. Okazuje się, że maksymalnaefektywność transmisji utrzymuje się na stałym poziomie, niemal niezależnie od stopniawzmocnienia lub osłabienia fluktuacji; jedynie dla najbardziej wzmacniających fluktuacjiefektywność transmisji nieznacznie wzrasta (Rys. 7.8B). Ponadto, im bardziej wzmacniającesygnał wejściowy są te fluktuacje, tym bardziej korzystny na efektywność transmisji jestwpływ szumu synaptycznego (Rys. 7.9)

WYNIKI 75

Rysunek 7.11 – Cztery rozpatrywane architektury sieci typu brain–like. Porównaj z Rys. 3.7 (Sekcja3.5). Źródło informacji (wielkości równej 3, zaznaczone w centrum) modelowane jest przez niezależnyproces stochastyczny Bernoulliego. Badane są przede wszystkim wyjścia z neuronów pobudzających.A, Architektura symetryczna, każdy węzeł ma dostęp do źródła, brak jest połączeń typu long–range.B, Modyfikacja architektury symetrycznej przez odebranie neuronowi E2 połączenia ze źródłem. C,Architektura symetryczna wyposażona w dodatkowe połączenie typu long–range z neuronu E2 dowęzła (E, I)5. D, Kombinacja architektur B oraz C. Na podstawie Paprocki i Szczepanski (2013b).

Tabela 7.6 – Zestawienie parametrów symulacji dla sieci typu brain–like. Na podstawie Paprockii Szczepanski (2013b).


Źródłodługość ciągów L N+ 106 = 1 000 000firing rate fr [0, 1] ⊂ R 0, 0,05, 0,1, . . ., 0,95, 1wielkość źródła n N+ 3

Neuron synaptic success s [0, 1] ⊂ R 0, 0,05, 0,1, . . ., 0,95, 1wysokość progu g R0 0,2, 0,3, 0,5, 0,7, 0,9, 1, 1,2, 1,6

Siećliczba węzłów N N+ 5inhibition strength b R0 0, 1/4, 1/2, 3/4, 1, 3/2promień (wielkość sieci) r N+ 1, 2, 3, 4, 5

7.3 SIEĆ BRAIN–LIKE

W tej części pracy, rozważając model brain–like, skupiamy się przede wszystkim na ilo-ściowym ujęciu relacji informacji i energii. Model ten, opisany w Rozdziale 3, szczególniew Sekcji 3.5, jest uproszczonym opisem matematycznym mózgu, oraz pewnych charaktery-stycznych dla tego skomplikowanego organu mechanizmów. Model uwzględnia dwa rodzajepołączeń, pobudzające (ang. excitatory) oraz hamujące (ang. inhibitory); umożliwia badaniewpływu (lub jego braku) bodźca zewnętrznego (w postaci tak zwanego źródła informacji);pozwala sterować geometrycznymi rozmiarami sieci i badać tym samym wpływ opóźnieńw komunikacji międzykomórkowej; wreszcie, wprowadza możliwość dodawania do siecipołączeń long–range, łączących obszary położone daleko od siebie. Ilość węzłów w sieci,neuronów – lub ogólnie: jednostek obliczeniowych – ograniczona jest w symulacjach jedynieprzez możliwości komputera.

W ramach przypomnienia, warto pokrótce opisać założenia sieci brain–like. Sieć zło-żona jest z pewnej liczby węzłów (E, I)i, czyli par połączonych ze sobą wzajemnie neuronówpobudzających (ang. excitatory, Ei) oraz hamujących (ang. inhibitory, Ii). Sąsiednie węzływymieniają między sobą informację poprzez wyjścia z neuronów pobudzających, to znaczy

WYNIKI 76

wyjście z neuronu Ei stanowi jedno z wejść dla wszystkich czterech komórek z węzłów(E, I)i−1 oraz (E, I)i+1. Źródło informacji dla sieci (wejście) jest procesem stochastycznym,oznaczonym na Rys. 7.11A–D schematycznie przez centralnie położony okrąg, przy czymliczba zawartych w nim mniejszych okręgów wskazuje na wielkość źródła. W niniejszejrozprawie wejście modelowane jest przez niezależny proces Bernoulliego o wielkości równejtrzy. W każdym dyskretnym kroku informacja ze źródła komunikowana jest natychmiast dokażdego z neuronów pobudzających; przepływ informacji można jednak zmienić usuwającniektóre z tych połączeń ze źródłem, jak na przykład na Rys. 7.11B. Można wprowadzaćrównież dodatkowe połączenia, to znaczy pomiędzy węzłami niesąsiadującymi, jak naprzykład na 7.11C.

Tabela 7.6 zestawia wszystkie parametry sieci typu brain–like wraz z ich wartościamiużywanymi w symulacjach, natomiast Rys. 7.11 prezentuje wszystkie rozpatrywane tutajarchitektury. Warto w tym miejscu wrócić na moment do opisu sieci brain–like w Sekcji3.5 oraz do graficznego schematu tych sieci na Rys. 3.7.

Badania pod kątem energetycznym wydają się szczególnie interesujące. Relacjapomiędzy informacją a energią może być kluczowa dla funkcjonowania mózgu. Zużycieenergii lub produkcja ciepła mogą okazać się barierami nie do przejścia na przykład dlakonstruktorów komputerów. Tego typu ograniczenia mogłyby uniemożliwić praktycznyrozwój nowoczesnych maszyn obliczeniowych, opartych na metodach sztucznej inteligencji.Może też utrudnić rozwój technologii bazujących na idei interfejsu mózg-maszyna.

Z tego względu istotne jest właściwe zdefiniowanie relacji informacji i energii. Z jednejstrony, sieć powinna sprawnie i wydajnie transmitować informacje, z drugiej natomiast, zu-żywać w tym celu jak najmniej energii. Przyjmując, że większość energii neurony zużywająna produkowanie impulsów (Attwell i Laughlin, 2001), w prowadzonych badaniach stosu-jemy następujący wzór na oszacowanie informacyjno-energetyczną efektywność transmisji:

Λ(b) = maxg

(max(fr,s) I(fr, s, b, g)

ϑ(f 0r , s

0)

), (7.2)

gdzie formuła energetyczna ϑ(fr, s) ma różną postać w zależności od rodzaju komórki, dlaktórej jest liczona (f 0

r , s0 są wartościami maksymalizującymi informację wzajemną):

1 neurony pobudzające z dostępem do źródła informacji: ϑ(fr, s) = s·(n fr+b fI+∑w fw);

2 neurony pobudzające bez dostępu do źródła: ϑ(fr, s) = s · (b fI +∑w fw);

3 neurony hamujące: ϑ(fr, s) = s ·∑w fw.

Mianownik ułamka w powyższym równaniu jest zatem proporcjonalny do liczby impulsówużytych do transmisji informacji.

W badaniach sieci brain–like opisanych w tej pracy wykorzystano cztery różne archi-tektury sieci (Rys. 7.11). Wszystkie parametry symulacji, wraz z ich użytymi wartościami,znajdują się w Tabeli 7.6.

Wielkość sieci

Wielkość sieci kontroluje parametr r ∈ N+, jej geometryczny promień. Oprócz zwiększaniarozmiarów sieci, parametr r wpływa również na jakość komunikacji pomiędzy węzłami.

WYNIKI 77

Rysunek 7.12 – Wpływ wielkości sieci (parametr r, czyli geometryczny promień) na informacyjno-energetyczną efektywność transmisji neuronów pobudzających (ang. excitatory, wykresy A, B, C) orazhamujących (ang. inhibitory, wykresy A∗, B∗, C∗) w architekturze symetrycznej (schemat na Rys. 7.11A).A, A∗, B, B∗, Wykresy Λ (b, r)g=g0

dla wybranych progów aktywacji. C, C∗, Globalne wykresy Λ (b, r).W każdym z tych przypadków najbardziej efektywne są najmniejsze sieci (to znaczy te, gdzie r = 1,oznaczone na wykresach linią ciągłą), niezależnie od parametru b, czyli relatywnej siły oddziaływanianeuronów hamujących względem pobudzających. Wykres A pokazuje, że wzrost wielkości sieci możeskutkować spadkiem efektywności neuronów pobudzających nawet o 83%; jeszcze bardziej wraz zewzrostem r maleje efektywność neuronów hamujących. Na podstawie Paprocki i Szczepanski (2013b).

Najmniejsza możliwa wartość, r = 1, określa małą, gęstą strukturę, w której węzłypołożone są blisko siebie. Wzrost r oznacza wydłużanie drogi jaką pokonują sygnałypomiędzy komunikującymi się komórkami, co przekłada się na opóźnienia w transmisjiinformacji.

Węzły w modelu rozłożone są na okręgu w równych odległościach kątowych coγ = 2π/N , gdzie N jest liczbą węzłów. Niech δ · γ będzie kątem pomiędzy dwoma danymiwęzłami, δ = 1, 2, 3, . . . , bN/2c, gdzie b·c jest funkcją części całkowitej, zaokrągleniem w dół.Geometryczna odległość między tymi dwoma węzłami jest zatem równa: 2 r sin (δ · γ/2) =2 r sin (δπ/N). Opóźnienie w komunikacji jest proporcjonalne do tej odległości. Zakładamyjednak, że dla neuronów należących do tego samego węzła (δ = 0) opóźnienie zawszewynosi 1; oraz opóźnienie pomiędzy sąsiadującymi węzłami (δ = 1) nigdy nie jest większeniż r. Ostatecznie zapiszemy, że opóźnienie w komunikacji pomiędzy dwoma węzłami(mierzone w dyskretnych krokach) jest równe:

dN(r, δ) =

1, δ = 0,min (r,

⌈2 r sin ( π

N)⌉), δ = 1,

d2 r sin (δπ/N)e , δ > 1,(7.3)

gdzie d·e jest funkcją sufitu, zaokrąglającą liczbę rzeczywistą w górę.Zgodnie z oczekiwaniami, komunikacja jest najbardziej efektywna w sieci o najmniej-

szych rozmiarach, dla r = 1 (Rys. 7.12). Zarówno neurony pobudzające (ang. excitatory),jak i hamujące (ang. inhibitory) pracują wyraźnie najwydajniej (w sensie informacyjno-

WYNIKI 78

Rysunek 7.13 – A, B, C, Przykłady na pozytywny wpływ obecności neuronów hamujących nainformacyjno-energetyczną efektywność transmisji neuronów pobudzających (linie ciągłe) w architektu-rach B, C oraz D. Wszystkie wykresy prezentują wyniki dla sieci o rozmiarze r = 1. Widać tutaj, żeefektywność neuronów pobudzających (w sensie funkcji Λ) w sieci, w której współpracują one z komór-kami hamującymi (to znaczy gdy b > 0) może wzrosnąć nawet o 54% w porównaniu do sieci, w którychtakiej współpracy nie ma (gdy b = 0). A∗, B∗, C∗, Dla porównania, wartości informacji wzajemnejw punktach odpowiadających powyższym wartościom Λ. Krzywe wyznaczone przez Λ oraz IΛ znacznieróżnią się od siebie. Informacja wzajemna ma łagodny, niemal monotoniczny przebieg, podczas gdy Λ-ęcechuje występowanie ekstremów. Pokazuje to istnienie zasadniczych różnic jakościowych pomiędzytymi dwiema wielkościami. Na podstawie Paprocki i Szczepanski (2013b).

energetycznym) w najmniejszej sieci. W przypadku komórek pobudzających, dwukrotnezwiększenie wielkości sieci może prowadzić do trzy- lub czterokrotnego spadku informacyjno-energetycznej efektywności transmisji (dla neuronów hamujących straty te wydają sięjeszcze większe).

Co ciekawe, różnice w efektywnościach sieci o rozmiarach ponad r = 1 są niewielkie,czyli dalsze zwiększanie rozmiarów sieci nie wpływa zasadniczo na efektywność transmisji(Rys. 7.12). Szczególnie dla zwiększonego hamowania (ang. inhibition, b 1), lub wyższychprogów aktywacji. Wydaje się, że w tego typu modelach sieci (ogólnie: kanałach komunika-cyjnych), informacyjno-energetyczna efektywność transmisji zależy głównie od lokalnejefektywności komunikacji, to znaczy od efektywności wymiany informacji w obrębie węzłaoraz pomiędzy sąsiadującymi węzłami.

Podsumowując, geometryczna wielkość sieci ma duże znaczenie dla efektywnej trans-misji. Nie jest niespodzianką, że najbardziej wydajna jest sieć o najmniejszych rozmiarach,to znaczy taka, gdzie komórki są najbliżej siebie a opóźnienia są najmniejsze (Rys. 7.12).Dwukrotne zwiększenie rozmiarów może powodować ponad trzykrotny spadek efektywnościtransmisji informacji.

WYNIKI 79

Neurony hamujące

Parametr b, odpowiadający za siłę neuronów hamujących w relacji do (niezmiennej)siły komórek pobudzających, b = I/E, wpływa na każdy sygnał wysyłany przez neuronhamujący. Jeśli b = 0, amplituda każdego hamującego sygnału jest zerowana, co oznaczabrak jakiegokolwiek wpływu neuronów hamujących na zachowanie sieci – tak, jak gdybysieć nie zawierała żadnych tego typu komórek. Im większe jest b, tym neurony hamującesą silniejsze. Jeśli b = 1, oba typu komórek działają z tą samą siłą.

Okazuje się, że obecność neuronów hamujących może znacząco poprawić jakość pracysieci (Rys. 7.13). Informacyjno-energetyczna efektywność transmisji neuronów pobudza-jących w strukturze bez aktywnych neuronów hamujących (to znaczy przy b = 0) możebyć nawet o 1/3 mniejsza od efektywności osiąganej przez tę samą sieć, w której jednakkomórki hamujące działają z niezerową siłą. Rysunek 7.13 przedstawia trzy przykładyobrazujące tę właściwość sieci brain–like:

Wykres A Informacyjno-energetyczna efektywność transmisji neuronu pobudzającegoE2 w architekturze B (neuron ten nie ma dostępu do źródła informacji) wzrasta o 32%gdy w sieci pojawiają się neurony hamujące (z wartości 0,081 dla b = 0 do 0,107 dlab = 0,25). Komórki hamujące poprawiają efektywność pracy neuronu E2 dla każdej wartościb > 0. Największą efektywność (zysk 38%) E2 osiąga dla b = 1, gdy oba typy komórek,pobudzające i hamujące, oddziałują z tą samą siłą, przy czym dzieje się tak pomimowysokiego progu aktywacji (g = 0,7).

Wykres B Neuron E2 w architekturze C (wysyłający połączenie long–range) zyskuje 54%na efektywności jeśli współpracuje z niezbyt silnymi (b = 0,25) neuronami hamującymi –wzrost z 0,173 (dla b = 0) do 0,266. Dalsze zwiększanie względnej siły komórek hamującychpowoduje już jednak wyraźne straty: efektywność spada nawet o 72% dla b = 0,75.

Wykres C Efektywność neuronu E5 w architekturze D (E5 jest tutaj celem połączenialong–range, pochodzącego od komórki niemającej dostępu do źródła informacji) rośnieo 44% dla b = 1/4 (z wartości 0,234 dla b = 0 do 0,337), oraz o 13% dla b = 1/2 (dowartości 0,265). Następnie jednak, przy b = 3/4, gwałtownie spada o 85% (względemwartości dla b = 0), pozostając na niskim poziomie dla pozostałych, większych b.

Zaprezentowane trzy przykłady nieprzypadkowo dotyczą szczególnych neuronów:niemających dostępu do źródła informacji, wysyłających lub będących celami połączeńlong–range. Wydaje się, że opisane zjawisko pozytywnego wpływu neuronów hamującychna informacyjno-energetyczną efektywność transmisji komórek pobudzających występujegłównie właśnie dla takich szczególnych neuronów, w jakiś sposób wyjątkowych w danejarchitekturze sieci. Neurony hamujące wydają się pomagać utrzymywać efektywną trans-misję właśnie takim komórkom, niejako umożliwiając im spełnianie swego szczególnegozadania, nadając sens istnieniu struktur sieci bardziej złożonych niż opisane wcześniej siecifeed–forward.

Z drugiej strony, informacyjno-energetyczna efektywność transmisji komórek pobudza-jących potrafi znacznie spaść jeśli neurony hamujące są zbyt silne. Takie zachowanie sieciwydaje się zgadzać z intuicją gdyż duże hamowanie może skutecznie utrudniać sygnałompobudzającym pokonywanie wyższych progów aktywacji. Dlatego wydaje się zaskakujące,że taki niekorzystny wpływ hamowania obserwuje się szczególnie często nie dla wysokich,

WYNIKI 80

Rysunek 7.14 – A, Reakcja neuronu E5 na otrzymanie połączenia long–range w architekturach C orazD (linie ciągłe – linią przerywaną zaznaczono zachowanie neuronu w architekturze symetrycznej dlaporównania). Wyniki dla sieci o rozmiarze r = 1. Otrzymanie połączenia long–range wydaje się obniżaćefektywność komórki (arch. C) – chyba że to połączenie pochodzi od neuronu bez dostępu do źródłainformacji wejściowej (arch. D), wtedy efektywność E5 rośnie nawet o 70%. B, Wysyłanie połączenialong–range zwiększa efektywność neuronu E2, o ile ma on dostęp do źródła (zysk nawet o połowę,arch. C); w przeciwnym razie (bez dostępu do źródła) jego efektywność spada (arch. D). Na podstawiePaprocki i Szczepanski (2013b).

ale dla niskich progów aktywacji. Przykłady dla progów g = 0,3, w postaci widocznychwyraźnych minimów efektywności przy b = 3/4, odnajdziemy na Rys. 7.12A oraz 7.13Bi C. Natomiast dla wyższych progów efektywność utrzymuje się na wyrównanym poziomieniezależnie od wartości b (Rys. 7.12B: dla progu g = 1; Rys. 7.13A: dla progu g = 0,7).

Co ciekawe, w wielu przypadkach obszar w okolicach punktu równowagi b = 1 (gdziesiła oddziaływania obu typów komórek są równe) jest punktem o najmniejszej informacyjno-energetycznej efektywności transmisji tak dla neuronów pobudzających, jak i hamujących.Okazuje się, że najbardziej korzystnym stosunkiem sił obu typów komórek (pod względeminformacyjno-energetycznej efektywności) jest wartość b = 0,5 (najczęściej z przedziału0,25–0,5). Przykłady potwierdzające tę zależność obserwuje się w wielu przypadkach, dlaróżnych architektur (Rys. 7.12–7.14).

Rola neuronów hamujących jest szeroko dyskutowana w literaturze (Folias i Ermen-trout, 2011; Gray i Robinson, 2009; Laing i Coombes, 2006; Ledoux i Brunel, 2011). Wieluautorów analizuje połączenia tego typu pod kątem równowagi pomiędzy pobudzaniemi hamowaniem (Dorrn i in., 2010; King, 2010; Vecchia i Pietrobon, 2012). Uznaje się, żepołączenia hamujące spełniają przede wszystkim zadania pomocnicze, pomagając neuro-nom pobudzającym efektywniej pracować (Moujahid i in., 2014; Shadlen i Newsome, 1994).Badacze zgadzają się, że neurony hamujące pełnią pozytywną rolę w aktywności mózgu.Wyniki przedstawione w niniejszej rozprawie również to pokazują; obecność połączeńhamujących może zwiększyć efektywność transmisji nawet o 50% (Rys. 7.13).

Połączenia long–range

Na daną sieć, jej konkretną architekturę, można spojrzeć jak na graf – w przypadku siecitypu brain–like: graf skierowany. W pełnym opisie takiej sieci należy uwzględnić nie tylkopołożenia poszczególnych neuronów, równie istotny jest rozkład połączeń między nimi,wliczając związek ze źródłem informacji oraz połączenia long–range. Wielu autorów opisujeznaczenie połączeń (Battaglia i in., 2007; Steinbeck i in., 2012; Uhlhaas i in., 2009), jednakrelatywnie mało uwagi poświęca się topologii sieci (Stratton i Wiles, 2010; Wei i in., 2008).

WYNIKI 81

Połączenia long–range są w modelu brain–like jedynym sposobem by bezpośrednioskomunikować ze sobą dwa niesąsiadujące węzły. W niniejszych badaniach rozważane sądwie sieci zawierające takie połączenie, w obu przypadkach wysyła je neuron E2, a celemjest węzeł (E, I)5. Te dwie architektury różnią się dostępem do źródła informacji komórkiwysyłającej połączenie long–range (Rys. 7.11C i D)

Połączenia long–range zmieniają informacyjno-energetyczna efektywność zarównoneuronów je wysyłających, jak i będących ich celem. Efektywność komórki docelowejsilnie zależy od tego czy neuron wysyłający połączenie ma dostęp do źródła informacji,czy nie. Połączenia long–range może prowadzić do zwiększenia efektywności docelowejkomórki nawet o 70%, o ile neuron wysyłający połączenie nie ma pobudzenia ze źródła –w przeciwnym wypadku połączenie long–range przynosi straty nawet o 40% (Rys. 7.14A).

Neuron wysyłający połączenie long–range zachowuje się inaczej. Komórka, która niema dostępu do źródła informacji, nie potrafi go prawidłowo odwzorować – efektywnośćtakiej komórki jest niewielka, może spaść o około 2/5. Z drugiej strony, jeśli neuronwysyłający połączenie long–range jest pobudzany bodźcem ze źródła, jego efektywnośćmoże wzrosnąć nawet o około połowę (Rys. 7.14B).

Zaprezentowane wyniki zgadzają się z publikowanymi przez innych autorów, pokazującpozytywne efekty obecności połączeń long–range. Okazuje się, że w przypadku tego typupołączeń, efektywność transmisji informacji w kluczowy sposób zależy od pozycji zarównoneuronu wysyłającego dane połączenie, jak i komórki będącej jego celem. Obliczeniawskazują na wzrost informacyjno-energetycznej efektywności transmisji (nawet o 70%, Rys.7.14) o ile neuron wysyłający połączenie long–range nie jest bezpośrednio pobudzany zeźródła informacji

8DYSKUSJA I WNIOSKI

Sieć feed–forward 82 • Brain–like 83 • Co dalej? 84

Zrozumienie i opisanie natury kodowania informacji przez neurony, kosztów energetycznychtego procesu, przetwarzania jej oraz zarządzania jej transmisją jest jednym z największychwyzwań współczesnej nauki. W niniejszej rozprawie podjęto ten problem od strony teoriiinformacji, wykorzystując pojęcia entropii i informacji wzajemnej. W tym podejściukomórki i sieci neuronowe traktowane są jako kanał komunikacyjny; wielkości takie jakefektywność transmisji, relacja informacji z energią oraz pojemność komórek szacowane sąprzy użyciu estymatorów entropii.

Badania, na podstawie których powstała niniejsza rozprawa, trwały kilka lat. Na tenczas składa się przede wszystkim opracowanie odpowiednich modeli teoretycznych komóreknerwowych (Rozdział 3), wybór narzędzi badawczych (Rozdziały 4 i 5), przygotowanieoprogramowania komputerowego (Rozdział 6) oraz przeprowadzenie symulacji i opisaniewyników (Rozdział 7).

Jako model komórki nerwowej zdecydowano się użyć ten zaproponowany w pracyLevy i Baxter (2002), najbardziej odpowiadający wymogom teorii informacji. W pierwszejkolejności (Paprocki i Szczepanski, 2011, 2013a; Paprocki i in., 2013) przeanalizowanow jaki sposób zmiany wartości różnych parametrów wpływają na efektywność transmisjipojedynczych komórek i prostych sieci. Następnie, wykorzystując ten model komórki,zbudowano pierścieniową sieć na kształt uproszczonego mózgu, tak zwaną brain–like,i zbadano jaką rolę pełnią w niej charakterystyczne elementy takie jak połączenia long–range lub relacja neuronów pobudzających do hamujących (Paprocki i Szczepanski, 2013b).

Warto podkreślić, że przeprowadzone obliczenia mają dużą dokładność. W symula-cjach użyto ciągów wejściowych o długościach co najmniej 106 bitów; dane pochodzącez eksperymentów są wielokrotnie krótsze z powodu biologicznych ograniczeń.

8.1 SIEĆ FEED–FORWARD

Wielu autorów zadaje pytanie o to jaką rolę w transmisji informacji przez neurony pełniszum synaptyczny (Barbour, 2001; de Ruyter van Steveninck i Laughlin, 1996; Londoni in., 2008). Intuicyjnie, to fizjologiczne zjawisko powinno osłabiać transmisję, zmniejszającjej efektywność. Zaprezentowane w tej pracy wyniki obliczeń pokazują jednak, że szumsynaptyczny może znacznie poprawić jakość transmisji. Efekt ten obserwowany jest dla

82

DYSKUSJA I WNIOSKI 83

szerokich zakresów wartości parametrów; szczególnie widoczny jest dla małych progówaktywacji w bardziej złożonych strukturach sieci. Nierzadko transmisja optymalizuje sięglobalnie w obecności znacznego zaszumienia.

Co więcej, ten pozytywny wpływ szumu synaptycznego jest tym bardziej widoczny,im fluktuacje amplitudy statystycznie bardziej wzmacniają sygnały wejściowe.

Kolejnym zaskakującym wynikiem jest nietypowa zależność efektywności transmisjiod wysokości progu aktywacji. Im wyższy próg, tym trudniej jest aktywować komórkę gdyżsygnały muszą w tym celu pokonać wyższą barierę. Można by się zatem spodziewać, żeefektywność powinna monotonicznie maleć wraz ze wzrostem progu. Okazuje się jednak, żeistnieją stałe wartości progów, uniwersalne dla każdej komórki lub sieci, dla których wartościefektywności transmisji maksymalizują się lokalnie. Dzieje się tak wokół całkowitychwartości progów aktywacji. Takie zachowanie może mieć związek ze specyficzną formąrozpatrywanych komórek oraz naturą pojęcia informacji (Ash, 1965; Cover i Thomas,1991; Shannon, 1948).

Rozpatrywane komórki preferują źródła informacji w postaci niezależnych procesówstochastycznych. Dla pewnych wartości parametrów, efektywność transmisji może wzro-snąć nawet do 50% jeśli zamieni się źródło zależne na niezależne. Co więcej, optymalnatransmisja (globalne maksimum efektywności w sensie informacji wzajemnej) osiąganajest dla stosunkowo niewielkich częstości aktywacji (ang. firing rates), mianowicie 0,1–0,2.Pokrywa się to z eksperymentalnymi wynikami wyznaczanymi dla większości rzeczywistychkomórek nerwowych (Bullock i in., 1977; Dayan i Abbott, 2005; Groves i Rebec, 1992;Johnston i Wu, 1995; Kandel i in., 2012; Purves i in., 2007; Rieke i in., 1999).

Ciekawym wynikiem jest obserwacja, że najwyższa możliwa efektywność transmisjiinformacji jest niemal niezależna od typu fluktuacji amplitudy sygnałów wejściowych. Efek-tywność utrzymuje się na podobnym poziomie (różnice poniżej 1–2%) dla wszystkich sieci.Wyjątkiem są jedynie te nieliczne struktury, dla których zamodelowane fluktuacje wyjąt-kowo mocno wzmacniają sygnały wejściowe – dla nich optymalna efektywność nieznaczniewzrasta.

Przeprowadzone obliczenia dowodzą również, że natura kodowania neuronowego jestznacznie bardziej subtelna niż bezpośrednia korelacja wejścia z wyjściem. Efektywnatransmisja informacji przez komórki neuronowe nie musi oznaczać dużej korelacji; i naodwrót, duża, widoczna korelacja, nie musi przekładać się na większą efektywność transmisji.To zagadnienie jest obecnie szeroko komentowane we współczesnej literaturze, wciąż będąctematem swoistego sporu (Bishop, 1995; Dayan i Abbott, 2005; Gerstner i Kistler, 2002;Rieke i in., 1999; Tuckwell, 1988; Van Hemmen i Sejnowski, 2006).

8.2 BRAIN–LIKE

Zagadnienia związane z wielkością sieci neuronowej czy mechanizmami pobudzania i hamo-wania oraz ich wzajemną relacją, są obecnie obszernie badane i analizowane pod wielomakątami. Szczególnie interesująca wydaje się informacyjno-energetyczna efektywność sieciwyposażonych w te cechy. Generowanie impulsów jest powszechnie uznawane za głównykoszt energetyczny aktywności neuronowej (Attwell i Laughlin, 2001; Bullmore i Sporns,2012; Crotty i in., 2006; Kostál, 2012; Laughlin i in., 1998; Moujahid i in., 2011; Niven i in.,2007; Torrealdea i in., 2009). Szacowanie tych kosztów wydaje się mieć duże znaczeniepraktyczne.


Rola neuronów hamujących (ang. inhibitory) jest szeroko dyskutowana w literaturze(Folias i Ermentrout, 2011; Gray i Robinson, 2009; Kato i in., 2011; Laing i Coombes, 2006;Ledoux i Brunel, 2011; Sotero i Trujillo-Barreto, 2007; Wang i in., 2012). Wielu autorówanalizuje połączenia tego typu pod kątem równowagi pomiędzy pobudzaniem i hamowaniem(Battaglia i in., 2007; Dorrn i in., 2010; King, 2010; Lauritzen i in., 2012; Lisman, 2012;Vecchia i Pietrobon, 2012; Yizhar i in., 2011). Badacze zgadzają się, że neurony hamującepełnią pozytywną rolę w aktywności mózgu. Wyniki przedstawione w niniejszej rozprawierównież to pokazują; symulacje wykazały wzrost informacyjno-energetycznej efektywnościtransmisji nawet o 50% dla sieci zawierających aktywne neurony hamujące.

Występowanie połączeń long–range jest kolejną ważną cechą kształtującą strukturymózgu. Próby zrozumienia ich roli podejmuje się obecnie głównie w kontekście synchroni-zacji i korelacji (Fuente i in., 2006; Linkenkaer-Hansen i in., 2001, 2004; Nikulin i in., 2012;Steinbeck i in., 2012; Uhlhaas i in., 2009). Stosunkowo mało uwagi poświęca się jednakproblemowi modelowania tego mechanizmu (Stratton i Wiles, 2010; Wei i in., 2008). Wynikiuzyskane w tej rozprawie zgadzają się z publikowanymi przez innych autorów, osiąganymigłównie poprzez eksperyment, pokazując pozytywne efekty obecności połączeń long–range.Obliczenia wskazują bowiem na wzrost informacyjno-energetycznej efektywności transmisjinawet o 70% w sieciach posiadających tego typu połączenia.

Innym istotnym czynnikiem wpływającym na efektywność informacyjno-energetycznąbadanych sieci typu brain–like jest geometryczna wielkość struktury, oraz, w konsekwencji,efekty związane z opóźnieniami w komunikacji pomiędzy poszczególnymi komórkami.Okazuje się, że wielkość sieci ma kluczowe znaczenie dla efektywności transmisji. Najbardziejwydajna jest sieć o najmniejszych rozmiarach, to znaczy taka, gdzie komórki są najbliżejsiebie a opóźnienia są najmniejsze. Dwukrotne zwiększenie rozmiarów może powodowaćponad trzykrotny spadek efektywności transmisji informacji.

8.3 CO DALEJ?

Uzyskane wyniki pokazują, że model brain–like, na bazie komórek Levy–Baxter w połącze-niu z metodami teorii informacji doskonale nadaje się do analizy efektywności transmisjiinformacji w sieciach neuronowych. Jednak to co zaprezentowano w niniejszej rozprawiez pewnością nie wyczerpuje całości potencjału opisanego podejścia. Mimo że już niewielkastruktura złożona z pięciu węzłów, czyli dziesięciu komórek, potrafi odtworzyć wynikiznane z eksperymentów biologicznych, kuszące jest rozwinięcie w przyszłości tego rodzajunumerycznych badań o kilka, mniej lub bardziej oczywistych rozwiązań.

Naturalnym rozwinięciem badań wydaje się zwiększenie liczby neuronów w rozpatry-wanych architekturach. Poczyniono pewne udane próby rozszerzenia sieci do dziesięciu lubnawet dwudziestu węzłów, jednak w obecnej chwili te badania wciąż są na etapie wstępnym.Rozszerzanie sieci w ten sposób niesie z sobą kilka problemów natury technicznej, niestetytrudnych do ominięcia.

Po pierwsze, zwiększając liczbę neuronów znacznie wydłuża się czas potrzebny doukończenia obliczeń. Złożoność czasowa symulacji rośnie względem liczby neuronów szybciejniż liniowo. Przypomnijmy, że już dla jednej sieci o pięciu węzłach obliczenia trwały nawetdo kilku dni. Po drugie, przygotowane oprogramowanie w obecnej postaci nie pozwalana nieograniczone zwiększanie liczby węzłów. Umożliwienie dowolnego sterowania liczbą


węzłów prowadzi do licznych trudności programistycznych. Niewykluczone, że należałobyw tym celu zaprojektować oprogramowanie od nowa.

Innym rozwinięciem badań byłoby szacowanie efektywności transmisji nie dla jednegoneuronu pobudzającego na wyjściu, ale dla grup sąsiadujących komórek. Tutaj jednakproblemem, oprócz kosztów obliczeniowych, są również kwestie dokładności samych obliczeń.Zauważmy, że jedna komórka zwraca na wyjściu w pojedynczym kroku tylko dwa możliwesłowa: zero lub jeden; trzy komórki zwracałyby jednak już 23 możliwych słów. Dokładnośćestymacji entropii jest bardzo wrażliwa na ten wykładniczy wzrost możliwych wyjść.

Ostatnim pomysłem mogłoby być zastąpienie modelu neuronu innym, choćby dlaporównania wyników. Wyniki pokazują jednak, że model Levy–Baxter spełnia tutaj swojezadanie bardzo dobrze. Z podobnych przyczyn nie wydaje się zasadne zmieniać metodyestymacji entropii; estymator Stronga dowiódł swojej skuteczności (dokładność oszacowań),jest też zdecydowanie najszybszy.

9ELEMENTY WKŁADU ORYGINALNEGO

Prezentacja oryginalnego wkładu rozpoczyna się od Sekcji 3.5, gdzie wprowadzonomodel sieci neuronowej brain–like. W Rozdziale 6 opisano przyjęte założenia i wybranetechnologie oraz pokazano sposób ich implementacji. Uzyskane wyniki zaprezentowanow Rozdziale 7, natomiast ich podsumowanie i dyskusja zawarte są w Rozdziale 8.

Do badań efektywności transmisji informacji w komórkach i sieciach neuronowychwykorzystano metody teorii informacji (Rozdział 4). Zwykle w pracach naukowych tegotypu oceny transmisji dokonuje się wykorzystując metody oparte na korelacjach wejściaz wyjściem. Teoria informacji dostarcza narzędzi (takich jak informacja wzajemna), któreukazują relacje bodźca z odpowiedzią komórki w sposób pełny, inaczej niż proste ko-relacje pierwszego rzędu. Wykorzystanie metod teorii informacji pozwala zatem lepiejscharakteryzować subtelną naturę aktywności neuronowej.

Główne oprogramowanie służące do przeprowadzenia symulacji zostało w całościnapisane w szybkim, wydajnym języku D i przystosowane do obliczeń równoległych. Śro-dowisko to jest mało popularne w pracach naukowych. Okazało się jednak najlepsze dorealizacji celów założonych w tych badaniach, przede wszystkim ze względu na niepo-równywalną do innych języków szybkość działania skompilowanego kodu. Na wstępnymetapie przygotowano oprogramowanie częściowe w innych językach, między innymi w Javie(również w C/C++), jednak program napisany w D wykonywał się zdecydowanie szybciej,w większości szybciej nawet niż w C. Wydaje się zatem, że wybór języka D jest najlepszymrozwiązaniem w obliczeniach naukowych, w których priorytetem jest uzyskanie wyniku w jaknajkrótszym czasie. Podsumowanie prac związanych z wyborem technologii rozwiązaniaoraz przygotowaniem oprogramowania przedstawiono w Rozdziale 6, szczególnie w Sekcji6.2, gdzie zaprezentowano części kodu źródłowego programu głównego, między innymigenerowanie źródła (6.3), aktywację komórki (6.4) oraz estymację entropii (6.5).

Do tej pory nie wykorzystano do analizy transmisji neuronowej modelu Levy–Baxterna skalę podobną do zaprezentowanej w rozprawie. Ten probabilistyczny model sprawdzasię jednak idealnie w badaniach wykorzystujących metody teorii informacji. Wynikiobliczeniowe najczęściej spotykane w literaturze dotyczą zwykle modeli z rodziny integrate-and-fire. Wyniki i metody zaprezentowane w rozprawie pokazują jednak, że model Levy–Baxter również może być z powodzeniem wykorzystywany w symulacjach komputerowych,prowadząc do tych samych lub lepszych rezultatów. Opis teoretyczny modelu znajduje sięw Rozdziale 3, w Sekcji 3.4; implementację zaprezentowano w Rozdziale 6, szczególniew Części 6.2; wyniki badań zawarto w Rozdziale 7.

86

ELEMENTY WKŁADU ORYGINALNEGO 87

Dzięki wykorzystaniu metod teorii informacji oraz modelu Levy–Baxter w analizieefektywności transmisji informacji, uzyskano kilka ciekawych wyników, o których wcześniejw literaturze spekulowano. Część z nich dotyczy szumu synaptycznego, komórka Levy–Baxter pozwala go modelować. Szum synaptyczny może znacząco utrudnić neuronomtransmisję informacji, ostatnio coraz częściej jednak rozważa się również jego przydatnośći obserwuje niekoniecznie tylko negatywny jego wpływ. Wyniki zaprezentowane w rozprawiepotwierdzają pozytywną rolę szumu synaptycznego, pokazując konkretne zależności jakościtransmisji od wielkości szumu (Sekcje 7.1 oraz 7.2). Obecność szumu może znacznie poprawićkomunikację neuronową, zwiększając efektywność transmisji nawet ponad dwukrotnie (Rys.7.2 i 7.3). Przypadki niektórych, dużych rozpatrywanych sieci pokazują nawet, że niezerowezaszumienie wymagane jest do maksymalizacji efektywności (Rys. 7.4). Efekty związanez poprawą efektywności transmisji informacji w towarzystwie szumu synaptycznego sąwyraźniejsze zwykle dla niewielkich progów aktywacji (Rys. 7.1).

Próg aktywacji jest mechanizmem neuronowym uniemożliwiającym aktywację komórkisłabym bodźcem. Innymi słowy, jedynie odpowiednio duże, intensywne pobudzenie zeźródła informacji (wystarczające by przekroczyć wartość progową) jest w stanie aktywowaćneuron. Intuicja podpowiada zatem, że zdolność komórki do komunikowania informacjiw sieci powinna maleć wraz ze wzrostem potencjału progowego. Wyniki wskazują jednak,że nie musi to być prawda. W rozprawie przebadano szerokie zakresy progów aktywacji,sprawdzając efektywności transmisji informacji dla wszystkich z nich. Na Rysunku 7.5pokazano wykresy maksymalnych wartości informacji wzajemnej w funkcji wysokościprogu dla wszystkich badanych architektur sieci oraz typów źródeł informacji. Ukazująone niemonotoniczny charakter wspomnianej zależności, co pociąga za sobą zaskakującyfakt istnienia lokalnych ekstremów.

Wyniki zaprezentowane w rozprawie dają również odpowiedź na pytanie: który typprocesu stochastycznego – niezależny czy zależny – jest korzystniejszym źródłem informacjidla omawianych komórek i sieci w sensie osiąganych wartości informacji wzajemnej.Okazuje się, że neurony preferują źródła w postaci niezależnych procesów. Dla pewnychwartości parametrów, efektywność transmisji może wzrosnąć ponad dwukrotnie jeśli zamienisię źródło zależne na niezależne (Rys. 7.2). Co więcej, optymalna transmisja (globalnemaksimum efektywności) osiągana jest dla stosunkowo niewielkich częstości aktywacji,mianowicie 0,1–0,2. Pokrywa się to z eksperymentalnymi wynikami wyznaczanymi dlawiększości rzeczywistych komórek nerwowych. Powyższe wnioski można wyciągnąć z Rys.7.3, 7.4 i 7.5, oraz z Tab. 7.3 i 7.4.

Komórka Levy–Baxter pozwala modelować fluktuacje amplitudy sygnałów wejściowych,czyli jedną z właściwości synaps chemicznych, objawiającą się losową ilością neuroprze-kaźnika wpuszczaną do szczeliny synaptycznej w reakcji na bodziec. To zjawisko równieżzbadano, uzyskując ciekawe wyniki (Sekcja 7.2). Okazuje się, że maksymalna efektywnośćtransmisji utrzymuje się na stałym poziomie, niemal niezależnie od stopnia wzmocnienialub osłabienia fluktuacji; jedynie dla najbardziej wzmacniających fluktuacji efektywnośćtransmisji nieznacznie wzrasta (Rys. 7.8B). Ponadto, im bardziej wzmacniające sygnałwejściowy są te fluktuacje, tym bardziej korzystny na efektywność transmisji jest wpływszumu synaptycznego (Rys. 7.9).

Oryginalną część stanowi wprowadzenie modelu brain–like, umożliwiającego modelowa-nie struktur charakterystycznych dla rzeczywistych mózgów kręgowców. Przeprowadzeniena nim symulacji komputerowych pozwoliło potwierdzić kilka wyników uzyskanych przez

ELEMENTY WKŁADU ORYGINALNEGO 88

innych badaczy na drodze eksperymentu. Model ten, pomimo znacznych wymagań oblicze-niowych, daje duże możliwości badawcze. Teoretyczny opis modelu brain–like zawarty jestw Rozdziale 3 w Sekcji 3.5, natomiast wyniki symulacji zaprezentowano w Części 7.3.

Badania numeryczne dla modelu brain–like (Część 3.5) łączą metody teorii infor-macji z rozważaniami kosztów energetycznych transmisji. Te dwa ważne konteksty badańneuronowych – efektywność transmisji informacji oraz wydatek energetyczny komunikacji –związano jedną formułą, opisaną równaniem 7.2 (str. 76). Dzięki temu pokazano szereginteresujących wyników (Sekcja 7.3).

Geometryczna wielkość sieci ma duże znaczenie dla informacyjno-energetycznej efek-tywności transmisji. Efektywność transmisji jest wyraźnie największa w sieciach o geo-metrycznie najmniejszych rozmiarach, gdzie opóźnienia w komunikacji są najmniejsze.Dwukrotne zwiększenie rozmiarów może zmniejszyć efektywność ponad trzykrotnie (Rys.7.12). Co ciekawe, różnice w efektywnościach większych sieci są niewielkie, czyli dalszezwiększanie rozmiarów nie wpływa zasadniczo na efektywność transmisji. Wydaje się, żew tego typu sieciach (ogólnie: kanałach komunikacyjnych), informacyjno-energetycznaefektywność transmisji zależy głównie od lokalnej efektywności komunikacji, to znaczy odefektywności wymiany informacji w obrębie węzła oraz pomiędzy sąsiadującymi węzłami.

Rola neuronów hamujących jest szeroko dyskutowana w literaturze, przy czym analizęczęsto prowadzi się pod kątem równowagi pomiędzy pobudzaniem i hamowaniem. Uznajesię, że połączenia hamujące spełniają przede wszystkim zadania pomocnicze, pomagającneuronom pobudzającym efektywniej pracować. Badacze zgadzają się, że neurony hamującepełnią pozytywną rolę w aktywności mózgu. W rozprawie również pokazano pozytywnąich rolę: mogą one zwiększyć efektywność transmisji neuronów pobudzających nawet o 50%w porównaniu z architekturami sieci, które nie zawierają neuronów hamujących (Rys. 7.13).Z drugiej strony, informacyjno-energetyczna efektywność transmisji komórek pobudzającychpotrafi znacznie spaść jeśli neurony hamujące są zbyt silne. Pokrywa się to z rozważaniamii wynikami (również eksperymentalnymi) innych autorów.

Na daną sieć, jej konkretną architekturę, można spojrzeć jak na graf – w przypadkusieci typu brain–like: graf skierowany. W pełnym opisie takiej sieci należy uwzględnić nietylko położenia poszczególnych neuronów, równie istotny jest rozkład połączeń międzynimi, wliczając związek ze źródłem informacji oraz połączenia long–range. Wielu autorówopisuje znaczenie połączeń, jednak relatywnie mało uwagi poświęca się topologii sieci.W rozprawie wskazano istotny udział topologii sieci w wydajności jej pracy: połączenialong–range mogą zwiększyć efektywność transmisji komórek nawet o 70%, w zależności odswojego położenia oraz dostępności pobudzenia ze źródła informacji (Rys. 7.14).

W badaniach położono nacisk na dokładność prowadzonych symulacji komputerowych.Osiągnięto to wykorzystując długie ciągi wejściowe (co najmniej 106 bitów) oraz dokładnąmetodę estymacji entropii Stronga (Sekcja 5.2, str. 48; Rys. 5.3; Tab. 5.1; Kod 6.5).Dokładność estymacji procedurą Stronga ukazuje graficznie Rysunek 5.4. Duża precyzjaobliczeń zwiększa w znaczący sposób jakość i wiarygodność uzyskanych wyników.

LITERATURA

KSIĄŻKI, PODRĘCZNIKI I MONOGRAFIE

Ash, R.B. (1965). Information Theory. Wiley-Interscience (cyt. na s. 33, 35, 42, 83).Bear, M.F., Connors, B.W., Paradiso, M.A. (2007). Neuroscience: Exploring the Brain.

Lippincott Williams & Wilkins (cyt. na s. 20).Bishop, C.M. (1995). Neural Networks for Pattern Recognition. Oxford: Clarendon Press (cyt. na

s. 25, 83).Bullock, T.H., Orkand, R., Grinnell, A. (1977). Introduction to Nervous Systems. W. H.

Freeman (cyt. na s. 11, 12, 83).Cover, T.M., Thomas, J.A. (1991). Elements of Information Theory. Wiley-Interscience

(cyt. na s. 33, 35, 83).Csiszár, I., Körner, J. (1981). Information Theory: Coding Theorems for Discrete Memoryless

Systems. Academic Press (cyt. na s. 38).Dayan, P., Abbott, L.F. (2005). Theoretical Neuroscience: Computational and Mathematical

Modeling of Neural Systems; wydanie VI. Cambridge, Massachusetts: MIT Press (cyt. nas. 18, 21, 24, 83).

Destexhe, A., Rudolph-Lilith, M. (2012). Neuronal Noise. Springer (cyt. na s. 62, 71).Doidge, N. (2007). The Brain That Changes Itself: Stories of Personal Triumph from the

frontiers of brain science. Viking Adul (cyt. na s. 13).Farthing, G.W. (1992). The psychology of consciousness. Prentice Hall (cyt. na s. 4).Finger, S. (2001). Origins of Neuroscience: A History of Explorations into Brain Function.

Oxford University Press (cyt. na s. 5).Gerstner, W., Kistler, W.M. (2002). Spiking Neuron Models: Single Neurons, Populations,

Plasticity. Cambridge University Press (cyt. na s. 12, 17, 18, 24, 83).Gilmore, R., Lefranc, M. (2002). The Topology of Chaos: Alice in Stretch and Squeezeland;

wydanie III. Wiley (cyt. na s. 45).Groves, P.M., Rebec, G.V. (1992). Introduction to Biological Psychology; wydanie IV. William

C. Brown Publication (cyt. na s. 7, 83).Guyton, A.C. (2006). Textbook of Medical Physiology. Elsevier España (cyt. na s. 21).Hardin, J., Bertoni, G., Kleinsmith, L.J. (2011). Becker’s World of the Cell; wydanie VIII.

San Francisco: Pearson Education, Limited (cyt. na s. 12).Haykin, S. (1999). Neural Networks: A Comprehensive Foundation; wydanie II. Prentice Hall

(cyt. na s. 27).Hebb, D.O. (1949). The Organization of Behavior: A Neuropsychological Theory. Wiley (cyt. na

s. 13).Hille, B. (2001). Ionic Channels of Excitable Membranes; wydanie III. Sinauer Associates,

Incorporated (cyt. na s. 21, 22).Hoppensteadt, F.C., Izhikevich, E.M. (1997). Weakly connected neural networks. T. 126.

Springer (cyt. na s. 18).Izhikevich, E.M. (2007). Dynamical Systems in Neuroscience: The Geometry of Excitability

and Bursting. MIT Press (cyt. na s. 17, 18, 22).

89

LITERATURA 90

Johnston, D., Wu, S.M.-S. (1995). Foundations of Cellular Neurophysiology. MIT Press(cyt. na s. 21, 83).

Kandel, E., Schwartz, J., Jessell, T., Siegelbaum, S., Hudspeth, A.J. (2012). Principlesof Neural Science; wydanie V. McGraw-Hill Education (cyt. na s. 12, 20, 83).

Katz, B. (1966). Nerve, muscle, and synapse. McGraw-Hill (cyt. na s. 27).Koch, C. (2004). Biophysics of Computation: Information Processing in Single Neurons. New

York, USA: Oxford University Press (cyt. na s. 71).Koch, C. (2004). The quest for consciousness: a neurobiological approach. Roberts i Co. (cyt. na

s. 4).Koch, C., Segev, I. (1998). Methods in Neuronal Modeling: From Ions to Networks; wydanie II.

Cambridge, Massachusetts: MIT Press (cyt. na s. 18).Konorski, J. (1948). Conditioned reflexes and neuron organization. Cambridge University Press

(cyt. na s. 13).Lind, D., Marcus, B. (1996). An Introduction to Symbolic Dynamics and Coding. Cambridge

University Press (cyt. na s. 45).Llinás, R.R. (2002). I of the Vortex: From Neurons to Self. MIT Press (cyt. na s. 4).Maass, W., Bishop, C.M. (2001). Pulsed Neural Networks. MIT Press (cyt. na s. 24).Nicholls, J.G., Martin, A.R., Fuchs, P.A., Brown, D.A., Diamond, M.E., Weisblat, D.

(2012). From Neuron to Brain; wydanie V. Sunderland, MA, USA: Sinauer Associates, Inc(cyt. na s. 68).

Nieuwenhuys, R., Donkelaar, H.J., Nicholson, C. (1998). The Central Nervous System ofVertebrates. Springer (cyt. na s. 4).

Pharr, M., Humphreys, G. (2004). Physically Based Rendering: From Theory to Implementa-tion. Morgan Kaufmann (cyt. na s. 45).

Purves, D., Augustine, G.J., Fitzpatrick, D., Hall, W.C., LaMantia, A.-S., White,L.E. (2007). Neuroscience; wydanie V. Sinauer Associates (cyt. na s. 7, 11, 18, 83).

Rieke, F., Warland, D.D., de Ruyter van Steveninck, R.R., Bialek, W. (1999). Spikes.Exploring the Neural Code. MIT Press (cyt. na s. 9, 15, 33, 35, 46, 83).

Shepherd, G.M. (1991). Foundations of the neuron doctrine. Oxford University Press (cyt. nas. 5).

Shepherd, G.M. (2004). Synaptic Organization of the Brain; wydanie V. New York, USA:Oxford University Press (cyt. na s. 20).

Squire, L.R., Bloom, F.E., Spitzer, N.C., Du Lac, S., Ghosh, A., Berg, D. (2008).Fundamental Neurosciences; wydanie III. Academic Press Inc. (cyt. na s. 21).

Tuckwell, H.C. (1988). Introduction to Theoretical Neurobiology: Volume 1, Linear CableTheory and Dendritic Structure. Cambridge University Press (cyt. na s. 17, 18, 21, 83).

Van Hemmen, J.L., Sejnowski, T.J. (2006). 23 Problems in Systems Neuroscience. OxfordUniversity Press (cyt. na s. 5, 83).

Waxman, S. (2007). Molecular Neurology. Academic Press (cyt. na s. 12).

ARTYKUŁY

Abbott, N.J. (1987). Glia and the blood–brain barrier. Nature 325 (6101): 195. doi: 10.1038/325195a0 (cyt. na s. 5).

Abshire, P., Andreou, A.G. (2001). Capacity and energy cost of information in biological andsilicon photoreceptors. Proceedings of the IEEE 89 (7): 1052–1064 (cyt. na s. 27).

http://dx.doi.org/10.1038/325195a0

http://dx.doi.org/10.1038/325195a0

LITERATURA 91

Allen, N.J., Barres, B.A. (2009). Neuroscience: Glia – more than just brain glue. Nature 457(7230): 675–677. doi: 10.1038/457675a (cyt. na s. 6).

Amigó, J.M., Szczepanski, J., Wajnryb, E., Sanchez-Vives, M.V. (2004). Estimating theentropy rate of spike trains via Lempel-Ziv complexity. Neural computation 16 (4): 717–36.doi: 10.1162/089976604322860677 (cyt. na s. 1).

Armstrong, C.M. (2006). Na channel inactivation from open and closed states. Proceedings ofthe National Academy of Sciences of the United States of America 103 (47): 17991–17996.doi: 10.1073/pnas.0607603103 (cyt. na s. 22).

Armstrong, C.M., Hille, B. (1998). Voltage-Gated Ion Channels and Electrical Excitability.Neuron 20 (3): 371–380. doi: 10.1016/S0896-6273(00)80981-2 (cyt. na s. 22).

Attwell, D., Laughlin, S.B. (2001). An energy budget for signaling in the grey matterof the brain. Journal of Cerebral Blood Flow and Metabolism 21 (10): 1133–1145. doi:10.1097/00004647-200110000-00001 (cyt. na s. 4, 76, 83).

Azevedo, F.A.C., Carvalho, L.R.B., Grinberg, L.T., Farfel, J.M., Ferretti, R.E.L.,Leite, R.E.P., Jacob Filho, W., Lent, R., Herculano-Houzel, S. (2009). Equalnumbers of neuronal and nonneuronal cells make the human brain an isometrically scaled-upprimate brain. The Journal of Comparative Neurology 513 (5): 532–541. doi: 10.1002/cne.21974 (cyt. na s. 6).

Balasubramanian, V., Kimber, D., Berry, M.J.I. (2001). Metabolically Efficient InformationProcessing. Neural Computation 13 (4): 799–815. doi: 10.1162/089976601300014358 (cyt.na s. 27).

Barbour, B. (2001). An evaluation of synapse independence. The Journal of Neuroscience 21(20): 7969–7984 (cyt. na s. 82).

Battaglia, D., Brunel, N., Hansel, D. (2007). Temporal Decorrelation of Collective Oscil-lations in Neural Networks with Local Inhibition and Long-Range Excitation. PhysicalReview Letters 99 (23): 238106. doi: 10.1103/PhysRevLett.99.238106 (cyt. na s. 80, 84).

Bezzi, M., Nieus, T., Coenen, O.J.M., DAngelo, E. (2004). An integrate-and-fire model ofa cerebellar granule cell. Neurocomputing 58-60: 593–598. doi: 10.1016/j.neucom.2004.01.100 (cyt. na s. 17).

Bialek, W., Rieke, F., de Ruyter van Steveninck, R.R., Warland, D.D. (1991). Readinga neural code. Science 252 (5014): 1854–1857. doi: 10.1126/science.2063199 (cyt. nas. 46).

Breen, B.J., Gerken, W.C., Butera, R.J. (2003). Hybrid integrate-and-fire model of abursting neuron. Neural Computation 15 (12): 2843–2862. doi: 10.1162/089976603322518768 (cyt. na s. 17).

Brothwell, D.R. (1981). Digging up Bones: The Excavation, Treatment and Study of HumanSkeletal Remains. London: British Museum (Natural History) (cyt. na s. 5).

Bullmore, E., Sporns, O. (2012). The economy of brain network organization. Nature ReviewsNeuroscience 13 (5): 336–349. doi: 10.1038/nrn3214 (cyt. na s. 83).

Bullock, T.H., Bennett, M.V.L., Johnston, D., Josephson, R., Marder, E., Fields,R.D. (2005). Neuroscience. The Neuron Doctrine, Redux. Science 310 (5749): 791–793. doi:10.1126/science.1114394 (cyt. na s. 5).

Burke, D., Kiernan, M.C., Bostock, H. (2001). Excitability of human axons. ClinicalNeurophysiology 112 (9): 1575–1585. doi: 10.1016/S1388- 2457(01)00595- 8 (cyt. nas. 68).

Chaundy, T.W., McLeod, J.B. (1960). On a Functional Equation. Edinburgh MathematicalNotes 43 (1): 7–8. doi: 10.1017/S0950184300003244 (cyt. na s. 38).

http://dx.doi.org/10.1038/457675a

http://dx.doi.org/10.1162/089976604322860677

http://dx.doi.org/10.1073/pnas.0607603103

http://dx.doi.org/10.1016/S0896-6273(00)80981-2

http://dx.doi.org/10.1097/00004647-200110000-00001

http://dx.doi.org/10.1002/cne.21974

http://dx.doi.org/10.1002/cne.21974

http://dx.doi.org/10.1162/089976601300014358

http://dx.doi.org/10.1103/PhysRevLett.99.238106



http://dx.doi.org/10.1126/science.2063199

http://dx.doi.org/10.1162/089976603322518768

http://dx.doi.org/10.1162/089976603322518768

http://dx.doi.org/10.1038/nrn3214


http://dx.doi.org/10.1016/S1388-2457(01)00595-8

http://dx.doi.org/10.1017/S0950184300003244

LITERATURA 92

Chechik, G. (2003). Spike-timing-dependent plasticity and relevant mutual information ma-ximization. Neural Computation 15 (7): 1481–1510. doi: 10.1162/089976603321891774(cyt. na s. 15).

Clark, B.D., Goldberg, E.M., Rudy, B. (2009). Electrogenic tuning of the axon initialsegment. The Neuroscientist 15 (6): 651–668. doi: 10.1177/1073858409341973 (cyt. nas. 9).

Connors, B.W., Long, M.A. (2004). Electrical synapses in the mammalian brain. AnnualReview of Neuroscience 27 (1): 393–418. doi: 10.1146/annurev.neuro.26.041002.131128(cyt. na s. 12).

Crotty, P., Sangrey, T., Levy, W.B. (2006). Metabolic energy cost of action potentialvelocity. Journal of Neurophysiology 96 (3): 1237–1246 (cyt. na s. 83).

Csiszár, I. (2008). Axiomatic Characterizations of Information Measures. Entropy 10 (3): 261–273. doi: 10.3390/e10030261 (cyt. na s. 38).

Davidson, R.J., Lutz, A. (2008). Buddha’s Brain: Neuroplasticity and Meditation. IEEE SignalProcessing Magazine 25 (1): 176–174. doi: 10.1109/MSP.2008.4431873 (cyt. na s. 14).

De Roo, M., Klauser, P., Mendez, P., Poglia, L., Muller, D. (2008). Activity-dependentPSD formation and stabilization of newly formed spines in hippocampal slice cultures.Cerebral Cortex 18 (1): 151–161. doi: 10.1093/cercor/bhm041 (cyt. na s. 7).

De Roo, M., Klauser, P., Muller, D. (2008). LTP promotes a selective long-term stabilizationand clustering of dendritic spines. PLoS Biology 6 (9): e219. doi: 10.1371/journal.pbio.0060219 (cyt. na s. 8).

de Ruyter van Steveninck, R.R., Laughlin, S.B. (1996). The rate of information transferat graded-potential synapses. Nature 379: 642–645 (cyt. na s. 82).

Destexhe, A., Pare, D. (1999). Impact of Network Activity on the Integrative Propertiesof Neocortical Pyramidal Neurons In Vivo. Journal of Neurophysiology 81 (4): 1531–1547(cyt. na s. 27).

Diderrich, G.T. (1975). The role of boundedness in characterizing shannon entropy. Informationand Control 29 (2): 149–161. doi: 10.1016/S0019-9958(75)90514-8 (cyt. na s. 38).

Dorrn, A.L., Yuan, K., Barker, A.J., Schreiner, C.E., Froemke, R.C. (2010). Develop-mental sensory experience balances cortical excitation and inhibition. Nature 465 (7300):932–U9 (cyt. na s. 80, 84).

Dorus, S., Vallender, E.J., Evans, P.D., Anderson, J.R., Gilbert, S.L., Mahowald, M.,Wyckoff, G.J., Malcom, C.M., Lahn, B.T. (2004). Accelerated evolution of nervoussystem genes in the origin of Homo sapiens. Cell 119 (7): 1027–1040. doi: 10.1016/j.cell.2004.11.040 (cyt. na s. 4).

Doussau, F., Augustine, G.J. (2000). The actin cytoskeleton and neurotransmitter release:An overview. Biochimie 82 (4): 353–363. doi: 10.1016/S0300-9084(00)00217-0 (cyt. nas. 11).

Drachman, D.A. (2005). Do we have brain to spare? Neurology 64 (12): 2004–2005. doi:10.1212/01.WNL.0000166914.38327.BB (cyt. na s. 6).

Dunbar, R.I.M. (1992). Neocortex size as a constraint on group size in primates. Journal ofHuman Evolution 22 (6): 469–493. doi: 10.1016/0047-2484(92)90081-J (cyt. na s. 4).

Eriksson, P.S., Perfilieva, E., Björk-Eriksson, T., Alborn, A.-M., Nordborg, C.,Peterson, D.A., Gage, F.H. (1998). Neurogenesis in the adult human hippocampus.Nature Medicine 4 (11): 1313–1317. doi: 10.1038/3305 (cyt. na s. 7).

http://dx.doi.org/10.1162/089976603321891774

http://dx.doi.org/10.1177/1073858409341973

http://dx.doi.org/10.1146/annurev.neuro.26.041002.131128

http://dx.doi.org/10.3390/e10030261

http://dx.doi.org/10.1109/MSP.2008.4431873

http://dx.doi.org/10.1093/cercor/bhm041

http://dx.doi.org/10.1371/journal.pbio.0060219

http://dx.doi.org/10.1371/journal.pbio.0060219

http://dx.doi.org/10.1016/S0019-9958(75)90514-8

http://dx.doi.org/10.1016/j.cell.2004.11.040

http://dx.doi.org/10.1016/j.cell.2004.11.040

http://dx.doi.org/10.1016/S0300-9084(00)00217-0

http://dx.doi.org/10.1212/01.WNL.0000166914.38327.BB

http://dx.doi.org/10.1016/0047-2484(92)90081-J

http://dx.doi.org/10.1038/3305

LITERATURA 93

Ermentrout, G.B., Galán, R.F., Urban, N.N. (2008). Reliability, synchrony and noise.Trends in Neurosciences 31 (8): 428–434. doi: 10.1016/j.tins.2008.06.002 (cyt. nas. 65).

Eroglu, C., Barres, B.A. (2010). Regulation of synaptic connectivity by glia. Nature 468(7321): 223–231. doi: 10.1038/nature09612 (cyt. na s. 5).

Fadejew, D.K. (1956). On the concept of entropy of a finite probability scheme (in Russian).Uspehi Mat. Nauk 11: 227–231 (cyt. na s. 38).

Feng, J. (2001). Is the inntegrate-and-fire model good enough? – a review. Neural Networks 14:955–975 (cyt. na s. 18).

Folias, S.E., Ermentrout, G.B. (2011). New Patterns of Activity in a Pair of InteractingExcitatory-Inhibitory Neural Fields. Physical Review Letters 107 (22): 228103 (cyt. na s. 80,84).

Fuente, I.M. la, Perez-Samartin, A.L., Martinez, L., Garcia, M.A., Vera-Lopez,A. (2006). Long-range correlations in rabbit brain neural activity. Annals of BiomedicalEngineering 34 (2): 295–299 (cyt. na s. 84).

Glanzer, J.G., Eberwine, J.H. (2003). Mechanisms of translational control in dendrites.Neurobiology of Aging 24 (8): 1105–1111. doi: 10.1016/j.neurobiolaging.2003.04.006(cyt. na s. 8).

Gould, E., Reeves, A.J., Graziano, M.S.A., Gross, C.G. (1999). Neurogenesis in theNeocortex of Adult Primates. Science 286 (5439): 548–552. doi: 10.1126/science.286.5439.548 (cyt. na s. 7).

Gray, R.T., Robinson, P.A. (2009). Stability and structural constraints of random brainnetworks with excitatory and inhibitory neural populations. Journal of ComputationalNeuroscience 27 (1): 81–101. doi: 10.1007/s10827-008-0128-0 (cyt. na s. 80, 84).

Haas, J.S., Zavala, B., Landisman, C.E. (2011). Activity-Dependent Long-Term Depression ofElectrical Synapses. Science 334 (6054): 389–393. doi: 10.1126/science.1207502 (cyt. nas. 12).

Hansel, D., Mato, G. (2001). Existence and stability of persistent states in large neuronalnetworks. Physical Reveiw Letters 86: 4175–4178 (cyt. na s. 18).

Hartline, D.K. (2008). What is myelin? Neuron Glia Biology 4 (2): 153–163. doi: 10.1017/S1740925X09990263 (cyt. na s. 9).

Hernando, A., Villuendas, D., Vesperinas, C., Abad, M., Plastino, A. (2010). Unravellingthe size distribution of social groups with information theory in complex networks. TheEuropean Physical Journal B 76 (1): 87–97. doi: 10.1140/epjb/e2010-00216-1 (cyt. nas. 4).

Hess, A., Young, J.Z. (1952). The Nodes of Ranvier. Proceedings of the Royal Society ofLondon. Series B: Biological Sciences 140 (900): 301–320. doi: 10.1098/rspb.1952.0063(cyt. na s. 9).

Hilbert, M., López, P. (2011). The world’s technological capacity to store, communicate, andcompute information. Science 332 (6025): 60–65. doi: 10.1126/science.1200970 (cyt. nas. 6).

Hodgkin, A.L., Huxley, A.F. (1939). Action Potentials Recorded from Inside a Nerve Fibre.Nature 144: 710–711. doi: doi:10.1038/144710a0 (cyt. na s. 20).

Hodgkin, A.L., Huxley, A.F. (1952). A quantitative description of membrane current andits application to conduction and excitation in nerve. Journal of Physiology 117: 500–544(cyt. na s. 2, 12, 20, 23).

http://dx.doi.org/10.1016/j.tins.2008.06.002

http://dx.doi.org/10.1038/nature09612

http://dx.doi.org/10.1016/j.neurobiolaging.2003.04.006

http://dx.doi.org/10.1126/science.286.5439.548


http://dx.doi.org/10.1007/s10827-008-0128-0


http://dx.doi.org/10.1017/S1740925X09990263

http://dx.doi.org/10.1017/S1740925X09990263

http://dx.doi.org/10.1140/epjb/e2010-00216-1

http://dx.doi.org/10.1098/rspb.1952.0063


http://dx.doi.org/doi:10.1038/144710a0

LITERATURA 94

Hodgkin, A.L., Huxley, A.F. (1952). Currents carried by sodium and potassium ions throughthe membrane of the giant axon of Loligo. Journal of Physiology 116 (4): 449–472 (cyt. nas. 20).

Hodgkin, A.L., Huxley, A.F. (1952). The components of membrane conductance in the giantaxon of Loligo. Journal of Physiology 116 (4): 473–496 (cyt. na s. 20).

Hodgkin, A.L., Huxley, A.F. (1952). The dual effect of membrane potential on sodiumconductance in the giant axon of Loligo. Journal of Physiology 116 (4): 497–506 (cyt. nas. 20).

Hormuzdi, S.G., Filippov, M.A., Mitropoulou, G., Monyer, H., Bruzzone, R. (2004).Electrical synapses: a dynamic signaling system that shapes the activity of neuronal networks.Biochimica et Biophysica Acta 1662 (1-2): 113–137. doi: 10.1016/j.bbamem.2003.10.023(cyt. na s. 12).

Howarth, C., Gleeson, P., Attwell, D. (2012). Updated energy budgets for neural compu-tation in the neocortex and cerebellum. Journal of Cerebral Blood Flow and Metabolism 32(7): 1222–1232. doi: 10.1038/jcbfm.2012.35 (cyt. na s. 21).

Hursh, J.B. (1939). Conduction velocity and diameter of nerve fibers. American Journal ofPhysiology 127: 131–139 (cyt. na s. 9).

Huxley, A.F. (2002). From overshoot to voltage clamp. English. Trends in Neurosciences 25(11): 553–558. doi: 10.1016/S0166-2236(02)02280-4 (cyt. na s. 20).

Joffe, T.H., Dunbar, R.I.M. (1997). Visual and socio-cognitive information processing inprimate brain evolution. Proceedings of the Royal Society of London. Series B: BiologicalSciences 264 (1386): 1303–1307. doi: 10.1098/rspb.1997.0180 (cyt. na s. 4).

Káradóttir, R., Hamilton, N.B., Bakiri, Y., Attwell, D. (2008). Spiking and nonspikingclasses of oligodendrocyte precursor glia in CNS white matter. Nature Neuroscience 11 (4):450–456. doi: 10.1038/nn2060 (cyt. na s. 5).

Kato, G., Kosugi, M., Mizuno, M., Strassman, A.M. (2011). Separate Inhibitory andExcitatory Components Underlying Receptive Field Organization in Superficial MedullaryDorsal Horn Neurons. Journal of Neuroscience 31 (47): 17300–17305 (cyt. na s. 84).

Kennel, M.B., Shlens, J., Abarbanel, H.D.I., Chichilnisky, E.J. (2005). Estimatingentropy rates with Bayesian confidence intervals. Neural Computation 17 (7): 1531–1576.doi: 10.1162/0899766053723050 (cyt. na s. 46).

King, A.J. (2010). Auditory Neuroscience: Balancing Excitation and Inhibition during Develop-ment. Current Biology 20 (18): R808–R810 (cyt. na s. 80, 84).

Kohonen, T. (1982). Self-organized formation of topologically correct feature maps. BiologicalCybernetics 43 (1): 59–69. doi: 10.1007/BF00337288 (cyt. na s. 27).

Korngreen, A., Sakmann, B. (2000). Voltage-gated K+ channels in layer 5 neocorticalpyramidal neurones from young rats: subtypes and gradients. The Journal of Physiology525 (3): 621–639. doi: 10.1111/j.1469-7793.2000.00621.x (cyt. na s. 23).

Kostál, L. (2012). Approximate information capacity of the perfect integrate-and-fire neuronusing the temporal code. Brain Research 1434 (SI): 136–141. doi: 10.1016/j.brainres.2011.07.007 (cyt. na s. 83).

Laing, C., Coombes, S. (2006). The importance of different timings of excitatory and inhibitorypathways in neural field models. Network–Computation in Neural Systems 17 (2): 151–172(cyt. na s. 80, 84).

Lapicque, L. (1907). Recherches quantitatives sur l’excitation electrique des nerfs traitee commeune polarization. Journal de physiologie et de pathologie générale 9: 620–635 (cyt. na s. 17).

http://dx.doi.org/10.1016/j.bbamem.2003.10.023

http://dx.doi.org/10.1038/jcbfm.2012.35

http://dx.doi.org/10.1016/S0166-2236(02)02280-4

http://dx.doi.org/10.1098/rspb.1997.0180

http://dx.doi.org/10.1038/nn2060

http://dx.doi.org/10.1162/0899766053723050

http://dx.doi.org/10.1007/BF00337288

http://dx.doi.org/10.1111/j.1469-7793.2000.00621.x



LITERATURA 95

Latham, P.E., Richmond, B.J., Nelson, P.G., Nirenberg, S. (2000). Intrinsic dynamics inneuronal networks. I. Theory. Journal of Neurophysiology 83: 808–827 (cyt. na s. 18).

Laughlin, S.B., de Ruyter van Steveninck, R.R., Anderson, J.C. (1998). The metaboliccost of neural information. Nature Neuroscience 1 (1): 36–41 (cyt. na s. 27, 83).

Lauritzen, M., Mathiesen, C., Schaefer, K., Thomsen, K.J. (2012). Neuronal inhibitionand excitation, and the dichotomic control of brain hemodynamic and oxygen responses.NeuroImage 62 (2): 1040–50. doi: 10.1016/j.neuroimage.2012.01.040 (cyt. na s. 84).

Lazar, S.W., Kerr, C.E., Wasserman, R.H., Gray, J.R., Greve, D.N., Treadway, M.T.,McGarvey, M., Quinn, B.T., Dusek, J.A., Benson, H., Rauch, S.L., Moore, C.I.,Fischl, B. (2005). Meditation experience is associated with increased cortical thickness.NeuroReport 16 (17): 1893–1897. doi: 10.1097/01.wnr.0000186598.66243.19 (cyt. nas. 14).

Ledoux, E., Brunel, N. (2011). Dynamics of networks of excitatory and inhibitory neurons inresponse to time-dependent inputs. Frontiers in Computational Neuroscience 5: 25 (cyt. nas. 80, 84).

Lempel, A., Ziv, J. (1976). On the Complexity of Finite Sequences. IEEE Transactions onInformation Theory 22 (1): 75–81. doi: 10.1109/TIT.1976.1055501 (cyt. na s. 47, 48).

Levine, J.M., Reynolds, R., Fawcett, J.W. (2001). The oligodendrocyte precursor cell inhealth and disease. Trends in Neurosciences 24 (1): 39–47. doi: 10.1016/S0166-2236(00)01691-X (cyt. na s. 5).

Levy, W.B., Baxter, R.A. (1996). Energy efficient neural codes. Neural Comput. 8 (3): 531–543(cyt. na s. 27).

Levy, W.B., Baxter, R.A. (2002). Energy-efficient neuronal computation via quantal synapticfailures. The Journal of Neuroscience 22 (11): 4746–4755 (cyt. na s. 1–3, 16, 27–29, 33, 62,82).

Lindner, B., Gangloff, D., Longtin, A., Lewis, J.E. (2009). Broadband coding with dynamicsynapses. The Journal of Neuroscience 29 (7): 2076–2088. doi: 10.1523/JNEUROSCI.3702-08.2009 (cyt. na s. 15).

Linkenkaer-Hansen, K., Nikouline, V.V., Palva, J.M., Ilmoniemi, R.J. (2001). Long-range temporal correlations and scaling behavior in human brain oscillations. Journal ofNeuroscience 21 (4): 1370–1377 (cyt. na s. 84).

Linkenkaer-Hansen, K., Nikouline, V.V., Palva, J.M., Kaila, K., Ilmoniemi, R.J. (2004).Stimulus-induced change in long-range temporal correlations and scaling behaviour ofsensorimotor oscillations. European Journal of Neuroscience 19 (1): 203–211 (cyt. na s. 84).

Lisman, J. (2012). Excitation, inhibition, local oscillations, or large-scale loops: what causesthe symptoms of schizophrenia? Current Opinion in Neurobiology 22 (3): 537–544. doi:10.1016/j.conb.2011.10.018 (cyt. na s. 84).

London, M., Larkum, M.E., Hausser, M. (2008). Predicting the synaptic informationefficiency in cortical layer 5 pyramidal cells using a minimal integrate-and-fire model.Biological Cybernetics 99 (4–5): 393–401 (cyt. na s. 82).

Lutz, A., Greischar, L.L., Rawlings, N.B., Ricard, M., Davidson, R.J. (2004). Long-termmeditators self-induce high-amplitude gamma synchrony during mental practice. Proceedingsof the National Academy of Sciences of the United States of America 101 (46): 16369–16373.doi: 10.1073/pnas.0407401101 (cyt. na s. 14).

MacKay, D.M., McCulloch, W.S. (1952). The limiting information capacity of a neuronallink. The Bulletin of Mathematical Biophysics 14 (2): 127–135. doi: 10.1007/BF02477711(cyt. na s. 46).

http://dx.doi.org/10.1016/j.neuroimage.2012.01.040

http://dx.doi.org/10.1097/01.wnr.0000186598.66243.19

http://dx.doi.org/10.1109/TIT.1976.1055501

http://dx.doi.org/10.1016/S0166-2236(00)01691-X

http://dx.doi.org/10.1016/S0166-2236(00)01691-X

http://dx.doi.org/10.1523/JNEUROSCI.3702-08.2009


http://dx.doi.org/10.1016/j.conb.2011.10.018

http://dx.doi.org/10.1073/pnas.0407401101

http://dx.doi.org/10.1007/BF02477711

LITERATURA 96

Mainen, Z., Sejnowski, T.J. (1995). Reliability of spike timing in neocortical neurons. Science268 (5216): 1503–1506. doi: 10.1126/science.7770778 (cyt. na s. 46).

McCarthy, J.B., Milner, T.A. (2003). Dendritic ribosomes suggest local protein synthesisduring estrous synaptogenesis. NeuroReport 14 (10): 1357–1360. doi: 10.1097/01.wnr.0000078380.40088.99 (cyt. na s. 8).

McCulloch, W.S., Pitts, W.H. (1943). A logical calculus of the ideas imminent in nervousactivity. Bulletin of Mathematical Biophysics 5: 115–133 (cyt. na s. 2, 26).

McEwen, B.S., Reagan, L.P. (2004). Glucose transporter expression in the central nervoussystem: relationship to synaptic function. European Journal of Pharmacology 490 (1–3):13–24. doi: 10.1016/j.ejphar.2004.02.041 (cyt. na s. 5).

Miller, G. (2005). Neuroscience. The dark side of glia. Science 308 (5723): 778–781. doi:10.1126/science.308.5723.778 (cyt. na s. 5).

Mink, J.W., Blumenschine, R.J., Adams, D.B. (1981). Ratio of central nervous system tobody metabolism in vertebrates: its constancy and functional basis. The American Journalof Physiology 241 (3): R203–R212 (cyt. na s. 4).

Miranda, E.R., Brouse, A. (2005). Toward Direct Brain-Computer Musical Interfaces. W:Proceedings of the 5th International Conference on New Instruments for Musical Expression.NIME ’05. Vancouver, Canada: National University of Singapore: 216–219 (cyt. na s. 14).

Mohamed, W. (2008). The Edwin Smith Surgical Papyrus: Neuroscience in Ancient Egypt.IBRO History of Neuroscience (cyt. na s. 5).

Moujahid, A., Dâ€™Anjou, A., Torrealdea, F.J., Torrealdea, F. (2011). Energy andinformation in Hodgkin-Huxley neurons. Physical Review E 83 (3): 31912. doi: 10.1103/PhysRevE.83.031912 (cyt. na s. 83).

Moujahid, A., D’Anjou, A., Graña, M. (2014). Energy demands of diverse spiking cells fromthe neocortex, hippocampus, and thalamus. Frontiers in Computational Neuroscience 8: 41.doi: 10.3389/fncom.2014.00041 (cyt. na s. 80).

Naundorf, B., Wolf, F., Volgushev, M. (2006). Unique features of action potential initiationin cortical neurons. Nature 440 (7087): 1060–1063. doi: 10.1038/nature04610 (cyt. nas. 12).

Nemenman, I., Bialek, W., de Ruyter van Steveninck, R.R. (2004). Entropy and infor-mation in neural spike trains: Progress on the sampling problem. Physical Review E 69 (5):056111. doi: 10.1103/PhysRevE.69.056111 (cyt. na s. 46).

Nikulin, V.V., Jönsson, E.G., Brismar, T. (2012). Attenuation of long-range temporalcorrelations in the amplitude dynamics of alpha and beta neuronal oscillations in patientswith schizophrenia. NeuroImage 61 (1): 162–169. doi: 10.1016/j.neuroimage.2012.03.008 (cyt. na s. 84).

Niven, J.E., Anderson, J.C., Laughlin, S.B. (2007). Fly photoreceptors demonstrate energy-information trade-offs in neural coding. PLOS Biology 5 (4): 828–840 (cyt. na s. 83).

Paninski, L. (2003). Convergence properties of three spike–triggered analysis techniques. Network:Computation in Neural Systems 14 (3): 437–464 (cyt. na s. 46).

Paninski, L. (2003). Estimation of Entropy and Mutual Information. Neural Computation 15(6): 1191–1253. doi: 10.1162/089976603321780272 (cyt. na s. 46).

Paprocki, B., Szczepanski, J. (2011). Efficiency of neural transmission as a function of synapticnoise, threshold, and source characteristics. BioSystems 105 (1): 62–72. doi: 10.1016/j.biosystems.2011.03.005 (cyt. na s. 3, 27, 29, 61–67, 69, 70, 82).

Paprocki, B., Szczepanski, J. (2012). Effectiveness of information transmission in the brain-likecommunication models. Neural Coding 2012 : 93–94 (cyt. na s. 29).




http://dx.doi.org/10.1016/j.ejphar.2004.02.041


http://dx.doi.org/10.1103/PhysRevE.83.031912


http://dx.doi.org/10.3389/fncom.2014.00041





http://dx.doi.org/10.1162/089976603321780272



LITERATURA 97

Paprocki, B., Szczepanski, J. (2013). How do the amplitude fluctuations affect the neuronaltransmission efficiency. Neurocomputing 104: 50–56. doi: 10.1016/j.neucom.2012.11.001(cyt. na s. 3, 27, 29, 61, 71–73, 82).

Paprocki, B., Szczepanski, J. (2013). Transmission efficiency in ring, brain inspired neuronalnetworks. Information and energetic aspects. Brain Research 1536: 135–143. doi: 10.1016/j.brainres.2013.07.024 (cyt. na s. 3, 27, 29, 61, 75, 77, 78, 80, 82).

Paprocki, B., Szczepanski, J., Kolbuk, D. (2013). Information transmission efficiency inneuronal communication systems. BMC Neuroscience 14 (Suppl 1): P217. doi: 10.1186/1471-2202-14-S1-P217 (cyt. na s. 3, 29, 61, 65, 82).

Pascual-Leone, A., Amedi, A., Fregni, F., Merabet, L.B. (2005). The plastic human braincortex. Annual Review of Neuroscience 28: 377–401. doi: 10.1146/annurev.neuro.27.070203.144216 (cyt. na s. 13).

Penzes, P., Cahill, M.E., Jones, K.A., VanLeeuwen, J.-E., Woolfrey, K.M. (2011).Dendritic spine pathology in neuropsychiatric disorders. Nature Neuroscience 14 (3): 285–293. doi: 10.1038/nn.2741 (cyt. na s. 8).

Rakic, P. (2002). Neurogenesis in adult primate neocortex: an evaluation of the evidence. NatureReviews Neuroscience 3 (1): 65–71. doi: 10.1038/nrn700 (cyt. na s. 13).

Roberts, T.F., Tschida, K.A., Klein, M.E., Mooney, R. (2010). Rapid spine stabilizationand synaptic enhancement at the onset of behavioural learning. Nature 463 (7283): 948–952.doi: 10.1038/nature08759 (cyt. na s. 8).

Rosenblatt, F. (1957). The perceptron – a perceiving and recognizing automaton. Spraw. tech.Buffalo, NY: Cornell Aeronautical Laboratory: (cyt. na s. 26).

Rotman, Z., Deng, P.-Y., Klyachko, V.A. (2011). Short-term plasticity optimizes synapticinformation transmission. The Journal of Neuroscience 31 (41): 14800–14809. doi: 10.1523/JNEUROSCI.3231-11.2011 (cyt. na s. 15).

Salzer, J.L. (1997). Clustering Sodium Channels at the Node of Ranvier: Close Encountersof the Axon–Glia Kind. Neuron 18 (6): 843–846. doi: 10.1016/S0896-6273(00)80323-2(cyt. na s. 9).

Schenkman, B.N., Nilsson, M.E. (2010). Human echolocation: Blind and sighted persons’ability to detect sounds recorded in the presence of a reflecting object. Perception 39 (4):483–501. doi: 10.1068/p6473 (cyt. na s. 14).

Schenkman, B.N., Nilsson, M.E. (2011). Human echolocation: Pitch versus loudness informa-tion. Perception 40 (7): 840–852. doi: 10.1068/p6898 (cyt. na s. 14).

Schreiber, S., Machens, C.K., Herz, A.V.M., Laughlin, S.B. (2002). Energy-efficientcoding with discrete stochastic events. Neural Computation 14 (6): 1323–1346. doi: 10.1162/089976602753712963 (cyt. na s. 27).

Schwappach, B. (2008). An overview of trafficking and assembly of neurotransmitter receptorsand ion channels (Review). Molecular Membrane Biology 25 (4): 270–278. doi: 10.1080/09687680801960998 (cyt. na s. 11).

Schwiening, C.J. (2012). A brief historical perspective: Hodgkin and Huxley. Journal ofPhysiology 590 (11): 2571–2575. doi: 10.1113/jphysiol.2012.230458 (cyt. na s. 20).

Scott, P., Cowan, A.I., Stricker, C. (2012). Quantifying impacts of short-term plasticity onneuronal information transfer. Physical Review E 85 (4): 041921. doi: 10.1103/PhysRevE.85.041921 (cyt. na s. 15).

Shadlen, M.N., Newsome, W.T. (1994). Noise, neural codes and cortical organization. CurrentOpinion in Neurobiology 4 (4): 569–579. doi: 10.1016/0959-4388(94)90059-0 (cyt. nas. 80).




http://dx.doi.org/10.1186/1471-2202-14-S1-P217

http://dx.doi.org/10.1186/1471-2202-14-S1-P217



http://dx.doi.org/10.1038/nn.2741

http://dx.doi.org/10.1038/nrn700




http://dx.doi.org/10.1016/S0896-6273(00)80323-2

http://dx.doi.org/10.1068/p6473

http://dx.doi.org/10.1068/p6898

http://dx.doi.org/10.1162/089976602753712963

http://dx.doi.org/10.1162/089976602753712963

http://dx.doi.org/10.1080/09687680801960998

http://dx.doi.org/10.1080/09687680801960998

http://dx.doi.org/10.1113/jphysiol.2012.230458



http://dx.doi.org/10.1016/0959-4388(94)90059-0

LITERATURA 98

Shannon, C.E. (1948). A mathematical theory of communication. The Bell System TechnicalJournal 27: 379–423. doi: 10.1145/584091.584093 (cyt. na s. 1, 2, 31, 32, 38, 83).

Shannon, C.E. (1949). Communications in the presence of noise. Proceedings of the IEEE 37:10–21 (cyt. na s. 31, 45).

Shlens, J., Kennel, M.B., Abarbanel, H.D.I., Chichilnisky, E.J. (2007). Estimatinginformation rates with confidence intervals in neural spike trains. Neural Computation 19(7): 1683–1719. doi: 10.1162/neco.2007.19.7.1683 (cyt. na s. 46).

Skou, J.C. (1957). The influence of some cations on an adenosine triphosphatase from peripheralnerves. Biochimica et Biophysica Acta 23: 394–401. doi: 10.1016/0006-3002(57)90343-8(cyt. na s. 21).

Sokoloff, L. (1981). Localization of Functional Activity in the Central Nervous System byMeasurement of Glucose Utilization with Radioactive Deoxyglucose. Journal of CerebralBlood Flow & Metabolism 1 (1): 7–36. doi: 10.1038/jcbfm.1981.4 (cyt. na s. 4).

Sotero, R.C., Trujillo-Barreto, N.J. (2007). Modelling the role of excitatory and inhibitoryneuronal activity in the generation of the BOLD signal. NeuroImage 35 (1): 149–165. doi:10.1016/j.neuroimage.2006.10.027 (cyt. na s. 84).

Stacey, W.C., Durand, D.M. (2001). Synaptic Noise Improves Detection of SubthresholdSignals in Hippocampal CA1 Neurons. Journal of Neurophysiology 86 (3): 1104–1112 (cyt. nas. 65).

Stein, R.B. (1967). Some models of neuronal variability. English. Biophysical Journal 7 (1):37–68. doi: 10.1016/S0006-3495(67)86574-3 (cyt. na s. 18).

Steinbeck, J.A., Koch, P., Derouiche, A., Brüstle, O. (2012). Human embryonic stemcell-derived neurons establish region-specific, long-range projections in the adult brain.Cellular and Molecular Life Sciences 69 (3): 461–470. doi: 10.1007/s00018-011-0759-6(cyt. na s. 80, 84).

Stratton, P., Wiles, J. (2010). Self-sustained non-periodic activity in networks of spikingneurons: The contribution of local and long-range connections and dynamic synapses.Neuroimage 52 (3): 1070–1079 (cyt. na s. 80, 84).

Stroffregen, T.A., Pittenger, J.B. (1995). Human Echolocation as a Basic Form ofPerception and Action. Ecological Psychology 7 (3): 181–216. doi: 10.1207/s15326969eco0703\_2 (cyt. na s. 14).

Strong, S.P., de Ruyter van Steveninck, R.R., Bialek, W., Koberle, R. (1998). Onthe Application of Information Theory to Neural Spike Trains. Pacific Symposium OnBiocomputing 80: 621–632 (cyt. na s. 46).

Strong, S.P., Koberle, R., de Ruyter van Steveninck, R.R., Bialek, W. (1998).Entropy and Information in Neural Spike Trains. Physical Review Letters 80 (1): 197–200.doi: 10.1103/PhysRevLett.80.197 (cyt. na s. 1, 2, 46, 48, 49, 57, 102).

Stuart, G., Spruston, N., Sakmann, B., Häusser, M. (1997). Action potential initiationand backpropagation in neurons of the mammalian CNS. Trends in Neurosciences 20 (3):125–131. doi: 10.1016/S0166-2236(96)10075-8 (cyt. na s. 68).

Szczepanski, J., Amigó, J.M., Wajnryb, E., Sanchez-Vives, M.V. (2004). Characterizingspike trains with Lempelâ€“Ziv complexity. Neurocomputing 58-60: 79–84. doi: 10.1016/j.neucom.2004.01.026 (cyt. na s. 1).

Szczepanski, J., Arnold, M., Wajnryb, E., Amigó, J.M., Sanchez-Vives, M.V. (2011).Mutual information and redundancy in spontaneous communication between cortical neurons.Biological Cybernetics 104 (3): 161–174. doi: 10.1007/s00422-011-0425-y (cyt. na s. 1).

http://dx.doi.org/10.1145/584091.584093

http://dx.doi.org/10.1162/neco.2007.19.7.1683

http://dx.doi.org/10.1016/0006-3002(57)90343-8

http://dx.doi.org/10.1038/jcbfm.1981.4


http://dx.doi.org/10.1016/S0006-3495(67)86574-3

http://dx.doi.org/10.1007/s00018-011-0759-6

http://dx.doi.org/10.1207/s15326969eco0703\_2

http://dx.doi.org/10.1207/s15326969eco0703\_2

http://dx.doi.org/10.1103/PhysRevLett.80.197

http://dx.doi.org/10.1016/S0166-2236(96)10075-8



http://dx.doi.org/10.1007/s00422-011-0425-y

LITERATURA 99

Szczepanski, J., Paprocki, B. (2012). Transmission efficiency in the brain-like neuronalnetworks. Information and energetic aspects. Neural Coding 2012 : 127–128 (cyt. na s. 29).

Teng, S., Whitney, D. (2011). The acuity of echolocation: Spatial resolution in the sightedcompared to expert performance. Journal of Visual Impairment & Blindness 10 (1): 20–32(cyt. na s. 14).

Thaler, L., Arnott, S.R., Goodale, M.A. (2010). Human Echolocation. Journal of Vision10 (7): 1050–1050. doi: 10.1167/10.7.1050 (cyt. na s. 14).

Thaler, L., Arnott, S.R., Goodale, M.A. (2011). Neural correlates of natural humanecholocation in early and late blind echolocation experts. PloS ONE 6 (5): e20162. doi:10.1371/journal.pone.0020162 (cyt. na s. 14).

Thomson, A.M. (2000). Facilitation, augmentation and potentiation at central synapses. Trendsin Neurosciences 23 (7): 305–312. doi: 10.1016/S0166-2236(00)01580-0 (cyt. na s. 27).

Torrealdea, F.J., Sarasola, C., Dâ€™Anjou, A., Moujahid, A., Mendizábal, N.V.de (2009). Energy efficiency of information transmission by electrically coupled neurons.Biosystems 97 (1): 60–71 (cyt. na s. 83).

Toutounji, H., Pipa, G. (2014). Spatiotemporal computations of an excitable and plasticbrain: neuronal plasticity leads to noise-robust and noise-constructive computations. PLoSComputational Biology 10 (3). Wyed. O. Sporns: e1003512. doi: 10.1371/journal.pcbi.1003512 (cyt. na s. 65).

Tyrrell, T., Willshaw, D. (1992). Cerebellar cortex: its simulation and the relevance of Marr’stheory. Philosophical Transactions of the Royal Society of London. Series B: BiologicalSciences 336 (1277): 239–257. doi: 10.1098/rstb.1992.0059 (cyt. na s. 7).

Uhlhaas, P.J., Pipa, G., Lima, B., Melloni, L., Neuenschwander, S., Nikolic, D.,Singer, W. (2009). Neural synchrony in cortical networks: history, concept and currentstatus. Frontiers in Integrative Neuroscience 3: 17 (cyt. na s. 80, 84).

Ullian, E.M., Sapperstein, S.K., Christopherson, K.S., Barres, B.A. (2001). Control ofsynapse number by glia. Science 291 (5504): 657–661. doi: 10.1126/science.291.5504.657 (cyt. na s. 5).

Vecchia, D., Pietrobon, D. (2012). Migraine: a disorder of brain excitatory-inhibitory balance?Trends in Neurosciences 35 (8): 507–520. doi: 10.1016/j.tins.2012.04.007 (cyt. na s. 80,84).

Victor, J.D., Nirenberg, S. (2008). Indices for testing neural codes. Neural Computation 20(12): 2895–2936. doi: 10.1162/neco.2008.10-07-633 (cyt. na s. 46).

Vidal, J.J. (1973). Toward direct brain-computer communication. Annual Review of Biophysicsand Bioengineering 2: 157–180. doi: 10.1146/annurev.bb.02.060173.001105 (cyt. nas. 14).

Volgushev, M., Eysel, U.T. (2000). Noise Makes Sense in Neuronal Computing. Science 290(5498): 1908–1909. doi: 10.1126/science.290.5498.1908 (cyt. na s. 65).

Vu, V.Q., Yu, B., Kass, R.E. (2007). Coverage-adjusted entropy estimation. Statistics inMedicine 26 (21): 4039–4060. doi: 10.1002/sim.2942 (cyt. na s. 46).

Wang, Q., Zhang, H., Perc, M., Chen, G. (2012). Multiple firing coherence resonancesin excitatory and inhibitory coupled neurons. Communications in Nonlinear Science andNumerical Simulation 17 (10): 3979–3988. doi: 10.1016/j.cnsns.2012.02.019 (cyt. nas. 84).

Wang, Y.-Y., Qin, J., Han, Y., Cai, J., Xing, G.-G. (2011). Hyperthermia induces epileptiformdischarges in cultured rat cortical neurons. Brain Research 1417: 87–102. doi: 10.1016/j.brainres.2011.08.027 (cyt. na s. 68).

http://dx.doi.org/10.1167/10.7.1050

http://dx.doi.org/10.1371/journal.pone.0020162

http://dx.doi.org/10.1016/S0166-2236(00)01580-0

http://dx.doi.org/10.1371/journal.pcbi.1003512

http://dx.doi.org/10.1371/journal.pcbi.1003512

http://dx.doi.org/10.1098/rstb.1992.0059




http://dx.doi.org/10.1162/neco.2008.10-07-633

http://dx.doi.org/10.1146/annurev.bb.02.060173.001105


http://dx.doi.org/10.1002/sim.2942

http://dx.doi.org/10.1016/j.cnsns.2012.02.019



LITERATURA 100

Wei, D.Q., Luo, X.S., Qin, Y.H. (2008). Random long-range connections induce activityof complex Hindmarsh-Rose neural networks. Physica A: Statistical Mechanics and itsApplications 387 (8–9): 2155–2160 (cyt. na s. 80, 84).

White, J.A., Rubinstein, J.T., Kay, A.R. (2000). Channel noise in neurons. Trends inNeurosciences 23 (3): 131–137. doi: 10.1016/S0166-2236(99)01521-0 (cyt. na s. 65).

Willems, F.M.J., Shtarkov, Y.M., Tjalkens, T.J. (1995). The context-tree weightingmethod: basic properties. IEEE Transactions on Information Theory 41 (3): 653–664. doi:10.1109/18.382012 (cyt. na s. 46).

Winterer, G., Weinberger, D.R. (2004). Genes, dopamine and cortical signal-to-noise ratioin schizophrenia. Trends in Neurosciences 27 (11): 683–690. doi: 10.1016/j.tins.2004.08.002 (cyt. na s. 65).

Witcher, M.R., Kirov, S.A., Harris, K.M. (2007). Plasticity of perisynaptic astroglia duringsynaptogenesis in the mature rat hippocampus. Glia 55 (1): 13–23. doi: 10.1002/glia.20415 (cyt. na s. 5).

Wollner, D.A., Catterall, W.A. (1986). Localization of sodium channels in axon hillocksand initial segments of retinal ganglion cells. Proceedings of the National Academy ofSciences, USA 83 (21): 8424–8428. doi: 10.1073/pnas.83.21.8424 (cyt. na s. 9).

Xu, T., Yu, X., Perlik, A.J., Tobin, W.F., Zweig, J.A., Tennant, K., Jones, T., Zuo, Y.(2009). Rapid formation and selective stabilization of synapses for enduring motor memories.Nature 462 (7275): 915–919. doi: 10.1038/nature08389 (cyt. na s. 8).

Yizhar, O., Fenno, L.E., Prigge, M., Schneider, F., Davidson, T.J., O’Shea, D.J.,Sohal, V.S., Goshen, I., Finkelstein, J., Paz, J.T., Stehfest, K., Fudim, R., Rama-krishnan, C., Huguenard, J.R., Hegemann, P., Deisseroth, K. (2011). Neocorticalexcitation/inhibition balance in information processing and social dysfunction. Nature 477(7363): 171–178 (cyt. na s. 84).

http://dx.doi.org/10.1016/S0166-2236(99)01521-0

http://dx.doi.org/10.1109/18.382012



http://dx.doi.org/10.1002/glia.20415

http://dx.doi.org/10.1002/glia.20415

http://dx.doi.org/10.1073/pnas.83.21.8424


SPISY

SPIS RYSUNKÓW I WYKRESÓW

Budowa neuronu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7Kolce dendryczne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8Schemat aksonu i propagacji potencjału czynnościowego . . . . . . . . . . . . . 9Synapsa chemiczna – schemat budowy i mechanizmów działania . . . . . . . . . 10Potencjał czynnościowy – kształt impulsu . . . . . . . . . . . . . . . . . . . . . 11Synapsa elektryczna – budowa i działanie . . . . . . . . . . . . . . . . . . . . . . 12Porównanie modeli integrate-and-fire oraz Hodgkina–Huxleya . . . . . . . . . . . 19Struktura i stany aktywności zależnego napięciowo kanału Na+ . . . . . . . . . 22Potencjał czynnościowy w modelu Hodgkina–Huxleya . . . . . . . . . . . . . . . 23Schemat perceptronu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25Przykład dopasowania sieci neuronowej do wzorca . . . . . . . . . . . . . . . . . 26Model Levy–Baxter (2002) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28Pierścieniowy model mózgu, brain–like . . . . . . . . . . . . . . . . . . . . . . . 30Komórka Levy–Baxter w modelu brain–like . . . . . . . . . . . . . . . . . . . . 30Schemat kanału komunikacyjnego według Shannona (1948) . . . . . . . . . . . . 31Zależności pomiędzy entropią łączną i warunkową, oraz informacją wzajemną . . 42Digitalizacja analogowego zapisu aktywności neuronowej . . . . . . . . . . . . . 46Podział łańcucha na wzorce wg. procedury Lempel–Ziv 76 . . . . . . . . . . . . 48Przebieg procedury estymacji entropii metodą Stronga (1998) . . . . . . . . . . 48Dokładność estymacji entropii procedurą Stronga (1998) . . . . . . . . . . . . . 49Schemat oprogramowania symulacyjnego . . . . . . . . . . . . . . . . . . . . . . 51Informacja wzajemna w sieci 5× 5 dla sześciu najniższych progów aktywacji . . 63Zależność informacji wzajemnej od synaptic success, sieć feed–forward 5× 5 . . . 64Porównanie max I(X,Z) oraz maxs=1 I(X,Z) . . . . . . . . . . . . . . . . . . . 65Przekroje zależności I(s, fr) wzdłuż optymalizujących transmisję fr . . . . . . . 66Niemonotoniczna zależność informacji wzajemnej od wysokości progu aktywacji . 67Progi i częstości aktywacji wymagane do maksymalizacji informacji wzajemnej . 70Charakterystyka Qi(α) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71Informacja wzajemna w funkcji α . . . . . . . . . . . . . . . . . . . . . . . . . . 71Przekroje funkcji max I(α, g) przez cztery różne wartości parametru s . . . . . . 73Funkcja max I(α, g) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73Cztery rozpatrywane architektury sieci typu brain–like . . . . . . . . . . . . . . 75Wpływ wielkości sieci na informacyjno-energetyczną efektywność transmisji . . . 77Przykłady pozytywnego wpływu obecności neuronów hamujących . . . . . . . . 78Efektywność informacyjno-energetyczna sieci posiadających połączenie long–range 80

SPIS TABEL

Koncentracje jonów w neuronach i w płynie pozakomórkowym . . . . . . . . . . 21Możliwe zadania klasyfikacyjne w zależności od liczby warstw sieci . . . . . . . . 25Porównanie poszczególnych metod estymacji entropii. . . . . . . . . . . . . . . . 49

101

SPISY 102

Zestawienie parametrów symulacji dla komórek i sieci typu feed–forward . . . . 62Maksymalne wartości progów, dla których widoczny jest efekt synaptic failure . 65Globalnie największe wartości informacji wzajemnej dla wszystkich badanych sieci 69Lokalnie największe wartości informacji wzajemnej dla wszystkich badanych sieci 69Zestawienie parametrów symulacji w badaniach fluktuacji amplitudy . . . . . . . 72Zestawienie parametrów symulacji dla sieci typu brain–like . . . . . . . . . . . . 75

SPIS KODÓW ŹRÓDŁOWYCH

brains-check.m – skrypt przygotowujący symulacje . . . . . . . . . . . . . . . 51brains.d, linie: 82–183 – metoda Brains:run() . . . . . . . . . . . . . . . . . . 54brains.d, linie: 203–218 – generowanie źródła . . . . . . . . . . . . . . . . . . . 56brains.d, linie: 220–266 – implementacja funkcji aktywacji . . . . . . . . . . . . 56brains.d, linie: 325–349 – procedura estymacji entropii metodą Stronga (1998) 57plotcontour.m – skrypt rysujący wykres izoliniowy . . . . . . . . . . . . . . . . 59

SPIS SYMBOLI

b inhibition strength, stosunek siły sy-gnałów inhibitory do excitatory w siecibrain–like (str. 29)

C przepustowość kanału komunikacyj-nego (str. 44)

E(X) wartość oczekiwana zmiennej losowejX (str. 35)

Ei i-ty neuron pobudzający (excitatory)w modelu sieci brain–like (str. 29)

(E, I)i i-ty węzeł w modelu sieci brain–like(str. 29)

φ synaptic failure, transformacja w mo-delu neuronu Levy–Baxter decydującao przejściu sygnału źródłowego przezsynapsę (str. 28)

fr firing rate, częstotliwość aktywacji źró-dła informacji, 0 ¬ fr ¬ 1 (str. 28)

g activation threshold, wysokość proguaktywacji w modelu Levy–Baxter(str. 29)

H estymator entropii (str. 48)

H LZ76 estymator Lempela–Ziva (str. 48)

H MLE naiwny estymator entropii (str. 48)

H Strong estymator Stronga (str. 49)

H(Z) entropia dyskretnego procesu stocha-stycznego {Z} (str. 35)

H(Z) tempo entropii (entropia źródła) dys-kretnego procesu stochastycznego {Z}(str. 41)

H(ZL) entropia (łączna) dyskretnego procesustochastycznego {Z} dla słów zL ∈ ZL

długości L (str. 38)

H(Z,X) entropia łączna dyskretnych procesówstochastycznych {Z} oraz {X} (str. 39)

Ii i-ty neuron hamujący (inhibitory)w modelu sieci brain–like (str. 29)

I(X;Z) informacja wzajemna dyskretnych pro-cesów stochastycznych {X} oraz {Z}(str. 43)

I(z) informacja zawarta w z ∈ Z (str. 34)

I(zL) informacja zawarta w słowie zL ∈ ZL

długości L (str. 35)

Λ(b) Lambda, formuła energetyczna, określa-jąca informacyjno–energetyczną efek-tywność transmisji (str. 77)

pk estymowane prawdopodobieństwo wy-stąpienia k-tego znaku na trajektoriiprocesu, k = 1, 2, . . . ,K, pk = yk/L(str. 48)

P(z) prawdopodobieństwo zajścia zdarzeniaz ∈ Z (str. 34)

SPISY 103

P(zL) prawdopodobieństwo zajścia zdarzeniazL ∈ ZL (str. 38)

P(z, x) prawdopodobieństwo łączne zajścia zda-rzeń z oraz x (str. 39)

Qi amplitude fluctuation, transformacjaw modelu Levy–Baxter określającazmiany amplitudy i-tego sygnału źró-dłowego (str. 28)

r size, geometryczny promień sieci w mo-delu brain–like (str. 29)

s synaptic success, parametr transfor-macji φ, prawdopodobieństwo sukcesuprzejścia sygnału źródłowego przez sy-napsę w modelu Levy–Baxter, 0 ¬ s ¬1 (str. 28)

X(i) i-te wejście dla neuronu (str. 28)

X wektor losowy, oznaczenie wejścia dlaneuronu, X = {X(1), X(2), . . . , X(n)}(str. 28)

yk ilość wystąpień k-tego znaku na trajek-torii procesu, zliczona podczas estyma-cji entropii H tego procesu, L =

∑k yk

(str. 48)

{Z} dyskretny proces stochastyczny (str. 34)

z zdarzenie elementarne z ∈ Z (str. 34)

zL zdarzenie (słowo), zL = z1z2 · · · zL ∈ZL, o długości L (str. 38)

INDEKS

Akson 5, 8, 20, 32olbrzymi akson kałamarnicy 12, 20, 23

Brain–like 16, 29, 51, 76–82, 84opóźnienie transmisji 77–79symetryczna architektura 29

Częstość aktywacji 17, 63, 70

D, język programowania 54–59, 87Dendryt 5, 7Digitalizacja danych 46Dokładność obliczeń 18, 33, 45, 48–50, 55,

59, 63, 73, 76

Efektywność transmisji 14, 27, 33, 43–45,63–75

informacyjno–energetyczna 28, 77, 76–82Energia 4–6, 27, 77Entropia 33, 35–39

łączna i warunkowa 39–41definicja aksjomatyczna 39interpretacja entropii 36źródła → Tempo entropii

Estymacja entropii 46–50Estymator 48–50

Lempela–Ziva 48naiwny 48Stronga 49, 51, 58

Firing rate → Częstość aktywacjiFluktuacje amplitudy 27, 28, 72

wzmacniające/osłabiające 72–75Funkcja aktywacji 16, 25, 28, 57

Hodgkina–Huxleya, model 16, 23, 20–24

Informacja 4, 28, 32, 34, 39, 42Informacja wzajemna 27, 33, 42–44Integrate–and–fire 16, 17, 24

Leaky integrate–and–fire 18

Kanał komunikacyjny 4, 14, 27, 32–34, 44przepustowość 33, 43, 44, 71

Kanały jonowe 9–12, 20, 23zależne napięciowo 10, 20, 22–24

Komórki glejowe 5Koszt energetyczny → Energia

Λ (Lambda) → EnergiaLevy–Baxter, model 16, 27–29, 51, 63–82Long–range, połączenie 16, 29, 76, 81

Mózg 4–6, 14, 29, zobacz też: Brain–likeinterfejs mózg–maszyna 14, 77

Matlab 51–54, 59

Neuron 5, 6–9, 20, 25, 32hamujący 16, 29, 76, 80pobudzający 16, 29, 76, 80

Neuroplastyczność 7, 13–15Neuroprzekaźnik 5, 10, 72

Parametry symulacji 63, 73, 76Perceptron 25, 28Potencjał (błony komórkowej) 16–24

progowy → Próg aktywacjirównowagowy 21spoczynkowy 11, 17, 21

Potencjał czynnościowy 9, 11, 16–18, 19,20–24, 29, 32, 47

Próg aktywacji 18, 26, 28, 63, 68, 73

Sieć neuronowa 14, 25–29, 32brain–like → Brain–likefeed–forward 29, 51, 63–75, 83Kohonena 27

Spike → Potencjał czynnościowyStronga, estymator → Estymator StrongaSynapsa 6–9, 10–12, 63

chemiczna 10, 72elektryczna 12szczelina synaptyczna 10, 72

Szum synaptyczny 27, 28, 63–67, 72–75

Tempo entropii 33, 41, 57Teoria informacji 14, 27, 32–45Twierdzenie Shannona 33, 45

Źródło informacji 27–30, 41, 57, 69–71, 76,81

104

PUBLIKACJE

Na kolejnych stronach przedstawiono treść artykułów stanowiących rozprawę doktorską.Zbiór ten zaprezentowano w następującej kolejności:

1 B. Paprocki, J. Szczepański (2011). Efficiency of neural transmission as a functionof synaptic noise, threshold, and source characteristics. BioSystems, 105 (1): 62–72.DOI: 10.1016/j.biosystems.2011.03.005 (25 pkt. MNiSzW; IF 1,581).

2 B. Paprocki, J. Szczepański (2013). How do the amplitude fluctuations affect theneuronal transmission efficiency. Neurocomputing, 104: 50–56. DOI: 10.1016/j.neucom.2012.11.001 (30 pkt. MNiSzW; IF 1,634).

3 B. Paprocki, J. Szczepański (2013). Transmission efficiency in ring, brain inspiredneuronal networks. Information and energetic aspects. Brain Research, 1536: 135–143.DOI: 10.1016/j.brainres.2013.07.024 (25 pkt. MNiSzW; IF 2,879).

4 B. Paprocki, J. Szczepański, D. Kołbuk (2013). Information transmission efficiency inneuronal communication systems. BMC Neuroscience, 1536 (Suppl 1): P217. DOI:10.1186/1471-2202-14-S1-P217 (Art. pokonferencyjny. 25 pkt. MNiSzW; IF 3,0).

105





http://dx.doi.org/10.1186/1471-2202-14-S1-P217

BioSystems 105 (2011) 62–72

Contents lists available at ScienceDirect

BioSystems

journa l homepage: www.e lsev ier .com/ locate /b iosystems

Efficiency of neural transmission as a function of synaptic noise, threshold, andsource characteristics

Bartosz Paprockia, Janusz Szczepanskia,b,∗

a Institute of Mechanics and Applied Computer Science, Kazimierz Wielki University, Bydgoszcz, Polandb Institute of Fundamental Technological Research, Polish Academy of Sciences, Warsaw, Poland

a r t i c l e i n f o

Article history:Received 16 July 2010Received in revised form 11 March 2011Accepted 14 March 2011

Neuronal computationEntropyMutual InformationEstimatorsNeuronQuantal failureActivation thresholdNeural network

a b s t r a c t

There has been a growing interest in the estimation of information carried by a single neuron and multiplesingle units or population of neurons to specific stimuli. In this paper we analyze, inspired by article of Levyand Baxter (2002), the efficiency of a neuronal communication by considering dendrosomatic summationas a Shannon-type channel (1948) and by considering such uncertain synaptic transmission as part ofthe dendrosomatic computation. Specifically, we study Mutual Information between input and outputsignals for different types of neuronal network architectures by applying efficient entropy estimators.We analyze the influence of the following quantities affecting transmission abilities of neurons: synapticfailure, activation threshold, firing rate and type of the input source. We observed a number of surprisingnon-intuitive effects. It turns out that, especially for lower activation thresholds, significant synapticnoise can lead even to twofold increase of the transmission efficiency. Moreover, the efficiency turnsout to be a non-monotonic function of the activation threshold. We find a universal value of thresholdfor which a local maximum of Mutual Information is achieved for most of the neuronal architectures,regardless of the type of the source (correlated and non-correlated). Additionally, to reach the globalmaximum the optimal firing rates must increase with the threshold. This effect is particularly visible forlower firing rates. For higher firing rates the influence of synaptic noise on the transmission efficiency ismore advantageous.

Noise is an inherent component of communication in biological systems, hence, based on our analysis,we conjecture that the neuronal architecture was adjusted to make more effective use of this attribute.

© 2011 Elsevier Ireland Ltd. All rights reserved.

1. Introduction

The method and efficiency of information transmission by brainis one of the major issues that have been recently investigated,both through data analysis and theoretical modeling (de Ruyter vanSteveninck and Laughlin, 1996; Levin and Miller, 1996; Juusola andFrench, 1997; Rieke et al., 1997; Levy and Baxter, 2002; Salinas andBentley, 2007; Lánsky and Greenwood, 2007; London et al., 2008).Recent attempts to quantify information transmission have con-centrated on treating neuronal communication process in the spiritof information theory. Information theory is the most rigorous wayto analyze efficiency of transmission in aspect of probability theory.It was developed in the 1940s as a mathematical framework forquantifying information transmission in communication systems(Shannon, 1948). In general, communication system is represented

∗ Corresponding author at: Institute of Fundamental Technological Research, Pol-ish Academy of Sciences, Pawinskiego 5B, 02-106 Warsaw, Poland.

E-mail addresses: [email protected] (B. Paprocki), [email protected](J. Szczepanski).

by: a source of messages, communication channel and message rep-resentation expressed in output alphabet (Shannon, 1948; Coverand Thomas, 1991; Ash, 1965). The fundamental concepts of thistheory are entropy and Mutual Information. Mutual Informationmeasures the reduction of uncertainty (defined as entropy) of theinput (e.g. stimuli) having knowledge of the output. Both input andoutput are treated as random vectors. In defining what we mean bya source of information we try to capture the physical idea of themechanism which emits a sequence of symbols in accordance withspecified statistical rules. Thus, from mathematical point of viewthe source is modeled as a stochastic process. Under the ergodicitycondition (which is commonly assumed) Mutual Information canbe handled from single (input–output) trajectories by application ofentropy estimators (Strong et al., 1998; Gao et al., 2008). This prac-tical idea is extensively exploited, although to get high accuracy ofthe numerical estimation it needs relatively long sequences.

Single neurons are the fundamental constituents of all nervoussystems and have been the subject of many theoretical studies(Abbot and Kepler, 1990; Jolivet et al., 2008). Two broad categoriesof spiking neuron models have been extensively analyzed and used:Hodgkin–Huxley type neuron models (Hodgkin and Huxley, 1952)

0303-2647/$ – see front matter © 2011 Elsevier Ireland Ltd. All rights reserved.doi:10.1016/j.biosystems.2011.03.005

B. Paprocki, J. Szczepanski / BioSystems 105 (2011) 62–72 63

and simplified phenomenological neuron models, among which theintegrate-and-fire model is the most famous representative (Polskyet al., 2004). Computational models of the neuron are inspired justby the integrated-and-fire models (Victor, 2006; Abbot and Kepler,1990). The most common of these computational models are thosebased on McCulloch and Pitts (1943) model. This model computesthe weighted sum of the inputs and produces the output based onthe activation function. In this paper we analyze, inspired by articleof Levy and Baxter (2002), the efficiency of neuronal communica-tion by considering dendrosomatic summation as a Shannon-typechannel (1948) and by considering such uncertain synaptic trans-mission as part of the dendrosomatic computation. They analyzedoptimization of information processing relative to energy use andthey provided a general expression relating optimal failure rate toaverage rate. It turned out that appropriate uncertainty of synaptictransmission can even improve efficiency in this sense.

In this paper we study Mutual Information between input andoutput signals by applying extensively efficient entropy estimators.We also consider the Mutual Information optimization problemfor different neural network architectures. There are a few neu-ron parameters that must be taken into account while analyzingthe information transfer process. Among them the crucial role isplayed by synaptic failure rate and neuron activation threshold.The questions arise: how the values of these parameters affect thetransmission efficiency (in the sense of Mutual Information) for sin-gle neuron and consequently what are the optimal values of theseparameters for different architectures of neuronal networks.

We observed a number of surprising non-intuitive effects. Itturns out that, especially for lower activation thresholds, significantsynaptic noise can lead even to double the transmission efficiency.Moreover, the efficiency occurs to be a non-monotonic function ofthe activation threshold. We find a universal value of threshold forwhich a local maximum of Mutual Information is achieved for mostof the neuronal architectures, regardless of the type of the source(correlated and non-correlated). Additionally, to reach the globalmaximum the optimal firing rates increases with the threshold.This effect is particularly visible for lower firing rates. For higherfiring rates the influence of synaptic noise on the transmission effi-ciency is more advantageous.

Noise is inherent component of communication in biologicalsystems, hence, based on our analysis, we conjecture that the neu-ronal architecture was adjusted to make more effective use of thisattribute.

The paper is organized as follows. In Section 2 we briefly recallthe basic information theory concepts to describe the Shannoncommunication channel idea. In Section 3 we present the modelof neuron and network architectures which we have analyzed. InSection 4 results of our calculations are described in detail. The lastsection contains conclusions and discussion of the results obtained.

2. Theoretical Concepts

Information theory is concerned with the analysis of an entitycalled a communication system. In general, such system is rep-resented by: a source of messages, a communication channeland messages representations expressed in an output alphabet(Shannon, 1948; Cover and Thomas, 1991; Ash, 1965). Recentattempts to quantify information transmission have concentratedon treating neurons already as communication channels (Levy andBaxter, 2002). From mathematical point of view messages can beunderstood as trajectories of stochastic processes being in factsequences of symbols. It is assumed that the set of symbols (alpha-bet) is finite and the stochastic processes under consideration havestationary distributions (Cover and Thomas, 1991; Ash, 1965).

In this paper we consider two types of information sources:independent and correlated. Stochastic stationary process X = (Xi)

is said to be independent information source if its component vari-ables Xi are identically distributed and independent. Such processis called the Bernoulli process if these variables are binary, that isthe process takes only two values (states). We denote these twostates by 1 and 0, indicating spike and no-spike, respectively. Dueto stationarity, the probability that Xi = 1 (spike) is the same for alli and we denote it by p ∈ [0, 1]. Since for long time intervals thefraction of spikes to the number of all symbols in the sequence fora typical Bernoulli trajectory is close to p, this parameter can beassumed as the firing rate fr of neuronal activity.

The most common probabilistic model used in neurophysiol-ogy, the inhomogeneous Poisson process, often seems to be toocrude. Recently a more general Markov like models (Berry andMeister, 1998; Kass and Ventura, 2001; Gerstner and Kistler, 2002)have been considered. They take into account both the currentexperimental time and the time from the last spike. Therefore, forthe correlated sources considered in our paper we assume thatthe source is described by such a Markov process, i.e. by a set ofconditional probabilities P(Xn+1 | Xn) describing changes of process’states. These changes are called transitions and the probabilitiesassociated with them are called transition probabilities. These prob-abilities can be put together into a matrix pij = P(Xn+1 = j | Xn = i)called the transition matrix, which for the two-states-process is ofthe form:

P =[

p00 p01p10 p11

]. (1)

This is stochastic matrix, that is each of its rows sum to 1, repre-senting probability of transition from the current state to either ofthe two in the next step. The stationary distribution of such processis a (row) vector � that satisfies �P = � and for the above matrix Pcan be easily determined analytically as:

� =[

p10

p01 + p10,

p01

p01 + p10

]. (2)

The stationary distribution of such Markov process is intuitivelyan attempt to approximate its, in fact, dependent distribution by anstate-independent one. Therefore, the firing rate parameter can beobtained directly from its second entry:

fr = �2 = p01

p01 + p10. (3)

2.1. Entropy and Information

Let XL be a set of all blocks (or words) xL = x1x2 · · · xL ∈ XL of lengthL, built of symbols (letters) coming from some finite alphabet. Thisset can be interpreted as messages generated by an informationsource X (or, equivalently, stationary stochastic process). If P(xL)denotes the probability of the word xL ∈ XL, then the Shannon information carried by this word is defined as:

I(xL):= − log P(xL). (4)

Since logarithms to the base 2 are used, this quantity is measuredin units of bits. In this sense, less probable events (words) carrymore information. Average (expected) information contained in XL,called Shannon block entropy, is defined as:

H(XL):=E(I(XL)) = −∑

xL ∈ XL

P(xL) log P(xL), (5)

and is also measured in units of bits. The word length L can bechosen arbitrary, so the block entropy does not perfectly describethe process X. The entropy rate (or source entropy) is an invariantquantity characterizing the source X:

H(X):= limL→∞

H(XL)L

(6)

64 B. Paprocki, J. Szczepanski / BioSystems 105 (2011) 62–72

SynapticFailure



SynapticFailure


SynapticFailure


SpikeGenerator

Fig. 1. The information flow for a single neuron. X(i) is a stochastic process representing presynaptic input to the i th dendrite of the postsynaptic neuron. Each input issubject to quantal failures � and quantal amplitude modulation Qi . Such transformed stimuli X(i)�Qi are then all summed up together dendrosomatically, and this sum,� =∑

iX(i)�Qi , is the input to the spike generator, g(�). The spike generator output is a binary stochastic process Z.This figure is a modification of Fig. 1 published by Levy and Baxter (2002).

and this limit exists if and only if the process is stationary (Coverand Thomas, 1991). We see that entropy rate can be understood asthe average information transmitted by a source per symbol.

Having two stochastic processes X and Z the Mutual Informationbetween them is given as:

I(X; Z):=H(X) − H(X|Z) = H(X) + H(Z) − H(X, Z), (7)

and can be intuitively understood as a measure of informationof one process reflected in the realization of the other one. Thisquantity is especially important if Z is an outcome of some trans-formation of X (or vice versa), that is X → f(X) = Z, for example:evolution of signal transmitted through neuron, which actually isexactly what we do in this paper. In other words I(X;Z) measuresthe reduction of uncertainty concerning realization of X havingknowledge about the realization of Z. This concept is essentiallybroader because it includes also higher correlations (DeWeese,1996; Panzeri et al., 1999) and thus can be complementary to cross-correlations analysis.

2.2. Entropy Rate Estimators

Mutual Information constitutes the basic quantity analyzed inour paper. However, if distribution of a stochastic process, say X,is unknown, we cannot determine H(X) analytically using Eq. (5).Hence, component entropies in Eq. (7) have to be estimated numer-ically. In this paper we use the estimator recommended by Stronget al. (1998) because of its low computational complexity and highaccuracy. It is based on calculating block entropies using observedfrequencies of words xL for some few consecutive lengths L. Then aline h, best fit to the points (1/L, (H(XL))/L), is determined. Finally,with 1/L → 0, h is extrapolated to the point of (0, H(X)). Using thismethod we are able to get fast and reliable estimations. It is worthstressing that we applied this algorithm to the sequences of 220 bitslong, which was computationally expensive, but this assured us toget very high accuracy of estimation.

Other approaches to entropy rate estimators are also discussedin the literature (Kennel et al., 2005; Kontoyiannis et al., 1998).It was shown (Amigo et al., 2004) that Lempel–Ziv complexity asdefined by Lempel and Ziv (1976) can be used successfully as suchan estimator.

3. Neuron Model and Architecture of Network

The neuron model we use in our research is that proposed byLevy and Baxter (2002). The way the information flows throughsuch neuron is depicted in Fig. 1. For i th dendrite, input process X(i)

represents its presynaptic stimulus. This i th signal then undergoesthe quantal release process (reflected by the information-losingtransformation �) and the quantal amplitude variation of thereleased spike (denoted by the random variable Qi). Eventually, thedendrosomatic summation occurs followed by the spike genera-tor transformation. The neuron responds with a spike only if themagnitude of its excitation exceeds threshold.

With n denoting the number of dendrites, the multivariateinput stimuli X = (X(1), . . ., X(n)) is modeled with all X(i) beingeither Bernoulli or Markov stochastic processes (see Section 2).The � transformation is in fact a Bernoulli distributed randomvariable with success parameter s. The probability of a success-ful quantal release is s, therefore the probability of quantal failureis 1 − s. The random variable Qi (denoting amplitude fluctuationof i th input signal) is in this paper considered continuous anddistributed uniformly on the interval [0, 1]. The spike generator,which takes the dendrosomatic summation value � as an argu-ment, is simply a threshold function that determines if � exceeds agiven threshold (then it takes the value of 1 and the spike flows

Fig. 2. Simplified schemes of discussed neural architectures. Small black circles rep-resent input and output processes, bigger white—neurons. Single neurons schemeis depicted to the left, and neural network scheme to the right. The neurons do notinteract but each input bit affects outputs from all neurons because of feedforwardnetwork architecture.


Fig. 3. Mutual Information I(X;Z) = I(fr , s, g), 5 × 5 neural network stimulated by a Bernoulli source. The lower the threshold, the synaptic failure effects are more wide andcommon. They are most spectacular for the lowest threshold g = 5%, while for g = 30% they are hardly recognizable.

down the axon away from the neuron) or not (returned valueof 0).

Under these assumptions, single neuron response is denoted bythe implicit stochastic process Z. If a one-layer feedforward networkof such neurons is built (also considered in our research) then theprocess Z = (Z(1), . . ., Z(k)) is its output, with k denoting the numberof neurons in the network.

4. Results

Given the neuron model and neural network architecturesdescribed in Section 3, we estimated Mutual Information, I(X;Z),between stochastic process X representing the source of stimuli,and process Z, the neuron (or network) response. To comply withthe multivariate form of input and output processes X and Z, Eq.


Fig. 4. Mutual Information dependencies on synaptic success, s, in neural network 5 × 5 architectures with threshold set to 5%. All plots (left column) are sliced at fr = 0.6 andin all three cases Mutual Information values are maximized for synaptic successes less than 0.4, where they reach values about twice as large as for s = 1. Bernoulli source(top), Markov source with p01 = 0.05 (middle) and Markov source with p01 = 0.10 (bottom).

(7) is rewritten to:

I(X; Z) = H(X) + H(Z) − H(X, Z), (8)

where H(X) = n · H(X) can be calculated analytically, and the othertwo components must be estimated numerically. In estimation pro-

cedure we use Strong method (Strong et al., 1998), described brieflyin Section 2.2.

Four different neural architectures were considered in thispaper. Two single neurons with input size of 3 or 5, respectively(Fig. 2; left) and then two neural networks consisting of 3 or 5 suchneurons (Fig. 2; right).


Fig. 5. Mutual Information dependencies on synaptic success, s, in neural network 5 × 5 architectures with threshold set to 5%. Comparison of maximal Mutual Informationvalues (dotted line) with these achieved at s = 1 (solid). Size of a dot is proportional to 1 − s, indicating the bigger the dot, the corresponding Mutual Information value isachieved at lower s. Bernoulli source (top), Markov source with p01 = 0.05 (middle) and Markov source with p01 = 0.10 (bottom).

To model stimuli we used three different types of informationsource. First we studied Bernoulli stochastic process as a model ofindependent input, then we used two Markov processes (model-ing correlated inputs), with parameter p01 equal to 0.05 and 0.1,respectively. The firing rate parameter, fr, directly connected withthese processes, was gradually changed from its minimal value of0 (for Bernoulli source) or p01/(p01 + 1) (for Markov model) to itsmaximal value of 1, in steps of 0.01.

Synaptic success parameter, s, was gradually changed from itsminimal possible value of 0 (all spikes lost in synaptic noise) to 1 (allspikes allowed to pass, no synaptic noise), in steps of 0.01. We alsoassumed that all Qi random variables were uniformly distributedon interval [0, 1]. The activation threshold parameter g, was set to14 different values, varying from 5% to 90%.

The goal is to examine how a given neural structure behaves inresponse to various changes of these parameters described above.We focused mainly on synaptic success/failure effects, thresholdeffects and source type effects.

4.1. Synaptic Failure Effects

In this section we discuss how the synaptic success parameter,s, affects the efficiency of transmission in already described (Sec-tion 3) neural architectures, therefore how it affects the estimatedMutual Information.

Intuitively, synaptic success parameter helps neurons transmitinformation through the network, as it can be seen as a probabilitythat a given spike would not vanish covered by any kind of synapticnoise. So, assuming neurons do act as information carriers, intuitionsuggests that the closer to 1 the value of s is (closer to its maximalvalue), the more information is transmitted and so the transmissionitself is more efficient. Conversely, the lesser s is (closer to 0), theless number of spikes is permitted to pass to other cells and soneurons get less capable of transmitting information efficiently.

However, our research shows that in many cases lowering valueof s results in neuron (and neural network) behaviour that seemsto disagree with this intuition. This depicts an interesting featurehaving noisy (spikes-disappearing) synapses can make informationtransmission more efficient (in the sense of Mutual Information,I(X;Z), as a measure of this efficiency).

This effect is present for low thresholds and best visible for thelowest of values of g. In Table 1 we show maximal thresholds forwhich this synaptic effects appear.

As Table 1 shows it is clear that the size of the input pro-cess seems to have major impact on the range of thresholds forwhich the synaptic failure effects are visible while number of neu-rons is less influential. These observations make the 5 × 5 neuralnetwork (5 neurons with input size of 5 each) the most inter-esting case. Fig. 3 presents an example of this effect plottingMutual Information values in such 5 × 5 network, stimulated bya Bernoulli source, for six lowest thresholds: 5, 10, 15, 20, 25and 30 %.

Fig. 3 shows a strong dependency of appearance of thisneural phenomenon on the value of threshold. The lower thethreshold, the synaptic failure effect is common for wider rangeof firing rates and the differences, at given fr, between maxi-mal Mutual Information values and the ones achieved at s = 1(maximal s) are overall bigger. For example, in Fig. 4 we plotMutual Information in function of synaptic success, s, with fir-ing rate value fixed at 0.6 for all three kinds of input sources toshow the surprisingly large scale of this difference when for themost complex of studied architectures, the 5 × 5 case, value ofthreshold is set to 5% (that is, the lowest value explored in ourresearch).

In a 5 × 5 neural network with threshold set to 5% and withfiring rate fixed at some value, Mutual Information can be max-imized for rather non-intuitively low synaptic success values, forexample for s < 0.4 as Fig. 4 shows. This literally means, that I(X;Z)can be maximized in a very noisy environment where less than ahalf of already generated spikes (or even only one third of their

Table 1Maximal values of thresholds for given architecture and source types for whicheffects of synaptic failure appear. Thresholds shown in unit of percent [%].

Source type Architecture type

3 × 1 5 × 1 3 × 3 5 × 5

Bernoulli 5 20 10 30Markov, p01 = 0.05 5 20 10 30Markov, p01 = 0.10 5 20 10 30


Fig. 6. Mutual Information dependencies on synaptic success, s, in neural network 5 × 5 architectures with threshold set to 5%. All plots (left column) are sliced at firing ratesfor which Mutual Information achieves its maximal value (equal to corresponding channel capacity). In all three cases Mutual Information values are maximized for synapticsuccesses less than 1. Bernoulli source (top), Markov source with p01 = 0.05 (middle) and Markov source with p01 = 0.10 (bottom).

total number) are allowed to pass further through the network.Moreover, value of this maximum can be more than two timesgreater than that achieved in noise-free conditions, that is wheres = 1. In Fig. 5 we compare maximal Mutual Information values withthese achieved at s = 1, for all firing rates and for all three inputsources.

Another thing of major interest is that for discussed architecture(5 × 5 neural network with threshold parameter set to 5%) the max-imal Mutual Information value over all firing rates is also achievedfor s < 1 (regardless of stimuli source model). The evidence is plottedin Fig. 6. If we consider this network as a form of transmission chan-nel, then this observation proves to be valuable in the examination


Fig. 7. Mutual Information’s non-monotonic dependencies on threshold g, in all four discussed neural network architectures, indicating presence of local extrema. Positionof these extrema seems to be independent of input stimuli. This is observed for all explored structures but the most complex one, the 5 × 5 network, where some of thisregularity is lost. Bernoulli source (solid line), Markov with parameter p01 = 0.05 (dotted), Markov with p01 = 0.10 (dashed).

of the channel capacity concept, as it shows that the discussedneural structure is the most capable of transmitting informationin condition of noisy synapses.

4.2. Threshold Effects

In this section we describe the way the threshold parameteraffects estimated values of Mutual Information. Some of these prop-erties are already shown in Section 4.1, where we noted that onlyfor low thresholds the synaptic failure effects appear, precisely: thelower, the better as the synaptic failure effects are more commonand greater in their values.

Threshold is a neural mechanism that prevents weak signals (inthe sense of their cumulated amplitude) from being passed downthrough axon to other neurons. Since only these signals are permit-ted to fire that are strong enough to exceed the barrier, thereforeintuition suggests that the maximal amount of information trans-mitted within given neural structure falls as the value of thresholdgrows. However, results of our research appear to counter thisintuition. Fig. 7, plotting maximal values of Mutual Informationin function of threshold for all discussed neural architectures andall stimuli, proves that this dependency is non-monotonic, whatimplies surprising existence of local extrema.

Fig. 7 shows that for all cases there always exists a localextremum. Moreover (excluding the 5 × 5 case), neither source typenor number of neurons appears relevant to the location of this max-

imum. For both structures with input size of 3, the extremum occursat g = 35%, while for the 5 × 1 case it is situated at g = 20%.

Changing the unit of g from relative (%) to absolute reveals thatthe size of the input source is also irrelevant to the position of agiven maximum. This change is reflected by scaling relative valueof g by factor equal to the size of the input process. Therefore,for 5 × 1 network it is 5 · 20/100 = 1, and for both 3 × 1 and 3 × 3it is 3 · 35/100 = 1.05. Both equations end with a unity or a numberaround one (unity would be achieved if the extremum was situatedat relative g ≈ 33.3%).

Why unity? If threshold is lower than 1, only one signal is neededto reach (and exceed) it since this single signal carries 1 bit ofinformation at most, precisely X(i)�Qi ∈ [0, 1] (see Section 3 for areminder). Therefore a threshold of 1 is a barrier, below which onlyone strong enough signal is sufficient for the whole neuron to fire.But the probability of such event decreases as the value of thresholdgrows towards a unity. We have already mentioned that less prob-able events carry more information (4), so this could explain whycurves in Fig. 7 grow in some left hand neighbourhood of (abso-lute) g = 1. Conversely, above the barrier of a unity-threshold, it iscertain that if neuron fired, at least two signals participated in den-drosomatic summation. As soon as something becomes known forcertain, the amount of information gained decreases, so the curvesstart to fall. This could be the explanation for the universal loca-tion of these local extrema but the phenomenon is still subject ofquestion and deserves further research.


Fig. 8. The larger the threshold is, the larger firing rate is needed to maximize the Mutual Information. Bernoulli source (solid line), Markov with parameter p01 = 0.05 (dotted),Markov with p01 = 0.10 (dashed).

4.3. Source Type Effects

The last aspect of the problem we focused on in our research isthe comparison of different stimuli source type models. Precisely,our goal is to specify which of the two: independent or correlatedprocess cause neurons or neural networks to perform more efficientin the sense of Mutual Information values achieved. As mentionedat the beginning of the chapter, we used Bernoulli process to modelindependent input and two Markov processes to model correlatedinput (both of order 1, with parameter p01 equal to 0.05 and 0.1,respectively; see Section 2 for a reference). All three source pro-cesses were stationary.

Much in this area can be deduced from previous two Sections4.1 and 4.2. Figs. 4–7 prove that explored neural structures behavebetter if independent source is applied to their input. This perfor-mance gain is best viewed in Fig. 7 where for all cases, best resultsare achieved by neurons stimulated with independent source. Thisassumption is true for all thresholds.

Synaptic failure effect (Section 4.1) is more spectacular for inde-pendent input than for its correlated counterparts. Fig. 6 shows notonly that estimated maximal Mutual Information values are greaterif neurons are stimulated with uncorrelated process, but also thatthese maxima are achieved for lower, less intuitive synaptic suc-cess parameter. Similar conclusion is reached after examination ofFig. 4.

Tables 2 and 3 describe the effect quantitatively. For a givenarchitecture and input process, Table 2 lists all parameter’s valuesat the point where Mutual Information achieves its maximal valueover all thresholds. Table 3 is similar to Table 2 but concentrates onlocal maxima of Mutual Information in function of threshold.

Tables 2 and 3 prove that in all cases, values of bothglobally maximal Mutual Information (that is: neural chan-

Table 2Global Mutual Information’s maxima over all thresholds for all discussed neuralstructures and input source models.

Inputsize

No. ofneurons

Source model p01 fr g [%] s H(X) I(X;Z)

Bernoulli – 0.21 5 1 2.22 0.743 1 Markov 0.05 0.11 5 1 1.09 0.54

Markov 0.10 0.15 5 1 1.64 0.67


Markov 0.10 0.11 5 1 2.47 0.64


Markov 0.10 0.14 5 1 1.61 0.92


Markov 0.10 0.15 10 1 2.73 1.19


Table 3Local Mutual Information’s maxima for all discussed neural structures and inputsource models. For 5 × 5 network stimulated with correlated (Markov) inputs theselocal extrema are also global.

Inputsize

No. ofneurons

Source model p01 fr g [%] s H(X) I(X;Z)


Markov 0.10 0.48 35 1 1.44 0.31


Markov 0.10 0.30 20 1 2.82 0.40


Markov 0.10 0.50 35 1 1.41 0.54


Markov 0.10 0.15 10 1 2.73 1.19

nel capacities) and local extrema are greater for independentstimuli.

The process’ firing rate parameter also affects the way the dis-cussed networks perform. The larger the firing rate is, the strongeris the effect of positive influence of synaptic failure on transmissionefficiency. This fact is particularly well exposed in Fig. 5, and can bealso deduced from Figs. 4 and 6. Moreover, the larger the thresh-old is the larger the firing rate is needed to maximize the MutualInformation (Fig. 8).

The results presented in Figs. 3–6 suggest a relation betweensource parameter fr and neuron’s parameters s and n like n · fr · s ≈ g.This formula can be supported also theoretically. In fact, when wetreat all the values X, �, Q as average values of random variablesand we assume that they are independent, we have

E

(n∑

i=1

X(i)�Qi

)= n · EX · E� · EQ = n · fr · s · EQ.

The expression∑n

i=1X(i)�Qi in this formula is just the value whichis subsequently compared with the assumed activation thresholdg, thus this justifies the optimal relation n · fr · s · EQ ≈ g.

5. Conclusions

The concept of information, as well as the related notion ofneural coding and neural computation, is still a topic of inten-sive research in neuroscience. In this paper the information isunderstood in the Shannon sense and neurons are treated as com-munication channels. The fundamental quantity that links inputand output signals in this theory is Mutual Information. It measuresreduction of uncertainty concerning the input having knowledgeabout output, which is the essence of the transmission efficiencyestimation in the sense of Information Theory. Mutual informationcan be expressed in terms of entropies (of the source, output sourceand joint of the both) and this fact, since we have well elaboratedentropy estimators theory, leads to the possibility of computationaltreatment of the efficiency problem.

We analyze how the values of neuron parameters affect trans-mission efficiency of both single neuron as well as simple neuronalnetworks. In the model of neuron under consideration, theseparameters are synaptic failure and activation threshold. Theinformation processed by a channel clearly depends also on theproperties of the source of inputs (stimuli). These characteristics ofthe source, important from the neuroscientific point of view, arefiring rate and correlation range.

The question if the synaptic failures play any role in informationprocessing is a subject of interest of many authors (de Ruyter van

Steveninck and Laughlin, 1996; Barbour, 2001; London et al., 2008).Intuitively, this in fact physiological phenomena should rathermake the transmission less effective. However, our calculationsshow that for a large range of parameters the optimal transmissionis reached when the effect of synaptic failure is relatively large.This is especially visible for lower thresholds and for more com-plex architectures of the neuronal network. We conjecture thatthe architecture of neuron is such that a kind of correcting codemechanism is exploited.

One expects that, because higher threshold of activation impliesless spikes being transmitted, the Mutual Information shouldmonotonically decrease with the increase of the threshold. Butsurprisingly we observed that there is a universal value of thresh-old for which Mutual Information has local maximum. This effectis probably due to specific form of dendrosomatic summationand it appears when the value of threshold goes through integervalues.

Moreover, it turned out that this type of neuronal architectureprefers uncorrelated sources and the efficiency can increase even50 percent for uncorrelated sources. In addition, the most efficienttransmission (the global maximum) is for relatively small (0.1–0.2)firing rates values while the maximal local efficiency requires ingeneral more active neurons (0.3–0.5). Our calculations also showthat in many cases for a given fixed firing rate, the informationprocess essentially depends on the values of neurons parameters(for example on synaptic success as it is seen in Figs. 3 and 4).

Our results are based on simplified model of neuron and theneuronal architecture in order to get insight into the phenomenathat can occur when we study more advanced and realistic biolog-ical models. The similar type of model was already considered byLevy and Baxter (2002).

Finally, it is worth stressing that our estimations are of veryhigh accuracy. This is because in our numerical simulations weused sequences of 1 Mibit long (about 106 bits). For experimentaldata they are significantly shorter due to biological restrictions. Itis rather rare in biological modeling to be able to determine allthe relevant parameters with the accuracy implied by the explicitcalculations practiced on them.

Acknowledgements

This paper has been partially supported (BP) by Marshal Officeof State Kujawsko-Pomorskie. Valuable discussion with Jan Kar-bowski is appreciated. The authors would also like to thank AlicjaChmielinska and Tomasz Terpilowski for careful reading of themanuscript.

References

Abbot, L., Kepler, T., 1990. Model neurons: from Hodgkin–Huxley to Hopfield. In:Garrido, L. (Ed.), In: Statistical Mechanics of Neural Networks, 368. Springer-Verlag, Berlin, pp. 5–18.

Amigo, J., Szczepanski, J., Wajnryb, E., Sanchez-Vives, M., 2004. Estimating theentropy rate of spike-trains via Lempel–Ziv complexity. Neural Computation16, 717–736.

Ash, R., 1965. Information Theory. Interscience.Barbour, B., 2001. An evaluation of synapse independence. Journal of Neuroscience

20 (21), 7969–7984.Berry, M.J., Meister, M., 1998. Refractoriness and neural precision. Journal of Neuro-

science 18 (6), 2200–2211.Cover, T., Thomas, J., 1991. Elements of Information Theory. John Wiley and Sons,

Inc.de Ruyter van Steveninck, R., Laughlin, S., 1996. The rate of information transfer at

graded-potential synapses. Nature 379, 642–645.DeWeese, M., 1996. Optimization principles for the neural code. Network: Compu-

tation in Neural Systems 7, 325–331.Gao, Y., Kontoyiannis, I., Bienenstock, E., 2008. Estimating the entropy of binary time

series: methodology, some theory and a simulation study. Entropy 10 (2), 71–99.Gerstner, W., Kistler, W.M., 2002. Spiking Neuron Models. Cambridge University

Press, Cambridge.


Hodgkin, A., Huxley, A., 1952. A quantitative description of membrane current andits application to conduction and excitation in nerve. Journal of Physiology 117,500–544.

Jolivet, R., Roth, A., Schurmann, F., Gerstner, W., Senn, W., 2008. Special issue onquantitative neuron modeling. Biological Cybernetics 99 (4–5), 237–239.

Juusola, M., French, A., 1997. The efficiency of sensory information coding bymechanoreceptor neurons. Neuron 18, 959–968.

Kass, R.E., Ventura, V., 2001. A spike-train probability model. Neural Computation13 (8), 1713–1720.

Kennel, M., Shlens, J., Abarbanel, H., Chichilinsky, E., 2005. Estimating entropy rateswith bayesian confidence intervals. Neural Computation 17, 1531–1576.

Kontoyiannis, I., Algoet, P., Suhov, Y., Wyner, A., 1998. Nonparametric entropy esti-mation for stationary processesand random fields, with applications to englishtext. IEEE Transactions on Information Theory 44, 1319–1327.

Lánsky, P., Greenwood, P., 2007. Optimal signal in sensory neurons under anextended rate coding concept. Biosystems 89 (1–3), 10–15.

Lempel, A., Ziv, J., 1976. On the complexity of finite sequences. IEEE Transactions onInformation Theory 22, 75–88.

Levin, J., Miller, J., 1996. Broadband neural encoding in the cricet cercal sensorysystem enhanced by stochastic resonance. Nature 380, 165–168.

Levy, W., Baxter, R., 2002. Energy-efficient neuronal computation via quantal synap-tic failures. The Journal of Neuroscience 22, 4746–4755.

London, M., Larkum, M., Hausser, M., 2008. Predicting the synaptic information effi-ciency in cortical layer 5 pyramidal cells using a minimal integrate-and-firemodel. Biological Cybernetics 99 (4–5), 393–401.

McCulloch, W., Pitts, W., 1943. A logical calculus of the ideas imminent in nervousactivity. Bulletin of Mathematical Biophysics 5, 115–133.

Panzeri, S., Schultz, S.R., Treves, A., Rolls, E.T., 1999. Correlation and the encoding ofinformation in the nervous system. Proceedings of the Royal Society London B266, 1001–1012.

Polsky, A., Mel, B., Schiller, J., 2004. Computational subunits in thin dendrites ofpyramidal cells. Nature Neuroscience 7, 621–627.

Rieke, F., Warland, D., de Ruyter van Steveninck, R., Bialek, W., 1997. Spikes. Explor-ing de Neural Code. MIT Press, Cambridge, MA.

Salinas, E., Bentley, N., 2007. A simple measure of the coding efficiency of a neuronalpopulation. Biosystems 380 (1–3), 16–23.

Shannon, C., 1948. A mathematical theory of communication. Bell System TechnicalJournal 27, 379–423, 623–656.

Strong, S., Koberle, R., de Ruyter van Steveninck, R., Bialek, W., 1998.Entropy and information in neural spike trains. Physical Review Letters 80,3197–3200.

Victor, J., 2006. Approaches to information-theoretic analysis of neural activity. Bio-logical Theory 1, 302–316.

How do the amplitude fluctuations affect the neuronaltransmission efficiency

Bartosz Paprocki b, Janusz Szczepanski a,b,n

a Institute of Fundamental Technological Research, Polish Academy of Sciences, Pawinskiego 5B, 02-106 Warsaw, Polandb Institute of Mechanics and Applied Computer Science, Kazimierz Wielki University, Bydgoszcz, Poland


Article history:

Received 8 September 2011

Received in revised form

10 September 2012

Accepted 1 November 2012

Communicated by W.L. Dunin-Barkowski

Keywords:

Neural computation

Mutual information

Amplitude fluctuation

Activation threshold

Synaptic failure

Entropy estimation

a b s t r a c t

Tremendous effort is done to understand the nature of neuronal coding, its high efficiency and

mechanisms governing it. Paprocki and Szczepanski [13] explored the model of neuron proposed by

Levy and Baxter [12] and analyzed the efficiency with respect to the synaptic failure, activation

threshold, firing rate and type of the input source. In this paper we study influence of the amplitude

fluctuations (damping, uniform and amplifying), another important component in neuronal computa-

tions. The efficiency is understood in the sense of mutual information (between input and output

signals), which constitutes the fundamental concept of the Shannon communication theory. Using high

quality entropy estimators we determined maximal values of the mutual information between input

and output neuronal signals for simple neuronal architecture. We observed that this maximal efficiency

remains nearly constant, almost regardless of the fluctuation type. We have also found that for wide

range of thresholds, both for damping and amplifying fluctuations, the mutual information behaves in

an opposite way to the corresponding correlations between input and output signals. These calculations

confirm that the neuronal coding is much more subtle than the straightforward intuitive optimization

of input–output correlations.

& 2012 Elsevier B.V. All rights reserved.

1. Introduction

The complexity of brain and nature of its behavior remains themost elusive area of science and also the most important [1].Tremendous effort is done to understand how the central nervoussystem encode and transmit sensory events (inputs) in such reliableand efficient way [2]. Thus, it is natural to ask under whatconditions single neuron or network of neurons transmit informa-tion in a most effective (optimal) and preferably synergetic way[2–9]? How redundant the neuronal transmission is and what is amechanism of correcting codes? In mathematical approach, thetransmission efficiency is measured in the sense of mutual informa-tion between input and output signals. Mutual information con-stitutes the fundamental concept in the Shannon communicationtheory [10,11]. The concept of mutual information plays an essen-tial role in Shannon communication theory, specifically in theShannon fundamental theorem. This theorem states that it ispossible to transmit information through a noisy channel at anyrate less than so called channel capacity with an arbitrarily smallprobability of error. Completely reliable transmission is not possible

if the information processed is greater than the channel capacity.Capacity is the maximal mutual information which can be reachedover all input signals (their distributions) [10,11]. In Shannontheory, communication system is represented by: informationsource (messages or stimuli), communication channel (neuronalnetwork) and output signals to be encoded and extract informationabout stimuli. Mutual information has a number of importantqualities that make it well suited to characterize reduction ofuncertainty (measured as entropy) of the input having knowledgeabout the output. Input and output signals can be treated astrajectories of some stochastic processes defined on the sameprobability space. The joint probabilities of these signals stronglydepend on the parameters of neuronal network or the model ofneuron under considerations. In this paper we assumed the modelof neuron based on the information-theoretical concepts proposedby Levy and Baxter [12] rather than Hodgkin–Huxley like typeneuron models. In [13] the transmission efficiency was analyzedwith respect to the synaptic failure, activation threshold, firing rateand type of the input source. A number of interesting effects hasbeen observed. For example significant synaptic failure can improvethe efficiency even two times. Efficiency turns out to be non-monotonic function of the activation threshold.

In this paper we study influence of another important compo-nent in neuronal computations, namely the effects of the ampli-

tude fluctuations. From the qualitative point of view, the most

Contents lists available at SciVerse ScienceDirect

journal homepage: www.elsevier.com/locate/neucom

Neurocomputing

0925-2312/$ - see front matter & 2012 Elsevier B.V. All rights reserved.


n Corresponding author at: Institute of Fundamental Technological Research,

Polish Academy of Sciences, Pawinskiego 5B, 02-106 Warsaw, Poland.

E-mail addresses: [email protected] (B. Paprocki),

[email protected] (J. Szczepanski).

Please cite this article as: B. Paprocki, J. SzczepanskiHow do the amplitude fluctuations affect the neuronal transmission efficiency,Neurocomputing (2012), http://dx.doi.org/10.1016/j.neucom.2012.11.001

Neurocomputing ] (]]]]) ]]]–]]]

important types of fluctuations have been considered: starting fromdamping, through uniform to such which amplify signals. Using thehigh quality entropy estimators [14–16] we determined maximalvalues of the mutual information between input and neurons outputsignals for simple neuronal architecture. We observed interestingphenomenon that for a relatively large range of parameters (activa-tion threshold, synaptic failure) this maximal transmission efficiencyremain almost constant regardless of the type of amplitude fluctua-tion. On the other hand we have found that there are also wide rangesof activation threshold for which, both for damping and amplifyingfluctuations, the mutual information behaves in an opposite way tothe corresponding correlations between input and output signals.These calculations show that the neuronal coding is much moresubtle than the straightforward intuitive optimization of input–outputcorrelations.

In this paper we concentrate on the analysis of the mutualinformation between input and output signals to get insight intothe optimal capacity of neuronal communication channels. In thepaper [12] the information-energetic tradeoff criteria were ana-lyzed and conditions are defined that guarantee synaptic failurescan improve information-energetic efficiency of neurons.

2. Information theory concepts

We start by recalling the basic concepts of information theorythat we apply to analyze transmission efficiency [11,13,17]. Let ZL

be a set of all blocks (or words) zL ¼ z1z2 � � � zLAZL of length L, builtof symbols (letters) from some finite alphabet Z. If fZg is astationary stochastic process, then each word zL can be treatedas a message sent by this information source. If PðzLÞ denotes theprobability of generating the word zLAZL, then the Shannoninformation carried by this word is defined as

IðzLÞ :¼ �log PðzLÞ, ð1Þ

and since logarithms to the base 2 are used, this quantity ismeasured in units of bits. In this sense, less probable events(words to be generated) carry more information. Expected oraverage information of ZL, called Shannon block entropy, is definedas

HðZLÞ :¼ EðIðZL

ÞÞ ¼ �X

zL AZL

PðzLÞlog PðzLÞ, ð2Þ

and is also measured in units of bits. The word length L can bechosen arbitrary, so the block entropy does not perfectly describethe process fZg. The entropy rate (or source entropy) is aninvariant quantity characterizing fZg

HðZÞ :¼ limL-1

HðZLÞ

L, ð3Þ

and this limit exists if and only if the process is stationary [18].We see that entropy rate can be understood as the averageinformation transmitted by a source per symbol.

2.1. Mutual information

Mutual information between two stochastic processes fXg andfZg is given as

IðX; ZÞ :¼ HðXÞ�HðX9ZÞ ¼HðXÞþHðZÞ�HðX,ZÞ, ð4Þ

where HðX9ZÞ is entropy of X conditional on Z and HðX,ZÞ is jointentropy of X and Z. Mutual information should be understood as ameasure of how much information of one process is reflected inthe realization of the other one—or vice versa, since Eq. (4) issymmetrical. This quantity shows its importance especially if oneprocess, say Z, is an outcome of some transformation of known

process X, i.e. X-f ðXÞ ¼ Z, for example: evolution of signaltransmitted through neuron. Therefore, in other words, IðX; ZÞ

measures the reduction of uncertainty concerning realization of X

having knowledge about the realization of Z. This concept can becomplementary [19,20] to cross-correlations analysis since itincludes also higher correlations [21–23].

Quantitative analysis of mutual information between differentinput sources and their outcome transformations by neurons isthe essence of this paper. However, if distribution of a stochasticprocess, say Z, is unknown, no entropy dependent on Z can bedetermined analytically, hence these component entropies in Eq.(4) have to be estimated numerically. Entropy rate estimation isbroadly discussed in the literature [15,16,24–26]. In this paper weuse the estimator described by Strong et al. [14] because of itshigh accuracy and low computational complexity. The method isbased on calculating block entropies using observed frequenciesof words zL for some few consecutive lengths L. Then a line h, bestfit to the points ð1=L, HðZL

Þ=LÞ, is determined. Finally, with 1=L-0,h is extrapolated to the point of ð0, HðZÞÞ. Using this method weare able to get fast and reliable estimations. It is worth stressingthat we applied this algorithm to the sequences of 220 bits long,which was computationally expensive, but this assured us to getvery high accuracy of estimation.

2.2. Neuron model

The neuron model we use in our research is that proposed byLevy and Baxter [12]. We chose this model because it incorporatesall essential qualitative mechanisms participating in the trans-mission process, it provides results consistent with physiologi-cally observed values [12] and it has a probabilistic character.Probability theory constitutes the basis of the Shannon commu-nication theory applied in this paper.

The way the information flows through such neuron isdepicted in Fig. 1. For every ith dendrite, input process XðiÞ

represents its presynaptic stimulus. This ith signal then under-goes the quantal release process (reflected by the information-losing transformation f) and the quantal amplitude fluctuation ofthe released spike (denoted by the random variable QiðaÞ).Eventually, the dendrosomatic summation occurs followed bythe spike generator transformation. The neuron responds with aspike only if the magnitude of its excitation exceeds threshold.

In this paper, information source XðiÞ is chosen as binary stationarystochastic process. The only two possible values it takes are in heredenoted by 1 and 0, indicating spike and no-spike, respectively. Everysymbol produced by XðiÞ is independent from all the other symbolsalready produced and all are identically distributed, with fr (firing-

rate) being probability of a spike and 1�f r the probability of no-spike.With n denoting the number of dendrites, the input stimulus is a

multivariate X¼ ðXð1Þ, . . . ,XðnÞÞ. The f transformation is in fact aBernoulli random variable with success parameter s: the probabilityof successful quantal release is s, therefore the probability of quantalfailure is 1�s. The random variable QiðaÞ (denoting amplitude

fluctuation of ith input signal) is considered continuous and specifi-cally defined on interval ½0,1� (see Section 2.3 and Fig. 2). In the paperit is assumed that each synapse has the same amplitude fluctuationmodel. The spike generator, which takes the dendrosomatic summa-tion value s as an argument, is simply a threshold function thatdetermines if s exceeds a given threshold (then it takes the value of1 and spike is produced in outcome) or not (returned value of 0, i.e.no spike produced). Under these assumptions, single neuronresponse is denoted by the implicit stochastic process Z.

If a one-layer feedforward network of such neurons is built thenthe process Z¼ ðZð1Þ, . . . ,ZðkÞÞ is its output, with k denoting thenumber of neurons in the network. For simplicity, we would oftenfully characterize given architecture by n� k. For computational

B. Paprocki, J. Szczepanski / Neurocomputing ] (]]]]) ]]]–]]]2


limitations, being especially to preserve high accuracy of MutualInformation estimation for greater n or k, we restricted our researchto keep n¼ k¼ 3, making a 3�3 neural network.

To comply with the multivariate form of input X and output Zprocesses, Eq. (4) should be adjusted as

IðX;ZÞ ¼HðXÞþHðZÞ�HðX,ZÞ, ð5Þ

where HðXÞ ¼ n � HðXÞ can be calculated analytically, and the othertwo components must be estimated numerically.

2.3. Amplitude fluctuation model

Previously [13] we considered efficiency of transmission inregard to changes of synaptic failure and activation thresholdparameters. Here we focused our analysis on how properties of

QiðaÞ affect the information flow within a neural network. For thispurpose, for QiðaÞ we proposed a family of random variables (inrigorous mathematical sense), parameterized continuously byparameter a, ranging from �901 to 901 and fully characterizedby a continuous probability density function on interval ½0,1�(Fig. 2A, B). Our choice of such set of variables is motivated by itswide range of different cases, including the one described in ourprevious work, i.e. the a¼ 01 case, making Qi �U½0;1�. For smallalphas (i.e. of negative values) input signals are weakened(Fig. 2B), and for large angles (i.e. for positive values) signals arestrengthened (Fig. 2A).

Basic characteristics of these different QiðaÞ distributions foreach a ranging from �901 to 901, such as mean and variance, aredepicted in Fig. 2C. This figure shows that the larger a is, thelarger the average value of QiðaÞ is, what means that for larger a it

Fig. 1. The information flow for a single neuron. XðiÞ is a binary stochastic process representing presynaptic input to the ith dendrite of the postsynaptic neuron. Each input

is subject to quantal failures f and quantal amplitude modulation Qi. These transformed stimuli XðiÞfQ i are then all summed up together dendrosomatically, and this sum,

s¼P

iXðiÞfQ i, is the input to the spike generator, gðsÞ. The spike generator output is a binary stochastic process Z. This figure is a modification of Fig. 1 published by [12].

Fig. 2. QiðaÞ and its characteristics, parameterized by the angle a. (A, B) aA ½�901;901� determines distribution of QiðaÞ. Dotted areas mark probability density functions of

QiðaÞ for a given angle. For a¼ 01, QiðaÞ is distributed uniformly on interval ½0;1�, this situation is covered in our previous paper [13]. Other interesting cases include

especially: a¼ 7901 and a¼ arctanð72Þ. (A) presents a40 case and (B) shows ao0 case. (C) basic probabilistic characteristics of QiðaÞ: expected value (solid line) 7standard deviation (dashed lines).

B. Paprocki, J. Szczepanski / Neurocomputing ] (]]]]) ]]]–]]] 3


is more probable that larger value will be drawn as amplitudefluctuation during neuronal computational process. In anotherwords, signals coming from synapses are statistically moreamplified for QiðaÞ corresponding to larger a.

3. Results

The main subject to our research described in this paper is theinput signal’s synaptic amplitude fluctuation (represented byrandom variables QiðaÞ) and its impact on estimated neuronaltransmission efficiency via Eq. (5). Previously [13], we discussedother interesting effects associated with the considered model, forexample synaptic failures, types of the source and activationthreshold, and that research showed some intriguing, counter-intuitive results.

As was said earlier, Bernoulli stochastic process was chosen tomodel information source for all inputs or dendrites and 220 bitslong trajectories were produced. Process’ success parameter orfiring rate, fr, was changed from its minimal value of 0 (spike eventwas impossible) to maximal value of 1 (spike for sure occurred) insteps of 0.05 (spike event more and more probable). For each ofthese firing rate’s values, the synaptic success parameter, s, waschanged from its minimal possible value of 0 (all spikes lost insynaptic noise) to 1 (all spikes allowed to pass, no synaptic noise),in steps of 0.05 (noise is more and more unlikely). The activation

threshold parameter g – namely height of the threshold, whichdetermines if a given neuron spikes in response to its stimuli; or,how hard it is for this neuron to spike – was changed fromminimal possible threshold value of 0 (neuron responds for everystimulus), in steps of 0.05 (activation threshold height is grow-ing), to maximal, i.e. 3 (activation impossible).

Our goal is to examine how changes of these parameters affectefficiency of transmission reflected in changes of mutual informa-tion between source and outcome processes. We focused ouranalysis especially on influence of different amplitude fluctuation’sdistributions (see Section 2.2).

The higher the a, the less likely a given signal’s amplitude is todrop in value (Fig. 2C specify the expected amplitude-drop levelsfor different alphas. This occurs just before the dendrosomaticsummation process, where all such signals’ values are summedup, and finally the neural activation stage, where this sum iscompared with neuron’s threshold to determine the neuron’sresponse). This means that increase in the value of a makes iteasier for the total signal to reach the threshold and, therefore, forthe neuron to spike. However, this not necessarily enhance theinformation transmission efficiency. Fig. 3A proves that for somethresholds, especially small ones, transmission efficiency benefits

remarkably from decreasing a. These effects are present espe-cially for 7a4arctan2 (and to some limited extent for otherangles, see Fig. 5). For example, at threshold g¼0.5 (likewise atclosely neighboring thresholds), mutual information estimatedfor a¼�701 is 0.62 and it rises to 0.87 for a¼�901, what means a40% information gain. Similarly, decrease of a from 901 to 651comprise a small, almost 4% efficiency gain, namely from 1.03 to1.07. For other thresholds, such gains are also observed. Thisshows that, since higher input–output correlation does not implyneural transmission efficiency enhancement, the two not neces-sarily corresponds to each other.

Interestingly, for broad range of angles a, the overall maximalmutual information values are more-or-less equal, i.e. at the levelof around 1.04 (Fig. 3B). The values then start to rise for a4451,getting past the level of 1.05 for a¼ 601 and finally stabilizes at1.12 for a4801. This rapid efficiency growth is due to character-istics of Qiða4arctan2Þ distribution and its inability to modulategiven signal’s amplitude below certain level b¼ 1=2�cot a, thusutterly preventing it from vanish through Qi’s fluctuations.

Surprisingly, for ao�arctan2, we do not observe any significantchanges in estimated maximal mutual information, max MIðaÞ,although signals’ amplitudes are in such cases for certain modu-lated to some level below b¼ 1=2�cot a, hindering activation.These observations show that for any aA ½�901,arctan2�, there isalways such activation threshold level g, at which mutual informa-tion is maximized to the value of around 1.03–1.05.

Further effects influenced by amplitude fluctuation’s depen-dency on angle a are shown in Fig. 4, where function max MIða,gÞis cross-sectioned for four different synaptic success parameter’svalues, s, namely s¼ 0:5,0:75,0:95 and 1 (noise-free channel). Inaddition to what was already revealed in our previous paper, thatis transmission efficiency being maximized in noisy channel forvery small thresholds, here, with a growing past 601, the effect issignificant for broader range of thresholds, up to g¼0.55 fora¼ 901. For instance, for (roughly) a4601 and gr0:55, mutualinformation is maximized for s¼0.95; in this area, values ofmutual information in noise-free channel (s¼1) equal those fors¼0.75, where one-fourth of signals are lost in synaptic noise.Moreover, for a4601, this effect is also present for thresholdsneighboring g¼1, where transmission efficiency is optimal fors¼0.95, and even for s¼0.9 if a4801. These observations showthat the bigger the a is, the more positive is the role the synapticnoise plays in reliability of information transmission.

Fig. 5 – showing values of mutual information in function of aand g, maximized over all the other parameters, that is s and fr –reveals that there is a range of thresholds with interesting properties(this is also visible in Fig. 4). For some thresholds and some mutualinformation levels, to keep the information’s value on a given level

Fig. 3. (A) Mutual information in function of a maximized over fr and s, for four different thresholds fixed at levels g0 ¼ 0:5,1,1:5,2. (B) Mutual information in function of amaximized over all thresholds g, in addition to fr and s. For angles aA ½�901,451� it remains at level around 1.04 and raises to reach the value of � 1:12 for angles Z801.



(staying on a given isoline) with g being reduced (intuitively,facilitating transmission), signals have to be amplified (increase ofa). The effect is more-or-less visible for thresholds (a) 0:8rgr1 and�551rar651 or (b) those around g¼0.5 and ar�801. Forexample, reducing g from 1 to 0.85 with keeping mutual informationat the level of 0.8, require increase of a from �201 to 401, thuscompletely changing Qi distribution.

Chart of max MIða,gÞ presented in Fig. 5, cross-sectioned atsome specific angles, is shown in Fig. 6. It further reads interestingproperties of the model. Characteristic local peak efficiency atg¼1, discussed in our previous work, seems to be present only foraA ½�551,601�; peak values span range of 0.57 for a¼�551 and1.04 for a¼ 601 (see Fig. 3A). For smaller angles it disappears andreemerges around g¼0.5 for a¼�851,�901. For a4601 the peak

gradually (with growing angle) moves to g¼1.5. Interestingly, forthe three angles: a¼�901,01 and 901, location of the localextrema is related to the expected value of QiðaÞ and each equalsthe mean times two (see Fig. 2C). For a4551 another localefficiency peak appears around g¼2 and associated peak valuesrange from 0.68 to 0.98 (Fig. 3A).

Globally, mutual information is generally maximized at smallthreshold levels, but with growing a, the peak location graduallymoves from g¼0.1 for a¼�901, through g¼0.2 for a¼ 01, to g¼0.8for a¼ 901. These global peaks’ values are presented in Fig. 3B.

4. Conclusions

The nature of neuronal coding, its high reliability and efficiency,is an inherent issue of the contemporary science. In this paper weanalyze it from the point of view of Information Theory, treating theneuronal network as a communication channel and assuming themodel of neuron based on this theory. Applying high qualityentropy estimators we measured the efficiency of these channelsby determining mutual information between input signals andneurons outputs. To complete our previous investigations, this timewe analyze the influence of different types of amplitude fluctua-tions starting from damping, through uniform to amplifying. Themost interesting results we obtained are

� the more amplifying the fluctuation is, the more positive is therole the synaptic noise plays in the efficiency of informationtransmission;� highest possible efficiency is almost independent of the

fluctuation’s type—it keeps on the same level for all networksbut these with the most amplifying fluctuations, which areslightly more efficient;� there are wide ranges of parameters (i.e. synaptic failure,

threshold activation and firing rate of input signals) for which

Fig. 4. Cross-sections of max MIða,gÞ for four different synaptic success parameter’s values, s. Thin isolines mark steps by 0.02, and thick mark 0.1.

0

Fig. 5. max MIða,gÞ, i.e. Mutual Information in function of angle a and threshold

level g, maximized over input process’ firing rate fr and synaptic success s. Thin

isolines mark steps by 0.02, and thick mark 0.1.



increase of fluctuation amplification – implying input–outputcorrelation enhancement – leads to lower transmission efficiency.

We conclude that the first and the second properties play anessential role to get high reliability of these biologically inspiredsystems while the third property shows that the neuronal codingis much more subtle than the straightforward link between inputand output, i.e. efficient neuronal transmission not necessarycoincides with high input–output correlation.

Acknowledgments

This paper has been supported by Polish National ScienceCentre Grant N N519 646540 and (BP) partially also by MarshalOffice of State Kujawsko-Pomorskie.

References

[1] J.L. van Hemmen, T. Sejnowski, 23 Problems in Systems Neurosciences,Oxford University Press, 2006.

[2] E. Schneidman, W. Bialek, M.J. Berry, Synergy, redundancy, and independencein population codes, J. Neurosci. 23 (37) (2003) 11539–11553.

[3] R. de Ruyter van Steveninck, S.B. Laughlin, The rate of information transfer atgraded-potential synapses, Nature 379 (1996) 642–645.

[4] P.H.E. Tiesinga, J.M. Fellous, J.V. Jose, T.J. Sejnowski, Optimal informationtransfer in synchronized neocortical neurons, Neurocomputing 38 (2001)397–402.

[5] E.T. Rolls, N.C. Aggelopoulos, L. Franco, A. Treves, Information encoding in theinferior temporal visual cortex: contributions of the firing rates and thecorrelations between the firing of neurons, Biol. Cybern. 90 (2004) 19–32.

[6] P. Lansky, P.E. Greenwood, Optimal signal in sensory neurons under anextended rate coding concept, Biosystems 89 (2007) 10–15.

[7] S. Blanchard, D. Rousseau, F. Chapeau-Blondeau, Noise enhancement of signaltransduction by parallel arrays of nonlinear neurons with threshold andsaturation, Neurocomputing 71 (1–3) (2007) 333–341.

[8] M. London, M.E. Larkum, M. Hausser, Predicting the synaptic informationefficiency in cortical layer 5 pyramidal cells using a minimal integrate-and-fire model, Biol. Cybern. 99 (2008) 393–401.

[9] J. Szczepanski, M. Arnold, E. Wajnryb, J.M. Amigo, M.V. Sanchez-Vives, Mutualinformation and redundancy in spontaneous communication between cor-tical neurons, Biol. Cybern. 104 (3) (2011) 161–174.

[10] C. Shannon, A mathematical theory of communication, Bell Syst. Tech. J. 27(1948) 379–423 623–656.

[11] R. Ash, Information Theory, Interscience, 1965.[12] W.B. Levy, R.A. Baxter, Energy-efficient neuronal computation via quantal

synaptic failures, J. Neurosci. 22 (2002) 4746–4755.[13] B. Paprocki, J. Szczepanski, Efficiency of neural transmission as a function of

synaptic noise, threshold, and source characteristics, BioSystems 105 (1)(2011) 62–72.

[14] S.P. Strong, R. Koberle, R.R. de Ruyter van Steveninck, W. Bialek, Entropy andinformation in neural spike trains, Phys. Rev. Lett. 80 (1998) 3197–3200.

[15] L. Paninski, Estimation of entropy and mutual information, Neural Comput.15 (2003) 1191–1253.

[16] J.M. Amigo, J. Szczepanski, E. Wajnryb, M.V. Sanchez-Vives, Estimating theentropy rate of spike-trains via Lempel-Ziv complexity, Neural Comput. 16(2004) 717–736.

Fig. 6. Cross-sections of max MIða,gÞ (presented in Fig. 5) at nine specific angles.



[17] D.H. Golberg, J.D. Victor, E.P. Gardner, D. Gardner, Spike train analysis toolkit:enabling wider application of information-theoretic techniques to neurophy-siology, Neuroinformatics 7 (3) (2009) 165–178.

[18] T. Cover, J. Thomas, Elements of Information Theory, John Wiley and Sons Inc.,1991.

[19] M. Christen, A. Kohn, T. Ott, R. Stoop, Measuring spike pattern reliability withthe Lempel-Ziv-distance, J. Neurosci. Methods 156 (1–2) (2006) 342–350.

[20] R. Haslinger, K.L. Klinkner, C.R. Shalizi, The computational structure of spiketrains, Neural Comput. 22 (1) (2010) 121–157.

[21] M. DeWeese, Optimization principles for the neural code, Network Comput.Neural Syst. 7 (1996) 325–331.

[22] S. Panzeri, S.R. Schultz, A. Treves, E.T. Rolls, Correlation and the encoding ofinformation in the nervous system, Proc. R. Soc. London B (1999) 1001–1012.

[23] A. Onken, S. Grunewalder, M.H.J. Munk, K. Obermayer, Analyzing short-termnoise dependencies of spike-counts in macaque prefrontal cortex usingcopulas and the flashlight transformation, PLoS Comput. Biol. 5 (11) (2009)art. no. e1000577.

[24] I. Kontoyiannis, P.H. Algoet, Y.M. Suhov, A.J. Wyner, Nonparametric entropyestimation for stationary processes and random fields, with applications toenglish text, IEEE Trans. Inf. Theory 44 (1998) 1319–1327.

[25] M.B. Kennel, J. Shlens, H.D.I. Abarbanel, E.J. Chichilinsky, Estimating entropy rateswith Bayesian confidence intervals, Neural Comput. 17 (2005) 1531–1576.

[26] A. Lesne, J.L. Blanc, L. Pezard, Entropy estimation of very short symbolicsequences, Phys. Rev. E 79 (4) (2009) art. no. 046208 Part 2.

Bartosz Paprocki received his M.Sc. degree in compu-ter science at Faculty of Mathematics and ComputerScience, Nicolaus Copernicus University, Torun, Polandin 2008. He currently works on his Ph.D. degree atInstitute of Mechanics and Applied Computer Science,Kazimierz Wielki University, Bydgoszcz, Poland. Hiscurrent research interests include neural modeling,neural computation and information theory.

Janusz Szczepanski received the M.Sc. degree inmathematics (1979) at the Warsaw University, thePh.D. degree in applied mathematics (1985) and habi-litation degree in computer sciences (2007) in PolishAcademy of Sciences. Currently, he is a professor at theInstitute of Fundamental Technological Research, PASand deputy-chairmen of the Scientific Council. In2001–2004 he was a Consultant on Cryptography withthe Polish Certification Authority ‘‘Centrast’’ Co. forPublic Key Infrastructure. In 2000 and 2003 he was aVisiting Scientist at the Miguel Hernandez University,Elche, Spain. In 2004 he was a Visiting Scholar at theUniversity of California, San Diego. His research inter-

ests include information theory, neuroscience, application of dynamical systemsand stochastic processes to biological systems and cryptography. Prof. Szczepanskireceived the PAS Award in 1989.



www.elsevier.com/locate/brainres

Available online at www.sciencedirect.com

Research Report

Transmission efficiency in ring, brain inspiredneuronal networks. Information andenergetic aspects

Bartosz Paprockia, Janusz Szczepanskib,n

aInstitute of Mechanics and Applied Computer Science, Kazimierz Wielki University, Bydgoszcz, Kopernika 1, PolandbInstitute of Fundamental Technological Research, Polish Academy of Sciences, Warsaw, Pawinskiego 5B, Poland


Article history:

Accepted 16 July 2013

Available online 23 July 2013

Keywords:

Information transmission efficiency

Mutual information

Brain inspired network

Inhibitory neuron

Long-range connection

Neuronal computation

a b s t r a c t

Organisms often evolve as compromises, and many of these compromises can be

expressed in terms of energy efficiency. Thus, many authors analyze energetic costs

processes during information transmission in the brain. In this paper we study informa-

tion transmission rate per energy used in a class of ring, brain inspired neural networks,

which we assume to involve components like excitatory and inhibitory neurons or long-

range connections. Choosing model of neuron we followed a probabilistic approach

proposed by Levy and Baxter (2002), which contains all essential qualitative mechanisms

participating in the transmission process and provides results consistent with physiolo-

gically observed values.

Our research shows that all network components, in broad range of conditions,

significantly improve the information-energetic efficiency. It turned out that inhibitory

neurons can improve the information-energetic transmission efficiency by 50%, while

long-range connections can improve the efficiency even by 70%. We also found that the

most effective is the network with the smallest size: we observed that two times increase

of the size can cause even three times decrease of the information-energetic efficiency.

This article is part of a Special Issue entitled Neural Coding 2012.

& 2013 Elsevier B.V. All rights reserved.

1. Introduction

Huge effort has been undertaken recently to understand thenature of neuronal coding, its high efficiency and mechan-isms governing it (van Hemmen and Sejnowski, 2006; deRuyter van Steveninck and Laughlin, 1996; Levin and Miller,1996; Juusola and French, 1997; Rieke et al., 1997; Salinas andBentley, 2007; Lánský and Greenwood, 2007; London et al.,2008). To quantify information transmission many authors

have concentrated on treating neuronal communicationprocess in the spirit of information theory (Borst andTheunissen, 1999; Levy and Baxter, 2002; Paprocki andSzczepanski, 2011). Important question in this theory is theexistence of efficient decoding schemes and this problemconstitutes the essence of the fundamental Shannontheorem (1948). This theorem states that it is possible totransmit information through a noisy channel at any rate lessthan so-called channel capacity with an arbitrarily small

0006-8993/$ - see front matter & 2013 Elsevier B.V. All rights reserved.http://dx.doi.org/10.1016/j.brainres.2013.07.024

nCorresponding author.E-mail addresses: [email protected] (B. Paprocki), [email protected], [email protected] (J. Szczepanski).URL: http://www.ippt.gov.pl/�jszczepa/ (J. Szczepanski).

b r a i n r e s e a r c h 1 5 3 6 ( 2 0 1 3 ) 1 3 5 – 1 4 3

probability of error. Completely reliable transmission is notpossible if the processed information is greater than thechannel capacity. Therefore much work is done to analyzecapacity of neurons and neuronal networks (Wiener andRichmond, 1999; Kish et al., 2001; Ikeda and Manton, 2009;Kostal, 2010; Paprocki and Szczepanski, 2011, 2012).

On the other hand, in case of biological systems it isknown that organisms often evolve as compromises, andmany of these compromises can be expressed in terms ofenergy efficiency (Levy and Baxter, 1996; Berger and Levy,2010; Sengupta et al., 2010; Cruz-Albrecht et al., 2012; Huet al., 2012). Thus, many authors analyze energetic costsprocesses during information transmission in the brain(Tyrcha and Levy, 2004; Hasenstaub et al., 2010; Moujahidet al., 2011; Kostal, 2012).

In this paper we study information transmission rate perenergy used in a class of specific ring, brain inspired net-works. We assume that these networks are comprised ofmain brain components, for instance excitatory and inhibitoryneurons or long-range connections. Single neurons are thefundamental constituents of all nervous systems. Electro-physiologists, familiar with the notion of ion channels thatopen and close depending on environmental conditions,generally prefer biophysical models (Jolivet et al., 2008;Gerstner and Naud, 2009). In this paper we consider theneuron model based on the information-theoretical conceptsproposed by Levy and Baxter (2002) rather than Hodgkin–Huxley type neuron models. This model contains all essentialqualitative mechanisms participating in the transmissionprocess and it provides results consistent with physiologi-cally observed values. Using the high quality entropy estima-tors (Strong et al., 1998) we determine optimal values of themutual information between input signals and neurons'responses in terms of energy used for these brain-like neuro-nal architectures.

2. Theoretical concepts

Information theory is concerned with the analysis of anentity called a communication system. In general, such systemis represented by a source of messages, a communicationchannel and messages representations expressed in an out-put alphabet (Shannon, 1948; Ash, 1965; Cover and Thomas,1991). Recent attempts to quantify information transmissionhave concentrated on treating neurons already as commu-nication channels (Rieke et al., 1997). From mathematicalpoint of view messages can be understood as trajectories ofstochastic processes being in fact sequences of symbols. It isassumed that the set of symbols (alphabet) is finite and thestochastic processes under consideration have stationarydistributions (Ash, 1965; Cover and Thomas, 1991).

First we recall basic concepts of information theory thatwe apply to analyze transmission efficiency (Ash, 1965;Golberg et al., 2009; Paprocki and Szczepanski, 2011). Let ZL

be a set of all blocks (or words) zL ¼ z1z2⋯zL∈ZL of length L,built of symbols (letters) from some finite alphabet Z. If fZg isa stationary stochastic process, then each word zL can betreated as a message sent by this information source. If PðzLÞdenotes the probability of generating the word zL∈ZL, then the

Shannon information carried by this word is defined as

IðzLÞ≔�log PðzLÞ; ð1Þ

and since in this paper logarithms to the base 2 are used, thisquantity is measured in units of bits. In this sense, lessprobable events (words to be generated) carry more informa-tion. Expected or average information of ZL, called Shannonblock entropy, is defined as

HðZLÞ≔EðIðZLÞÞ ¼� ∑zL∈ZL

PðzLÞ log PðzLÞ; ð2Þ

and is also measured in units of bits. The word length L canbe chosen arbitrary, so the block entropy does not perfectlydescribe the process fZg. The entropy rate (or source entropy) isan invariant quantity characterizing fZg

H Zð Þ≔ limL-1

HðZLÞL

ð3Þ

and this limit exists if and only if the process is stationary(Cover and Thomas, 1991). We see that entropy rate can beunderstood as the average information transmitted by sourceper symbol.

2.1. Mutual information and its estimation

The fundamental concept of Shannon theory ismutual informa-tion, which quantifies the information dependence of randomvariables or stochastic processes. If fXg and fZg are input (e.g.stimuli) and output (e.g. observed reaction) discrete stochasticprocesses, then mutual information between them is given as

IðX;ZÞ≔HðXÞ�HðXjZÞ ¼HðXÞ þHðZÞ�HðX;ZÞ; ð4Þ

where HðXjZÞ is entropy of X conditional on Z and HðX;ZÞ isjoint entropy of X and Z. Mutual information should beunderstood as a measure of how much information of oneprocess is reflected in the realization of the other one. Thisquantity shows its importance especially if one process, say Z,is an outcome of some transformation of known process X, i.e.X-f ðXÞ ¼ Z, for example evolution of signal transmittedthrough neuron. Therefore, in other words, IðX;ZÞ measuresthe reduction of uncertainty concerning realization of X hav-ing knowledge about the realization of Z. This concept can becomplementary (Christen et al., 2006; Haslinger et al., 2010) tocross-correlations analysis since it includes also higher corre-lations (DeWeese, 1996; Panzeri et al., 1999; Onken et al., 2009).Maximal mutual information, called channel capacity,C¼ suppX

IðX;YÞ, reflects the upper bound on amount ofinformation that can be communicated over the channel.

Quantitative analysis of mutual information betweendifferent input sources and their outcome transformationsby neurons is the essence of this paper. However, if thedistribution of a stochastic process, say Z, is unknown, noentropy dependent on Z can be determined analytically,hence these component entropies in (4) have to be estimatednumerically. Entropy rate estimation is broadly discussed inthe literature (Kontoyiannis et al., 1998; Paninski, 2003; Amigoet al., 2004; Kennel et al., 2005; Lesne et al., 2009). In this paperwe use the estimator described by Strong et al. (1998) becauseof its high accuracy and low computational complexity. Themethod is based on calculating block entropies usingobserved frequencies of words zL for some few consecutive

b r a i n r e s e a r c h 1 5 3 6 ( 2 0 1 3 ) 1 3 5 – 1 4 3136

lengths L. Then a line h, best fit to the points ð1=L;HðZLÞ=LÞ, isdetermined. Finally, with 1=L-0, h is extrapolated to thepoint of ð0;HðZÞÞ. Using this method we are able to get fast andreliable estimations. It is worth stressing that we applied thisalgorithm to the sequences of 220 bits long, which wascomputationally expensive, but this assured us to get veryhigh accuracy of estimation. Our simulations for Markovprocesses for such sequences (100 sequences were generated)show that the error between true entropy and estimatedvalue is of range 0.001 and standard deviation is of range0.001 too.

2.2. Neuron model

The model of neuron considered in our research is that in thespirit of probabilistic approach proposed by Levy and Baxter(2002) and further explored by Paprocki and Szczepanski(2011, 2012). The model contains all essential qualitativemechanisms participating in the transmission process andit provides results consistent with physiologically observedvalues (Levy and Baxter, 2002). Assuming that spike train isbeing observed with some limited time resolution, so that ineach time slice (bin) a spike is either present or absent, agiven spike train (message) can be represented as a sequenceof bits (de Ruyter van Steveninck, 1997; Rieke et al., 1997).

The way the information flows through such neuron isdepicted in Fig. 1. Information source (presynaptic stimulus)XðiÞ is modeled by a discrete, binary stationary stochasticprocess, with fr (firing-rate) being probability of a spike and1�f r the probability of no-spike. This ith signal then undergoesthe quantal release process (reflected by the information-losing transformation ϕ) and the quantal amplitude fluctua-tion of the released spike (denoted by the random variable Qi).Eventually, the dendrosomatic summation occurs followedby the spike generator transformation. The neuron respondswith a spike only if the magnitude of its excitation exceedsthreshold.

Input stimulus is in fact a multivariate fXg ¼ fXð1Þ;…;XðnÞg.The ϕ transformation is a Bernoulli random variable withsuccess parameter s: the probability of successful quantal

release is s, therefore the probability of quantal failure is 1�s(this transformation is not symmetric, i.e. it will not producea signal if none is present). The random variable Qi (denotingamplitude fluctuation of ith input signal) is considered contin-uous and distributed uniformly on interval ½0;1�. The spikegenerator, which takes the dendrosomatic summation values¼∑n

i ¼ 1XðiÞϕQi þ∑w

i ¼ 1EðiÞϕQi�b � IϕQI as an argument, is sim-

ply a threshold function that determines if s exceeds a giventhreshold (then it takes the value of 1 and spike is producedin outcome) or not (returned value of 0, i.e. no spikeproduced). Under these assumptions, single neuron responseis denoted by the implicit stochastic process fZg.

2.3. Network model

The network consists of number of paired excitatory E andcorresponding inhibitory I neurons. Such two neurons consti-tute a node (E,I). Inhibitors act to decrease activation ofexcitatory neurons they are paired with. Strength of thisinhibition, relative to excitatory neurons strength, is gov-erned by parameter b¼ I/E. The nodes are distributed uni-formly around a circle (Fig. 2). Each node ðE; IÞi is connectedwith neighboring nodes ðE; IÞi�1 and ðE; IÞiþ1 through output ofneuron Ei; additionally, nodes can be connected through long-range connections. Source signals can support excitatory neu-rons only. Output of one neuron within a given node becomesinput of the other one in the next discrete moment.

Since source signals are excitatory (Fig. 1) and eacharchitecture considered in this paper is powered with asource of information of size 3 (Fig. 2), excitatory synapsesoutnumber inhibitory synapses by at least 5:1, possibly closeto the proportion given by Shadlen and Newsome (1994).Adding a long-range connection increases this ratio in favourof excitatory synapses even more.

Nodes are evenly positioned around the architecture'scircle, i.e. in angular steps of α¼ 2π=N, where N is the numberof nodes. Size of a given architecture is described by theparameter r, being the structure's radius. Parameter r affectsall node-to-node communication, especially its speed: thebigger the r is, the nodes are more distant from one another

SpikeGenerator







SynapticFailure

SynapticFailure

SynapticFailure

SynapticFailure

SynapticFailure

Fig. 1 – Neuron model, a modification of Levy and Baxter (2002), explored further by Paprocki and Szczepanski (2011).In addition to information source fXð1Þ;…;XðnÞg, neuron can also be supported with signals coming from other neurons, i.e.neighboring or ranged excitatory neurons fEð1Þ;…;EðwÞg and paired inhibitory neuron fIg. Synaptic failure is a zero-one randomvariable governed by parameter 0≤s≤1: if s¼1, then every signal is sent forward; if s¼0 then all signals are lost in synapticnoise. Every signal's amplitude is modulated by a random variable Q∼U½0;1�. All signals are then summed up (inhibitionsignal is subtracted, multiplied by parameter b being inhibition strength relative to excitatory neurons strength, b¼ I/E).Neuron's response (spike or no-spike) is determined by comparing the resulting sum with height of the activation threshold g.

b r a i n r e s e a r c h 1 5 3 6 ( 2 0 1 3 ) 1 3 5 – 1 4 3 137

and therefore the more delayed the communication betweenthem is.

If m � α is the angle between two given nodes, then delay(measured in discrete steps) in communication betweenthem is

dðr;mÞ ¼⌈2r sin ðmα=2Þ⌉; m41;

minðr; ⌈2r sin ðα=2Þ⌉Þ; m¼ 1;

1; m¼ 0;

8><>: ð5Þ

where ⌈ � ⌉ is ceiling function that maps real number to thesmallest following integer. Communication delay betweenneurons of two given nodes is proportional to the distancebetween them—except that communication delay within asingle node (m¼0, between E and I neurons) is always equalto 1; communication between neighboring nodes (m¼1) isdelayed no more than r.

We study a variety of complementary architectures (Fig. 2).We started our analysis with symmetric network (hencegeometric circle) to have a reference. Then we examinedqualitatively different networks, adding long-range connec-tions to neurons with or without access to the source ofinformation. We assume that most energy is consumed byspiking activity (Attwell and Laughlin, 2001). Thus, withmutual information (denoted by MI) between input processfXg and output fZg of a given excitatory neuron, we analyzethe information-energetic formula

Λ b; rð Þ ¼maxg

maxðs;f rÞ MIðs; f r; b; g; rÞϑðs0; f 0r Þ

!; ð6Þ

where energy formula ϑðs; f rÞ is equal to s � ðnf r þ bf I þ∑wfwÞ,s � ðbf I þ∑wfwÞ, s �∑wfw for with- and without access to thesource and for inhibitory neuron, respectively; s0; f 0r are thevalues maximizing the numerator. The denominator is pro-portional to the number of spikes actually used to transferinformation. The role of inhibitors, long-range connectionsand size-delay effects are studied and information-energeticoptimal parameters are determined.

The information source parameters were as follows: firing-rate 0≤f r≤1 in steps of 0.05 and sequences of 1 000 000 bits

were generated to reach high accuracy. The information sourceconsists of three such sequences, i.e. fXg ¼ fXð1Þ;Xð2Þ; Xð3Þg(in Fig. 2 this is indicated by three small circles in the centreof each architecture). Parameters associated with neurons weresynaptic success 0≤s≤1 in steps of 0.05, activation thresholdg∈f0:2; 0:3; 0:5; 0:7; 0:9; 1; 1:2; 1:6g and amplitude fluctuationsrandom variables were distributed uniformly on interval ½0; 1�.Neural network was parametrized with inhibition strengthb∈f0; 1=4; 1=2; 3=4; 1; 3=2g (relative to excitatory neuronsstrength) and its radius (size) r¼1, 2, 3, 4, 5 (Table 1).

3. Results

3.1. Size effects

The most important effect of the size increase is delay intransferring the information. Therefore it was expected thatthe transmission is most efficient for smaller size, i.e. for r¼1(Fig. 3), both for excitatory and inhibitory neurons. Weobserve that, for excitatory neurons, two times increase ofthe size can cause even three to four times decrease of theinformation-energetic efficiency (the loss is getting biggerwith rising inhibition strength b). This effect is even strongerfor inhibitory neurons. This confirms that density of thestructure is crucial to efficient transmission.

Fig. 2 – Brain-like network model—note that on the scheme the position of input source in the centre is only figurative.We consider four 5-node architectures, each one powered with a 3-dimensional source of information (drawn in the center ofeach diagram). In the model, nodes are comprised of one excitatory neuron (solid circles) and one inhibitory neuron (dashedcircles). Input stimuli to every neuron depends on its type, long-range connections it receives and whether it has access to theinformation source fXg or not: input to excitatory neurons (E) with access to the source is fXð1Þ;…;XðnÞ;Eð1Þ;…;EðwÞ; Ig, input toexcitatory neurons without access to the source is fEð1Þ;…;EðwÞ; Ig and input to inhibitory neurons (I) is fEð1Þ;…;EðwÞg. Geometricalsize of the structure described by parameter r (being the structures radius) additionally alters communication by providingdelays in information transmission between neurons if its value increases. (A) Symmetric architecture, i.e. every excitatoryneuron has access to the source and no long-range connections are present. (B) Architecture A modified by removing access tothe source from neuron E2. (C) Architecture A with single long-range connection from neuron E2 to node ðE; IÞ5 added.(D) Combination of cases B and C.

Table 1 – Designation of parameters characterizing brain-like network.

Group Parameter name Notation

Source parameters Firing-rate frNeuron parameters Synaptic success s

Activation threshold gNetwork parameters Network size r

Inhibition strength b

b r a i n r e s e a r c h 1 5 3 6 ( 2 0 1 3 ) 1 3 5 – 1 4 3138

Surprisingly, further increase of the size (i.e. for r¼ 2; 3;…)does not change effectiveness significantly (Fig. 3), especiallyfor stronger inhibition ðb≥1Þ or higher activation thresholdlevels. We have the following hypothesis explaining the sizerelated results. In this type of communication channels andspecifically neuron model the efficiency depends first of all onthe efficiency of local communication between neighboringneurons. The delay of one symbol (this is the situation for r¼1)between neighbors is still effective, while further increase ofdelay, 2 or 3 or 4 or more symbols, leads to the same effect, i.e.efficiency becomes very low. In practice further increase ofdelay does not change the efficiency. This hypothesis is inagreement with the fact that this scale effect is more visiblewhen inhibitory neurons are more active, see Fig. 3A, D, F.

3.2. Inhibitory neurons influence

Parameter b, being a ratio of inhibitory neurons' strength inrelation to excitatory neurons' strength, affects every signalthat I neuron sends forward. If b¼0, then amplitude of everyinhibition signal is reset to zero as if I neurons had comple-tely no effect on the structure's behavior (or there were no Ineurons at all). The bigger the b is, the more potent inhibitionsignals are in relation to excitatory ones. If b¼1 then bothtypes of neurons react with the same strength.

It turned out that inhibitors can strengthen the effective-ness of transmission by more than 50% (in comparison tostructures lacking inhibitory neurons, i.e. if b¼0; Fig. 4).

Interestingly, in many cases, the area around the pointb¼1 (where strength of excitation and inhibition is the same)is the area of minimal information-energetic efficiencies forboth excitatory and inhibitory neurons. It turns out that the

most information-energetic efficient situation happens whenthe inhibitory-excitatory ratio is below 0.5 (in most cases inthe range 0.3–0.5). We observe this property in the number ofcases, for different architectures, instances which are seen inFigs. 3–5.

3.3. Long-range connections role

In the model, long-range connection is the only way to directlycommunicate non-neighboring nodes. We chose to considertwo architectures with long-range connections, both fromneuron E2 to node ðE; IÞ5. In the first of the two cases, theexcitatory neuron that starts the connection has access to thesource of information (Fig. 2C), in the second one it has not(Fig. 2D).

Long-range connections change information-energeticefficiency of both target and origin neurons. The efficiencyof target neuron depends strongly on whether neuron start-ing the connection is powered with source of information ornot. We observe that long-range connection can lead toimprove target neuron's information-energetic efficiency sig-nificantly (even by 70%) if the neuron starting it has no accessto the source of the stimuli. If the connection originates fromneuron that has such access, it can bring a 40% loss to thetarget neuron's efficiency (Fig. 5A).

We observe that starting neuron behaves in differentways. Neuron that has no access to the source of informationobviously poorly maps the content of the source, thus itsefficiency is low (it can drop down to 3/5 of the original value).However, if starting neuron has access to the source ofstimuli, the connection can increase its efficiency by up to48% (Fig. 5B).

Fig. 3 – Effects of increasing size of the structure (parameter r, being radius of the structure) on information-energetictransmission efficiency of excitatory (A, B, C) and inhibitory (D, E, F) neurons in symmetric architecture (#A in Fig. 2). DiagramsA, B, D and E show ΛðbÞ values for specific activation threshold levels, ΛðbÞg ¼ g0

, while C and F show global ΛðbÞ values. In everyof these cases the most compact structures (i.e. r¼1, drawn with solid lines) are most efficient, independent of inhibitoryneurons strength relative to excitatory neurons strength (parameter b). We can observe that size increase leads to even 83%drop in efficiency of excitatory neurons (diagram A). This effect is even more clearly visible for inhibitory neurons efficiency(D, E, F), for all values of b.

b r a i n r e s e a r c h 1 5 3 6 ( 2 0 1 3 ) 1 3 5 – 1 4 3 139

4. Discussion

The problems of the role of size effects (consequently delayeffects), excitatory–inhibitory neurons mechanisms andarchitecture of neuronal networks (distribution of local andlong-range connections) are recently extensively analyzedfrom many points of view.

Especially interesting is information-energetic efficiencyof such networks. It is known (Laughlin et al., 1998; Attwelland Laughlin, 2001; Crotty et al., 2006; Niven et al., 2007;Torrealdea et al., 2009; Moujahid et al., 2011; Bullmore andSporns, 2012; Kostal, 2012) that the spike generation byneurons is energetically a costly process and the evaluationof the metabolic energy required to maintain the signaling

activity of neurons is a challenge of practical interest. In ourresearch we directly address this topic from the computa-tional point of view.

The first issue during our study was the choice of bothneuron and network architecture models. Two differentapproaches have coexisted here for a long time (Gerstnerand Naud, 2009; Gerstner et al., 2012) detailed biophysicalmodels (Hodgkin and Huxley, 1952) that describe the ionicmechanisms underlying the initiation and propagation ofaction potentials in the neuronal cell, depending on environ-mental conditions; and simpler integrate-and-fire models thatinterpret electrical activity as a threshold processes, moresuitable to mathematical analysis.

Fig. 4 – (A, B) Examples of how inhibition has positive effect on information-energetic transmission efficiency of excitatoryneurons (solid lines) in architectures B, C and D. Non-zero inhibitory neurons ðb40Þ appear to strengthen the effectiveness ofexcitatory neurons by up to 54%. (D, F) For reference, mutual information values corresponding to Λ values of the above plots.Observe that mutual information behaves in monotonic way while information-energetic expression has maxima. Thisshows that the qualitative properties of information-energetic formula and pure information formula can differ essentially.

Fig. 5 – (A) Neuron's E5 (being long-range connection target) information-energetic characteristics across the architectures: C, D(solid lines) and A (symmetric, for reference; dashed line). If long-range connection targets the neuron, its efficiency drops(architecture C)—conversely, its efficiency increases (up to 70%) if the connection originates from neuron having no access tothe source of stimuli (arch. D). (B) Information-energetic characteristics of neuron E2 (origin of long-range connection),architectures C, D (solid lines) and A (as a reference; dashed line). Neuron's efficiency increases up to 48% if it is origin of along-range connection and has access to the source (arch. C). If the origin neuron has no access to the source, its efficiencydrops (arch. D).

b r a i n r e s e a r c h 1 5 3 6 ( 2 0 1 3 ) 1 3 5 – 1 4 3140

In this paper we used probabilistic model of neuron(proposed by Levy and Baxter, 2002), based on which weconstructed and analyzed class of ring, brain inspired neuro-nal networks. The architecture of these networks is ofcircular form and at each node excitatory–inhibitory pair ofneurons is placed. The presence or lack of long-range connectionsis also studied. We treated the model as a communicationchannel and estimated information-energetic transmissionefficiency between input signals and neurons’ responses.Particularly, we concentrated on how the efficiency is affectedby manipulations of the described above components ofthe model.

The role of inhibitory neurons is widely discussed in theliterature (Laing and Coombes, 2006; Sotero and Trujillo-Barreto, 2007; Gray and Robinson, 2009; Folias andErmentrout, 2011; Kato et al., 2011; Ledoux and Brunel, 2011;Wang et al., 2012) and many authors examine this phenom-enon in terms of excitation and inhibition balance (Dorrn et al.,2010; King, 2010; Yizhar et al., 2011; Vecchia and Pietrobon,2012; Lauritzen et al., 2012; Lisman, 2012; Battaglia et al., 2012).Researchers agree that inhibitory neurons play positive role inbrains activity, which corresponds to results presented in thispaper. Namely, our findings show that in the introducedmodel, inhibitory neurons can improve the information-energetic transmission efficiency even by 50%.

Long-range connectivity is another important brain attri-bute. Understanding the role of the connections is recentlysubject to increased neuroscientists effort, primarily in con-text of synchronization and correlations (Linkenkaer-Hansenet al., 2001, 2004; De la Fuente et al., 2006; Uhlhaas et al., 2009;Nikulin et al., 2012; Steinbeck et al., 2012). While manyauthors take the challenge, relatively little attention is paidto modeling this neural mechanism (Wei et al., 2008; Strattonand Wiles, 2010). Our information-theoretic approach pro-duced results compatible with other researchers findings,proving positive effects of long-range connections. We show,for instance, that the connections can improve theinformation-energetic transmission efficiency even by 70%.

The last issue we explored using proposed model was thesize of the network—and consequently, delay effects. Size ofthe network affects essentially on the transmission effi-ciency. The most effective is the network with the smallestsize (i.e the one with the lowest delays). We observed thattwo times increase of the size can cause three to even fourtimes decrease of the efficiency.

There is still open question of the relevance of our resultsin the more realistic situations, i.e. including larger number ofneurons and other models of neurons (like biophysicalHodgkin–Huxley model or integrate-and-fire model). Still,our results suggest that organisms evolve to optimizeinformation-energetic efficiency.

Acknowledgments

This paper has been supported by Polish National ScienceCentre Grant N N519 646540 and partially (BP) by MarshalOffice of State Kujawsko–Pomorskie.

r e f e r e n c e s

Amigo, J.M., Szczepanski, J., Wajnryb, E., Sanchez-Vives, M.V.,2004. Estimating the entropy rate of spike-trains via Lempel-Ziv complexity. Neural Comput. 16, 717–736.

Ash, R., 1965. Information Theory. Interscience.Attwell, D., Laughlin, S., 2001. An energy budget for signaling in

the grey matter of the brain. J. Cereb. Blood Flow Metab. 21,1133–1145.

Battaglia, D., Brunel, N., Hansel, D., 2012. Temporal decorrelationof collective oscillations in neural networks with localinhibition and long-range excitation. Phys. Rev. Lett. 99 art.no. 238106.

Berger, T., Levy, W., 2010. A mathematical theory of energyefficient neural computation and communication. IEEE Trans.Inf. Theory 56, 852–874.

Borst, A., Theunissen, F.E., 1999. Information theory and neuralcoding. Nat. Neurosci. 2, 947–957.

Bullmore, E., Sporns, O., 2012. The economy of brain networkorganization. Nat. Rev. Neurosci. 13, 336–349.

Christen, M., Kohn, A., Ott, T., Stoop, R., 2006. Measuring spikepattern reliability with the Lempel–Ziv-distance. J. Neurosci.Methods 156 (1-2), 342–350.

Cover, T., Thomas, J., 1991. Elements of Information Theory. JohnWiley and Sons, Inc..

Crotty, P., Sangrey, T., Levy, W., 2006. Metabolic energy cost ofaction potential velocity. J. Neurophysiol. 96, 1237–1246.

Cruz-Albrecht, J., Yung, M., Srinivasa, N., 2012. Energy-efficientneuron, synapse and STDP integrated circuits. IEEE Trans.Biomed. Circuits Syst. 6, 246–256.

De la Fuente, I., Perez-Samartin, A., Martinez, L., Garcia, M.,Vera-Lopez, A., 2006. Long-range correlations in rabbit brainneural activity. Ann. Biomed. Eng. 34, 295–299.

de Ruyter van Steveninck, R., Laughlin, S.B., 1996. The rate ofinformation transfer at graded-potential synapses. Nature379, 642–645.

de Ruyter van Steveninck, R., 1997. Reproducibility and variabilityin neural spike trains. Science 275, 1805.

DeWeese, M., 1996. Optimization principles for the neural code.Network 7, 325–331.

Dorrn, A., Yuan, K., Barker, A., Schreiner, C., Froemke, R., 2010.Developmental sensory experience balances corticalexcitation and inhibition. Nature 465 932-U9.

Folias, S., Ermentrout, G., 2011. New patterns of activity in a pairof interacting excitatory-inhibitory neural fields. Phys. Rev.Lett. 107 (22), 228103.

Gerstner, W., Naud, R., 2009. How good are neuron models?.Science 326, 379–380.

Gerstner, W., Sprekeler, H., Deco, G., 2012. Theory and simulationin neuroscience. Science 338, 60–65.

Golberg, D.H., Victor, J.D., Gardner, E.P., Gardner, D., 2009. Spiketrain analysis toolkit: enabling wider application ofinformation-theoretic techniques to neurophysiology.Neuroinformatics 7 (3), 165–178.

Gray, R., Robinson, P., 2009. Stability of random brain networkswith excitatory and inhibitory connections. Neurocomputing72, 1849–1858.

Hasenstaub, A., Otte, S., Callaway, E., Sejnowski, T., 2010.Metabolic cost as a unifying principle governingneuronal biophysics. Proc. Natl. Acad. Sci. USA 107,12329–12334.

Haslinger, R., Klinkner, K.L., Shalizi, C.R., 2010. Thecomputational structure of spike trains. Neural Comput. 22(1), 121–157.

Hodgkin, A.L., Huxley, A.F., 1952. A quantitative description ofmembrane current and its application to conduction andexcitation in nerve. J. Physiol. 117, 500–544.

b r a i n r e s e a r c h 1 5 3 6 ( 2 0 1 3 ) 1 3 5 – 1 4 3 141

Hu, T., Genkin, A., Chklovskii, D., 2012. A network of spikingneurons for computing sparse representations in an energy-efficient way. Neural Comput. 24, 2852–2872.

Ikeda, S., Manton, J.H., 2009. Capacity of a single spiking neuronchannel. Neural Comput. 21 (6), 1714–1748.

Jolivet, R., Roth, A., Schurmann, F., Gerstner, W., Senn, W., 2008.Special issue on quantitative neuron modeling. Biol. Cybern.99 (4-5), 237–239.

Juusola, M., French, A.S., 1997. The efficiency of sensoryinformation coding by mechanoreceptor neurons. Neuron 18,959–968.

Kato, G., Kosugi, M., Mizuno, M., Strassman, A., 2011. Separateinhibitory and excitatory components underlying receptivefield organization in superficial medullary dorsal hornneurons. J. Neurosci. 31, 17300–17305.

Kennel, M.B., Shlens, J., Abarbanel, H.D.I., Chichilinsky, E.J., 2005.Estimating entropy rates with Bayesian confidence intervals.Neural Comput. 17, 1531–1576.

King, A., 2010. Auditory neuroscience: balancing excitation andinhibition during development. Curr. Biol. 20 (18), R808–R810.

Kish, L., Harmer, G., Abbott, D., 2001. Information transfer rate ofneurons: stochastic resonance of Shannon's informationchannel capacity. Fluct. Noise Lett. 1 (1), L13–L19.

Kontoyiannis, I., Algoet, P.H., Suhov, Y.M., Wyner, A.J., 1998.Nonparametric entropy estimation for stationary processesand random fields, with applications to english text. IEEETrans. Inf. Theory 44, 1319–1327.

Kostal, L., 2010. Information capacity in the weak-signalapproximation. Phys. Rev. E 82, 026115.

Kostal, L., 2012. Approximate information capacity of the perfectintegrate-and-fire neuron using the temporal code. Brain Res.1434, 136–141.

Laing, C., Coombes, S., 2006. The importance of different timingsof excitatory and inhibitory pathways in neural field models.Network-Comp. Neural 17, 151–172.

Lánský, P., Greenwood, P.E., 2007. Optimal signal in sensoryneurons under an extended rate coding concept. Biosystems89 (1–3), 10–15.

Laughlin, S., van Steveninck, R., Anderson, J., 1998. The metaboliccost of neural information. Nat. Neurosci. 1, 36–41.

Lauritzen, M., Mathiesen, C., Schaefer, K., Thomsen, K., 2012.Neuronal inhibition and excitation, and the dichotomiccontrol of brain hemodynamic and oxygen responses.Neuroimage 62, 1040–1050.

Ledoux, E., Brunel, N., 2011. Dynamics of networks of excitatoryand inhibitory neurons in response to time-dependent inputs.Front. Comput. Neurosci. 5, 25.

Lesne, A., Blanc, J.L., Pezard, L., 2009. Entropy estimation of veryshort symbolic sequences. Phys. Rev. E 79 (4), 34 art. no.046208 Part 2.

Levin, J.E., Miller, J.P., 1996. Broadband neural encoding in thecricket cercal sensory system enhanced by stochasticresonance. Nature 380, 165–168.

Levy, W.B., Baxter, R.A., 1996. Energy efficient neural codes.Neural Comput. 8 (3), 531–543.

Levy, W.B., Baxter, R.A., 2002. Energy-efficient neuronalcomputation via quantal synaptic failures. J. Neurosci. 22,4746–4755.

Linkenkaer-Hansen, K., Nikouline, V., Palva, J., Ilmoniemi, R.,2001. Long-range temporal correlations and scaling behaviorin human brain oscillations. J. Neurosci. 21, 1370–1377.

Linkenkaer-Hansen, K., Nikouline, V., Palva, J., Kaila, K.,Ilmoniemi, R., 2004. Stimulus-induced change in long-rangetemporal correlations and scaling behaviour of sensorimotoroscillations. Eur. J. Neurosci. 19, 203–211.

Lisman, J., 2012. Excitation, inhibition, local oscillations, or large-scale loops: what causes the symptoms of schizophrenia?.Curr. Opin. Neurobiol. 22, 537–544.

London, M., Larkum, M.E., Hausser, M., 2008. Predicting thesynaptic information efficiency in cortical layer 5 pyramidalcells using a minimal integrate-and-fire model. Biol. Cybern.99 (4–5), 393–401.

Moujahid, A., d'Anjou, A., Torrealdea, F.J., Torrealdea, F., 2011.Energy and information in Hodgkin–Huxley neurons. Phys.Rev. E 83, 031912.

Nikulin, V., Jonsson, E., Brismar, T., 2012. Attenuation of long-range temporal correlations in the amplitude dynamics ofalpha and beta neuronal oscillations in patients withschizophrenia. Neuroimage 61, 162–169.

Niven, J., Anderson, J., Laughlin, S., 2007. Fly photoreceptorsdemonstrate energy-information trade-offs in neural coding.PLoS Biol. 5, 828–840.

Onken, A., Grunewalder, S., Munk, M.H.J., Obermayer, K., 2009.Analyzing short-term noise dependencies of spike-counts inmacaque prefrontal cortex using copulas and the flashlighttransformation. PLoS Comput. Biol. 5 (11) art. no. e1000577.

Paninski, L., 2003. Estimation of entropy and mutual information.Neural Comput. 15, 1191–1253.

Panzeri, S., Schultz, S.R., Treves, A., Rolls, E.T., 1999. Correlationand the encoding of information in the nervous system. Proc.R. Soc. London, Ser. B, 1001–1012.

Paprocki, B., Szczepanski, J., 2011. Efficiency of neuraltransmission as a function of synaptic noise, threshold, andsource characteristics. Biosystems 105 (1), 62–72.

Paprocki, B., Szczepanski, J., 2012. How do the amplitudefluctuations affect the neuronal transmission efficiency.Neurocomputing.

Rieke, F., Warland, D.D., de Ruyter van Steveninck, R., Bialek, W.,1997. Spikes. Exploring the Neural Code. MIT Press,Cambridge, MA.

Salinas, E., Bentley, N.M., 2007. A simple measure of the codingefficiency of a neuronal population. Biosystems 380 (1–3),16–23.

Sengupta, B., Stemmler, M., Laughlin, S., Niven, J., 2010. Actionpotential energy efficiency varies among neuron types invertebrates and invertebrates. PLoS Comput. Biol. 6 art. no.e1000840.

Shadlen, M.N., Newsome, W.T., 1994. Noise, neural codes andcortical organization. Curr. Opin. Neurobiol. 4 (4), 569–579.

Shannon, C., 1948. A mathematical theory of communication. BellSyst. Tech. J. 27, 379–423 623–656.

Sotero, R., Trujillo-Barreto, N., 2007. Modelling the role ofexcitatory and inhibitory neuronal activity in the generationof the bold signal. Neuroimage 35, 149–165.

Steinbeck, J., Koch, P., Derouiche, A., Brustle, O., 2012. Humanembryonic stem cell-derived neurons establish region-specific, long-range projections in the adult brain. Cell. Mol.Life Sci. 69, 461–470.

Stratton, P., Wiles, J., 2010. Self-sustained non-periodic activity innetworks of spiking neurons: the contribution of local andlong-range connections and dynamic synapses. Neuroimage52, 1070–1079.

Strong, S.P., Koberle, R., de Ruyter van Steveninck, R.R., Bialek, W.,1998. Entropy and information in neural spike trains. Phys.Rev. Lett. 80, 3197–3200.

Torrealdea, F., Sarasola, C., d'Anjou, A., Moujahid, A., deMendizbal, N., 2009. Energy efficiency of informationtransmission by electrically coupled neurons. Biosystems 97,60–71.

Tyrcha, J., Levy, W., 2004. Another contribution by synapticfailures to energy efficient processing by neurons.Neurocomputing 58, 59–66.

Uhlhaas, P., Pipa, G., Lima, B., Melloni, L., Neuenschwander, S.,Nikolic, D., Singer, W., 2009. Neural synchrony in corticalnetworks: history, concept and current status. Front. Integr.Neurosci. 3, 17.

b r a i n r e s e a r c h 1 5 3 6 ( 2 0 1 3 ) 1 3 5 – 1 4 3142

van Hemmen, J.L., Sejnowski, T., 2006. 23 Problems in SystemsNeurosciences. Oxford University Press.

Vecchia, D., Pietrobon, D., 2012. Migraine: a disorder of brainexcitatory–inhibitory balance?. Trends Neurosci. 35, 507–520.

Wang, Q., Zhang, H., Perc, M., Chen, G., 2012. Multiple firingcoherence resonances in excitatory and inhibitory coupledneurons. Commun. Nonlinear Sci. 17, 3979–3988.

Wei, D.Q., Luo, X.S., Qin, Y.H., 2008. Random long-rangeconnections induce activity of complex Hindmarsh–Roseneural networks. Physica A 387, 2155–2160.

Wiener, M., Richmond, B., 1999. Using response models toestimate channel capacity for neuronal classification ofstationary visual stimuli using temporal coding. J.Neurophysiol. 82 (6), 2861–2875.

Yizhar, O., Fenno, L., Prigge, M., Schneider, F., Davidson, T.,O'Shea, D., Sohal, V., Goshen, I., Finkelstein, J., Paz, J., Stehfest,K., Fudim, R., Ramakrishnan, C., Huguenard, J., Hegemann, P.,Deisseroth, K., 2011. Neocortical excitation/inhibition balancein information processing and social dysfunction. Nature 477,171–178.

b r a i n r e s e a r c h 1 5 3 6 ( 2 0 1 3 ) 1 3 5 – 1 4 3 143

POSTER PRESENTATION Open Access

Information transmission efficiency in neuronalcommunication systemsBartosz Paprocki1, Janusz Szczepanski1,2, Dorota Kolbuk2*

From Twenty Second Annual Computational Neuroscience Meeting: CNS*2013Paris, France. 13-18 July 2013

The nature and efficiency of brain transmission pro-cesses, its high reliability and efficiency is one of themost elusive area of contemporary science [1]. We studyinformation transmission efficiency by considering aneuronal communication as a Shannon-type channel.Thus, using high quality entropy estimators, we evaluatethe mutual information between input and outputsignals. We assume model of neuron proposed by Levyand Baxter [2], which incorporates all essential qualita-tive mechanisms participating in neural transmissionprocess. We analyze how the synaptic failure, activationthreshold and characteristics of the input source affectthe efficiency. Two types of network architectures areconsidered. We start by a single-layer feedforward net-work and next we study brain-like networks which con-tains components such as excitatory and inhibitoryneurons or long-range connections. It turned out that,especially for lower activation thresholds, significant

synaptic noise can lead even to twofold [Figure 1]increase of the transmission efficiency [3]. Moreover,the more amplifying the amplitude fluctuation is, themore positive is the role of synaptic noise [4]. Ourresearch also shows that all brain-like network com-ponents, in broad range of conditions, significantlyimprove the information-energetic efficiency. It turnedout that inhibitory neurons can improve the informa-tion-energetic transmission efficiency by 50 percent,while long-range connections can improve the efficiencyeven by 70 percent. The knowledge of the effects of thelong-range connections could be particulary useful whenwe consider possible reconstruction or support of themapplying biomaterials [5,6]. We also showed that themost effective is the network with the smallest size:we found that two times increase of the size can causeeven three times decrease of the information-energeticefficiency [7].

2Institute of Fundamental Technological Research, Polish Academy ofSciences, Warsaw, PolandFull list of author information is available at the end of the article

Figure 1 Mutual information dependency on synaptic success, s, in single-layer neural network. Maximal mutual information values(dotted line) and these achieved at s = 1 (solid). Size of a given dot is proportional to 1−s, indicating the bigger the dot, the correspondingmutual information value is achieved at lower s [3].

Paprocki et al. BMC Neuroscience 2013, 14(Suppl 1):P217http://www.biomedcentral.com/1471-2202/14/S1/P217

© 2013 Paprocki et al; licensee BioMed Central Ltd. This is an Open Access article distributed under the terms of the CreativeCommons Attribution License (http://creativecommons.org/licenses/by/2.0), which permits unrestricted use, distribution, andreproduction in any medium, provided the original work is properly cited.

Acknowledgements

This paper has been supported by Polish National Science Centre Grant NN519 646540.

Author details1Institute of Mechanics and Applied Computer Sciences, Kazimierz WielkiUniversity, Bydgoszcz, Poland. 2Institute of Fundamental TechnologicalResearch, Polish Academy of Sciences, Warsaw, Poland.

Published: 8 July 2013

References1. van Hemmen JL, Sejnowski T: 23 problems in Systems Neurosciences.

Oxford University 2006.2. Levy W, Baxter R: Energy-efficient neuronal computation via quantal

synaptic failures. Journal of Neuroscience 2002, 22:4746-4755.3. Paprocki B, Szczepanski J: Efficiency of neural transmission as a function

of synaptic noise, threshold, and source characteristics. Biosystems 2011,105:62-72.

4. Paprocki B, Szczepanski J: How do the amplitude fluctuations affect theneuronal transmission efficiency. Neurocomputing 2013, 104:50-56.

5. Kołbuk D, Sajkiewicz P, Kowalewski TA: Optical birefringence andmolecular orientation of electrospun polycaprolactone fibers bypolarizing-interference microscopy. European Polymer Journal 2012,48:275-283.

6. Hu A, Zuo B, Zhang F, Lan Q, Zhang H: Electrospun silk fibroin nanofiberspromote Schwann cell adhesion, growth and proliferation. NeuralRegeneration Research 2012, 7(15):1171-1178.

7. Paprocki B, Szczepanski J: Transmission efficiency in the brain-likeneuronal networks. Information and energetic aspects. Neural CodingWorkshop 2012, Prague.

doi:10.1186/1471-2202-14-S1-P217Cite this article as: Paprocki et al.: Information transmission efficiency inneuronal communication systems. BMC Neuroscience 2013 14(Suppl 1):P217.

Submit your next manuscript to BioMed Centraland take full advantage of:

• Convenient online submission

• Thorough peer review

• No space constraints or color figure charges

• Immediate publication on acceptance

• Inclusion in PubMed, CAS, Scopus and Google Scholar

• Research which is freely available for redistribution

Submit your manuscript at www.biomedcentral.com/submit

Paprocki et al. BMC Neuroscience 2013, 14(Suppl 1):P217http://www.biomedcentral.com/1471-2202/14/S1/P217

Page 2 of 2

Analiza wydajności transmisji danych w komórkach i sieciach ...

Documents