Il cervello decisore. Neuroeconomia tra passato e futuro

Premessa: approccio interdisciplinare al cervello decisore

La neuroeconomia è un ambito di ricerca altamente interdisciplinare volto a costruire un modello neurobiologico dei processi inferenziali e decisionali, mediante l’integrazione di nozioni, metodi e risultati da numerosi settori della ricerca sulla mente, tra i quali psicologia, neuroscienze, economia e intelligenza artificiale rivestono un ruolo centrale.

Dall’integrazione tra tali e tante differenti anime deriva un’ampia articolazione dei temi di studio che sono di pertinenza della neuroeconomia, e che comprendono aspetti teorici e di base (Come dovremmo prendere razionalmente, e come effettivamente prendiamo, decisioni?), l’indagine sui correlati neurali che costituisce il nucleo centrale della disciplina (Come il nostro cervello partecipa alla presa di decisione?) e, soprattutto negli ultimi anni, lo studio delle sue numerose implicazioni cliniche (Come le nostre scelte possono essere alterate dalla patologia, sia essa di natura organica o psicologica?)[1].

L’ampia articolazione e la complessità dei temi studiati si riflette nella poliedricità delle metodiche di indagine, che spaziano dallo studio “comportamentale” dei fattori che influenzano la presa di decisione sana o patologica, alla visualizzazione dell’attività cerebrale associata al processo decisionale (mediante le metodiche di neuroimmagine su individui sani o patologici), all’influenza su tale attività con metodiche di stimolazione cerebrale (stimolazione magnetica transcranica a impulso singolo, o stimolazione elettrica diretta anodale), allo studio degli effetti esercitati sul processo di scelta da parte di lesioni cerebrali reali (in pazienti cerebrolesi) o “virtuali” (stimolazione magnetica transcranica ripetitiva o stimolazione elettrica diretta catodale), sino allo studio delle basi genetiche delle differenze individuali nella presa di decisione (con analisi genetiche dei polimorfismi). Un ambito, quest’ultimo, in rapida espansione e che sta mostrando sempre più chiaramente come la decisione costituisca l’esito finale dell’attività di un numero limitato di meccanismi funzionali (e in particolare l’anticipazione di gratificazioni e punizioni) che sono al contempo modulati da livelli sottostanti (sistemi di neurotrasmissione, a loro volta modulati da specifici polimorfismi genetici), e modulatori di fenomeni ai livelli superiori, quali ad esempio un particolare stile decisionale a sua volta associato a determinate caratteristiche della personalità (ad esempio, rispettivamente, avversione al rischio ed evitamento del danno – harm avoidance).

L’indagine relativa alle differenti manifestazioni, su vari livelli di analisi, di tali specifici meccanismi funzionali costituisce lo sviluppo più recente, e plausibilmente il futuro, della neuroeconomia.

La nascita della neuroeconomia tra cervello, decisioni ed emozioni

Seguendo una prospettiva storica, i primi passi della disciplina ufficialmente nota come neuroeconomia, nella seconda metà degli anni ’90, sono strettamente legati ad altri temi di indagine, e in particolare al rapporto tra emozione e cognizione nel processo di scelta. Propulsore di questa linea di ricerca in quegli anni è, infatti, l’indagine condotta da Antonio Damasio e Antoine Bechara sui deficit decisionali conseguenti a lesioni della corteccia prefrontale ventromediale, dei quali il caso di Phineas Gage aveva rappresentato, più di un secolo e mezzo prima, il primo e celebre esempio. Il caso, infatti, si diffuse in tutte le cronache, scientifiche e non, della metà dell’800, che descrissero nei dettagli il profondo cambiamento comportamentale di questo individuo, in seguito a una grave lesione della corteccia prefrontale mediale. La sua singolarità consisteva nella particolare combinazione di capacità cognitive compromesse e conservate in seguito all’incidente[2] che sembrava aver prodotto instabilità emotiva nel paziente, senza tuttavia aver colpito le principali funzioni cognitive (linguaggio, memoria, programmazione del movimento, ecc.). Solo al suo ritorno alla vita quotidiana si comprese che tale instabilità emotiva era in realtà il primo segno di un cambiamento della personalità, il cui sintomo principale era costituito dalla disinibizione sul piano sociale, associata a un’apparente incapacità di fare scelte adeguate e vantaggiose sul lungo periodo. Casi analoghi a questo per sede della lesione e conseguenze comportamentali sono stati studiati sin dagli anni ‘90 dal gruppo di Antonio Damasio, mediante un test noto come Iowa gambling task. Questo compito mira a riprodurre, in una situazione sperimentale ben controllata, le principali variabili di una scelta reale della vita quotidiana. I soggetti devono estrarre, prova per prova, una carta da uno tra quattro mazzi di carte, sapendo che ogni carta potrà far vincere o perdere una quantità variabile di denaro. Il contenuto dei mazzi è predeterminato, affinché due di essi consentano inizialmente di vincere grosse somme, ma anche di perderne di altrettanto grosse, rivelandosi sfavorevoli in seguito. Gli altri due consentono di vincere, ma anche di perdere, somme minori, e si rivelano vantaggiosi nel lungo periodo. Il compito richiede quindi due capacità connesse ma distinte: apprendere dall’esperienza che certi mazzi sono in realtà svantaggiosi a lungo termine, e resistere alla tentazione di rischiare continuando a estrarre le carte da essi. Una lunga serie di esperimenti ha messo in luce una combinazione di deficit decisionali ed emotivi in seguito a lesioni prefrontali ventromediali, i cui risultati principali possiamo riassumere brevemente. Rispetto a individui sani “di controllo”, questi pazienti manifestano chiare difficoltà nel compito. Si fanno inizialmente attrarre dai mazzi cattivi, proprio come gli individui sani. Ma mentre questi ultimi cambiano rapidamente preferenza spostando la loro scelta sui mazzi buoni, i pazienti mantengono tale strategia anche nelle fasi intermedie e finali del compito, finendo col perdere tutta la dotazione monetaria iniziale[3]. Studi successivi hanno misurato (mediante conduttanza galvanica), il livello di attivazione emotiva dei soggetti durante lo svolgimento del compito, mostrando che le difficoltà decisionali dei pazienti rispecchiano la mancata attivazione di un “campanello d’allarme” emotivo coerente con il rischio associato alle scelte[4]. Sia i soggetti sani che i pazienti ventromediali mostrano un aumento dell’attività emotiva dopo una perdita, ma solo i soggetti sani mostrano un analogo aumento anche prima della scelta rischiosa di una carta da un mazzo cattivo. Nei pazienti questo “campanello di allarme” non si attiva nemmeno nelle fasi avanzate del gioco, quando essi sono ormai consapevoli della pericolosità di quei mazzi. Al contrario, nei soggetti sani esso si attiva persino prima che abbiano coscienza di quali mazzi sono vantaggiosi, e quali svantaggiosi, agendo quindi come un segnale-guida inconscio[5]. Questa è la base della ben nota “Ipotesi del marcatore somatico” di Damasio[6], la cui logica è, in fondo, estremamente semplice. Gli esiti delle scelte, così come le conseguenze emotive (talvolta piacevoli e talvolta spiacevoli) che ne derivano, si fissano nella memoria, anche senza che ve ne sia un ricordo esplicito. Una situazione di scelta analoga a una già vissuta nel passato riattiva le relative tracce mnestiche (distribuite nella corteccia cerebrale) e quindi anche le tracce emotive associate alle conseguenze delle scelte fatte allora. Ne deriva un segnale emotivo che guida inconsciamente le nostre scelte o, per dirla con le parole di Damasio, un marcatore somatico, in quanto marca le scelte come “buone” o “cattive” mediante un’attivazione emotiva dell’organismo. Cruciale in questo processo sarebbe la corteccia prefrontale ventromediale, che agisce come un magazzino di associazioni tra le componenti mnestiche (cognitive) e quelle emotive. L’attivazione del marcatore somatico agirebbe quindi come un segnale di pericolo che precede le scelte rischiose (quelle in grado di procurare grandi benefici, come una grossa somma di denaro, ma poco probabili), controbilanciando i segnali emotivi positivi, associati all’anticipazione della possibile vincita, che spingono a rischiare. Questo segnale di pericolo coinvolge, a livello cerebrale, strutture associate a elaborazioni emotive quali l’amigdala e la corteccia somatosensoriale[7].

L’ipotesi di Damasio attribuisce quindi, nella presa di decisione, un ruolo centrale a emozioni e sensazioni viscerali, in un processo che si svolge “dal basso verso l’alto” (bottom-up), ossia senza una mediazione cognitiva. Come vedremo ora, proprio questo elemento, sottile ma centrale nell’ipotesi del marcatore somatico, distingue quest’ultima da una teoria alternativa sul ruolo delle emozioni nella presa di decisione, che ha posto l’accento su emozioni di natura differente, e in particolare sul ruolo dell’esperienza e dell’anticipazione dell’emozione complessa e cognitivamente mediata che noi tutti conosciamo come rimpianto.

Imparare dal rimpianto

Nel rimpianto, infatti, aspetti emotivi e cognitivi sono strettamente connessi, poiché tale emozione nasce proprio da un ragionamento, e precisamente da un ragionamento “controfattuale”, cioè dal ragionare su mondi alternativi (controfattuali) nel quale le cose sarebbero andate diversamente se avessimo agito diversamente. Ma l’esperienza di rimpianto determina anche un apprendimento, cioè una modifica del comportamento che si manifesta con l’anticipazione di questa stessa emozione durante la scelta e, ovviamente, con la preferenza per decisioni che minimizzano il possibile rimpianto futuro. Un’ipotesi molto intuitiva e vicina al senso comune, che gli economisti David Bell[8] e, indipendentemente, Graham Loomes e Robert Suden[9] hanno formalizzato nella loro “teoria del rimpianto” per tentare di riconciliare la teoria razionale della massimizzazione dell’utilità[10] con alcune delle numerose violazioni di tale teoria descritte in letteratura[11]. Elemento distintivo della teoria è l’enfasi posta sul senso di responsabilità per l’esito, effettivo o anticipato, di una decisione, che avrebbe potuto essere migliore qualora la decisione fosse stata un’altra. Poggiando su queste basi teoriche, lo studio dei correlati neurali dell’esperienza del rimpianto, e della sua anticipazione durante una scelta, ha suggerito un modello alternativo a quello di Antonio Damasio. Il compito utilizzato in questi studi consiste nella scelta tra due scommesse alternative, presentate sottoforma di “ruote della fortuna”, che consentono di vincere, ma anche di perdere, somme di denaro differenti, con determinate probabilità. L’elemento cruciale è rappresentato dalla presenza di due condizioni sperimentali, nelle quali il soggetto dopo la scelta conosce solo l’esito della lotteria scelta (provando quindi soddisfazione o delusione per un esito che dipende dal caso: feedback parziale), o anche l’esito della lotteria non scelta, (provando quindi rimpianto o sollievo se l’esito alternativo è migliore o peggiore, rispettivamente, di quello effettivo: feedback completo).

Un primo studio condotto su pazienti con lesioni prefrontali ventromediali ha mostrato che essi, come i volontari sani, reagiscono emotivamente con “disappunto” a una perdita nella condizione di feedback parziale[12]. Non è quindi un “impoverimento emotivo” generalizzato a produrre le alterazioni comportamentali tipicamente associate a un danno prefrontale. Le differenze tra i due gruppi emergono invece nella condizione di feedback completo, quando la presentazione degli esiti di entrambe le lotterie può attivare, mediante un ragionamento controfattuale, l’emozione complessa del rimpianto che nei volontari sani, ma non nei pazienti, si manifesta con un netto aumento dell’attività emotiva. Ma il dato centrale è rappresentato dal fatto che l’assenza di reazioni di rimpianto per gli esiti negativi delle proprie scelte si riflette nella ridotta modifica del comportamento decisionale che si osserva nel corso dell’esperimento. Mediante un’elegante analisi della regressione, gli autori di questo studio hanno verificato che, prova per prova, le scelte dei partecipanti sani sono guidate dall’anticipazione del rimpianto ancor più che dall’anticipazione del valore atteso (la misura razionale e quantitativa del possibile esito, pesato per la probabilità di ottenerlo). Infatti, essi diventano progressivamente avversi al rimpianto. Nei pazienti, invece, prevale nettamente la tendenza ad affidarsi solo al valore atteso delle scommesse. Non potendo anticipare il possibile rimpianto futuro, essi non possono far altro che agire come razionali calcolatori di utilità attesa, con la conseguenza paradossale che, per come sono preparate la lotterie, la mancanza di rimpianto li spinge a rischiare, e quindi a perdere, ben più frequentemente dei soggetti sani.

Il coinvolgimento della corteccia prefrontale ventromediale nell’apprendimento basato sull’esperienza di rimpianto ha trovato conferma in un successivo studio condotto mediante risonanza magnetica funzionale su soggetti sani impegnati nello stesso compito[13]. I risultati dello studio hanno mostrato che provare rimpianto, e modificare di conseguenza le proprie decisioni per minimizzare il rimpianto futuro, riguarda un circuito cerebrale che, oltre alla corteccia prefrontale ventromediale, include anche strutture limbiche coinvolte nell’elaborazione emotiva quali l’amigdala, la corteccia del cingolo anteriore e l’ippocampo. Questo circuito, infatti, si riattiva anche quando i soggetti devono prendere una decisione subito dopo aver provato rimpianto a causa della scelta precedente, e questa riattivazione aumenta di intensità nel corso del gioco, parallelamente all’incremento dell’avversione al rimpianto messa in luce dalle scelte del soggetto. Un tale effetto di apprendimento dall’esperienza si verifica anche quando, immersi in un contesto sociale, osserviamo le decisioni degli altri, e soprattutto gli esiti di rimpianto o sollievo di tali decisioni[14].

Se questi dati confermano il ruolo delle emozioni nel modellare le decisioni, come risultato di un processo di apprendimento basato sull’esperienza, le emozioni coinvolte sono ben diverse da quelle “viscerali”, bottom-up, che Damasio pone al centro della sua teoria. Si tratta, infatti, di emozioni complesse che nascono da ragionamenti controfattuali. La differenza è sottile, ma decisiva per una teoria dei correlati neurali della presa di decisione.

Come anticipato, però, i risultati ottenuti in neuroeconomia nel corso di un decennio stanno oggi andando incontro a un graduale processo di reinterpretazione alla luce delle conoscenze acquisite dalla neurofisiologia dell’apprendimento e della motivazione, che sta fornendo una nuova chiave di lettura, e un quadro interpretativo comune, a un insieme eterogeneo di risultati, concetti e teorie che a lungo avevano popolato il dibattito relativo alle basi neurali dei processi decisionali. Vediamo dunque gli elementi essenziali di questi recenti sviluppi.

Apprendere a decidere con rinforzi e punizioni

Molti degli argomenti che sono stati, e sono tuttora, studiati lungo le varie direttrici della neuroeconomia rappresentano infatti una rilettura di temi affrontati in precedenza nell’ambito della Teoria dell’apprendimento del rinforzo, la Reinforcement learning theory[15]. Dietro questa etichetta apparentemente distante dallo studio del cervello si trova un’area dell’Intelligenza artificiale, ispirata dai classici principi comportamentisti di rinforzo e punizione, che studia come un agente dovrebbe prendere decisioni allo scopo di massimizzare i propri esiti nel lungo periodo. La base della teoria è costituita dalla nozione di aspettativa (di rinforzi o punizioni). Un’aspettativa che deriva dall’apprendimento di una particolare relazione tra certi stimoli o azioni, e la quantità o la probabilità di una gratificazione (o di una punizione) che a questi fanno seguito. Una volta che tali aspettative si sono instaurate, esse consentono di elaborare un “errore di previsione” (prediction-error), cioè una misura della differenza tra gli esiti previsti e quelli effettivi. Tale differenza (positiva o negativa, quando l’esito ottenuto è , rispettivamente, migliore o peggiore del previsto) è quindi usata per aggiornare le aspettative, e come tale costituisce un elemento essenziale per quell’apprendimento adattivo dall’esperienza che costituisce il “motore” del comportamento flessibile. Tale processo, che nella teoria dell’apprendimento del rinforzo è descritto mediante complessi algoritmi matematici, è funzione di numerosi parametri relativi alla gratificazione, quali la sua quantità, probabilità, valore atteso e incertezza.

Gli sviluppi più recenti di questa teoria sono strettamente connessi a quelli della Neurofisiologia dell’apprendimento e della motivazione, che studiando singoli neuroni di animali ha fornito una conferma neurobiologica a queste nozioni[16]. Grazie all’intenso lavoro di numerosi laboratori sparsi nel mondo oggi sappiamo che l’aspettativa di una gratificazione (relativa sia al suo ammontare che alla sua probabilità), gli errori di previsione e il conseguente apprendimento dall’esperienza dipendono, a livello neurale, dall’attività del sistema dopaminergico mesencefalico, un sistema neuromodulatore che origina nella substantia nigra pars compacta, nell’area tegmentale ventrale e nell’ipotalamo, e che proietta a numerose strutture cerebrali mediante quattro distinte vie neurali. Tra queste, la via meso-limbica (che proietta al nucleus accumbens nello striato ventrale, al sistema limbico – in particolare all’amigdala – e alla corteccia prefrontale mediale) è una componente cruciale del sistema cerebrale dell’apprendimento dal rinforzo. In altre parole, questo circuito è essenziale nell’apprendimento e nella modulazione di risposte comportamentali a stimoli e azioni che evocano “gratificazioni” (o all’opposto “punizioni”, con il probabile contributo di nuclei specifici dell’amigdala). Registrazioni da singoli neuroni dopaminergici mostrano, infatti, risposte coerenti con i principi basilari della Teoria dell’apprendimento del rinforzo[17]. Ad esempio, essi non rispondono a uno stimolo che non segnala la comparsa di un rinforzo, ma mostrano attività fasica (una scarica breve e intensa) in risposta a un rinforzo non previsto (un errore di previsione positivo, cioè più di quanto ci si aspettasse). Con il progredire dell’apprendimento aumenta la capacità di quello stimolo di predire la comparsa del rinforzo. Cioè, aumenta l’aspettativa e diminuisce l’errore di previsione. Infatti, diminuisce parallelamente la risposta fasica alla comparsa del rinforzo, mentre aumenta la risposta allo stimolo che la anticipa. Questo è il meccanismo neurale alla base della formazione di quelle aspettative che motivano il comportamento. In seguito all’apprendimento, la mancata presentazione del rinforzo dopo la presentazione dello stimolo predittore evoca una depressione della risposta (un errore di previsione negativo associato alla mancata soddisfazione di un’aspettativa, cioè meno di quanto ci si aspettasse). Inoltre, una riduzione della risposta dopaminergica è causata anche da stimoli che fanno prevedere l’assenza di un rinforzo, o la presentazione di una punizione (l’aspettativa di un esito sfavorevole). A questo proposito, molti dati suggeriscono che una tale anticipazione di esiti sfavorevoli (punizioni) non coinvolga solo la deattivazione del sistema dopaminerigco, ma anche l’attivazione di altri sistemi cerebrali, e in particolare il sistema “della paura” centrato sull’amigdala[18], con probabile modulazione da parte del sistema neuromodulatore serotonergico. È di grande interesse, ai fini dei recenti sviluppi della neuroeconomia, il fatto che sia le risposte anticipatorie che quelle associate all’errore di previsione co-variano sia con la quantità, che con la probabilità, del rinforzo[19], mentre la loro attività tonica durante l’intervallo tra stimolo ed esito riflette la sua incertezza (una funzione “a U rovesciata” della probabilità, con picco al 50%[20]. L’attività di questi neuroni riflette quindi, a livello neurale, quei concetti di quantità, probabilità e incertezza di un guadagno o di una perdita monetari che costituiscono parametri basilari dei modelli della scelta normativi (Teoria dell’utilità attesa)[21] e descrittivi (Teoria del prospetto)[22].

Come interpretare allora il ruolo della corteccia prefrontale ventromediale nella presa di decisione, e i deficit decisionali e sociali conseguenti alla sua lesione? I dati neurofisiologici mostrano un ruolo essenziale di questa regione (in connessione con l’amigdala e il sistema dopaminergico) nell’attribuire un valore affettivo/soggettivo agli esiti (gratificazioni/punizioni) delle scelte, e nel cosiddetto Reversal learning, cioè nell’aggiornamento delle aspettative quando le associazioni tra stimolo/azione e rinforzo cambiano. Quando, ad esempio, una certa azione in presenza di un determinato stimolo non determina più una gratificazione bensì un esito nullo, o addirittura una punizione. In altre parole, quest’area sembra essenziale per quei meccanismi di modifica del comportamento sulla base dell’esperienza, che generano il comportamento flessibile. È evidente che un tale meccanismo si rivela particolarmente importante nel mondo sociale, nel quale il valore “gratificante” o “punitivo” degli stimoli può cambiare rapidamente, il che è coerente con i deficit di natura sociale che tipicamente caratterizzano il paziente frontale.

In conclusione, con il crescere nella quantità e nella qualità degli studi comincia a delinearsi un quadro sufficientemente coerente dei meccanismi cerebrali della presa di decisione. Durante la scelta, sistemi neurali specifici anticipano potenziali “guadagni” e “perdite” (gratificazioni e punizioni), che vengono integrati (in termini di valore atteso) e valutati (in termini affettivi e soggettivi) nella corteccia prefrontale ventromediale, che è anche essenziale per l’aggiornamento di tali valutazioni in base all’esperienza. La fase finale è rappresentata da analisi costi/benefici relative alle diverse opzioni di scelta disponibili, probabilmente svolte dalla corteccia del cingolo anteriore che poi invia un segnale d’avvio dell’azione alle aree del sistema motorio.

Sebbene molti aspetti specifici siano ancora da approfondire, e le implicazioni cliniche di queste scoperte siano in gran parte da esplorare, l’integrazione multidisciplinare che caratterizza la neuroeconomia sta cominciando a svelare le proprietà di funzionamento del cervello decisore. Molto rimane da scoprire, ma gli sforzi già compiuti hanno sicuramente posto solide basi in una delle sfide scientifiche più appassionati di questi ultimi anni.

[1] Per un inquadramento generale del problema, cfr. A. Sanfey, G. Loewenstein, et al., Neuroeconomics: cross-currents in research on decision-making, in «Trends in Cognitive Sciences», 10, 3, 2006, pp. 108-116.

[2] Si veda in proposito N. Canessa, Emozione, cognizione e lobo frontale: lo strano caso di Phineas Gage, in M. Piattelli Palmarini, Le scienze cognitive classiche: un panorama, Einaudi, Torino 2008.

[3] A. Bechara, A. R. Damasio, et al., Insensitivity to future consequences following damage to human prefrontal cortex, in «Cognition», 50, 1-3, 1994, pp. 7-15.

[4] A. Bechara, H. Damasio, et al., Deciding advantageously before knowing the advantageous strategy, in «Science», 275, 5304, 1997, pp. 1293-1295.

[5] A. Bechara, D. Tranel, et al., Failure to respond autonomically to anticipated future outcomes following damage to prefrontal cortex, in «Cerebral Cortex», 6, 2, 1996, pp. 215-225; A. Bechara, H. Damasio, et al., Deciding advantageously before knowing the advantageous strategy, cit.

[6] Per una sintesi si cfr. A. Bechara, H. Damasio, et al., Emotion, decision making and the orbitofrontal cortex, in «Cerebral Cortex», 10, 3, 2000, pp. 295-307.

[7] A. Bechara, H. Damasio, et al., Different contributions of the human amygdala and ventromedial prefrontal cortex to decision-making, in «Journal of Neuroscience», 19, 13, 1999, pp. 5473-5481.

[8] D. E. Bell, Regret in decision making under uncertainty, in «Operations Research», 30, 1982, pp. 961-981.

[9] G. Loomes and R. Sugden, Regret theory: An alternative theory of rational choice under uncertainty, in «Economic Journal», 92, 1982, pp. 805-824.

[10] J. von Neumann and O. Morgenstern, Theory of games and economic behavior, Princeton University Press, Princeton (NJ) 1947.

[11] A. Tversky and D. Kahneman, The framing of decisions and the psychology of choice, in «Science», 211, 1981, pp. 453-458.

[12] N. Camille, G. Coricelli, et al., The involvement of the orbitofrontal cortex in the experience of regret, in «Science», 304, 5674, 2004, pp. 1167-1170.

[13] G. Coricelli, H. D. Critchley, et al., Regret and its avoidance: a neuroimaging study of choice behavior, in «Nature Neuroscience», 8, 9, 2005, pp. 1255-1262.

[14] N. Canessa, M. Motterlini, et al., Understanding Others' Regret: a fMRI study, in «PLoS One», 4, 10, 2009, p. 7402; N. Canessa, M. Motterlini, et al., Learning from other people's experience: a neuroimaging study of decisional interactive-learning, in «Neuroimage», 55, 1, 2011, pp. 353-362.

[15] R. S. Sutton and A. G. Barto, Reinforcement Learning: an Introduction, MIT Press, Cambridge, 1998.

[16] W. Schultz, Behavioral dopamine signals, in «Trends in Neurosciences», 30, 5, 2007, pp. 203-210.

[17] Ibid.

[18] J. LeDoux, The amygdale, in «Current biology», 17, 20, 2007.

[19] C. D. Fiorillo, P. N. Tobler, et al., Discrete coding of reward probability and uncertainty by dopamine neurons, in «Science», 299, 5614, 2003, pp. 1898-1902; P. N. Tobler, C. D. Fiorillo, et al., Adaptive coding of reward value by dopamine neurons, in «Science», 307, 5715, 2005, pp. 1642-1645.

[20] C. D. Fiorillo, P. N. Tobler, et al., op. cit.

[21] J. von Neumann and O. Morgenstern, op. cit.

[22] D. Kahneman e A. Tversky, Prospect theory: an analysis of decision under risk, in «Econometrica», 47, 1979, pp. 263-291.