Interesting paper on bullshit

It seems we have different abilities to detect bullshit.

Artigo na Folha (news about me in a Brazilian newspaper)

A Folha publicou um artigo (quase a página inteira) sobre parte do meu trabalho
 (A Brazilian newspaper - Folha de São Paulo - has published an almost full page about part of my work, in Portuguese):
 
Fisico tenta mapear tipos de vies que assolam mente humana

Divulgação de Seminário (Seminar, in Portuguese and in Brazil)

Quinta, dia 26 de novembro, vou apresentar um seminário sobre o paper que postei aqui da última vez (Thou shalt not take sides). Vai ser na USP Lest (EACH), em duas partes, a primeira começa às 14:00. Seguem os detalhes e o poster:

Seminário do Grupo de Sistemas Complexos:

Dia 26/11/2015, quinta-feira, Sala I1, 330 (EACH -USP)

Primeira parte: 14:00 - 15:00

Segunda parte: 15:30 - 16:30

Título: Não tomarás partido: Cognição Humana, Lógica e Crenças

Resumo: Acreditar am uma descrição do mundo é uma atividade normal e incentivada. No entanto, de um ponto de vista lógico, não há suporte para essas crenças. E experimentos recentes mostram que as crenças que usamos para nos definir podem limitar seriamente nossa habilidade de procurar respostas corretas. Neste seminário apresentarei o argumento completo sobre porque não devemos nunca tomar partido. E veremos como nosso desejo por ideias corretas está por trás de diversos problemas, desde opiniões extremistas até a crise de confiabilidade em artigos publicados em áreas como Medicina e Psicologia.

Thou shall not take sides - preprint available

Does taking sides make us dumb? Our very fallible human reasoning

We all believe in something. And among these beliefs, we do not limit ourselves to moral choices. We also make statements about how we think the real world is. And we feel that these beliefs, this taking sides is not only not problematic, but it is also the right thing to do. A new preprint from André Martins at aArXiv.com defends that the opposite is true. By combining results from Logic and the results of several known experiments on how we human reasons, his paper shows that the very action of taking sides and believing should be avoided because it can prevent us from learning. Taking sides, it seems, turns even the very smart among us dumb. Simulations presented in the paper also show that simply wanting to have one option to believe might be at the heart of the appearance and strengthening of extremist points of view. Some serious problems that arise from our taking sides also identified as generating errors in scientific inquiries. The author presents a discussion of the problem, how it affects society and research in general and suggests ways to make the problem of believing less serious. When Socrates claimed he knew nothing, he had almost completely understood the problem. But we forgot it and we kept choosing descriptions of the world we choose to defend. The problem, according to the paper, is not what we believe; the problem is that we believe.

The Results

We have been aware for a few decades now that, when we humans reason naturally, we commit a staggering amount of mistakes. We make very basic logical errors, we are influenced by others in ways that can make us fail even trivial tasks where we would not have failed at all. And we fail at those tasks just to agree with our group. Our reasoning does allow us to navigate the problems of the daily life in a reasonably competent way but, without training, it does not go further than that. We are simply much dumber than anyone among us would want to believe. New trivially simple logical problems are often beyond our natural skills. More recently, researchers have also observed in their experiments that we the main function of our reasoning is not as a tool for solving problems by finding the best available answer. Instead of looking for truth or best answers, our reasoning seems to have, as its primary function, a simple argumentative cause. We reason to establish arguments to convince other people and, as long as our arguments work, they do not need to be right. Quite the contrary, they could even be quite incompetent and wrong, as long as they get the work done. As in any heated discussion, our brains seem to work to get us ahead in the fight with our opponents. And, in this fight, being right or wrong is just an incident. What matters is that we sound convincing. At the very least, we should sound convincing to the social group we belong, to those people from where we draw validation. And when our social group is attacked by outside ideas, we use our brain power not to examine the situation and try to find who is right. We use it to defend the group we feel where we belong. We hold sets of beliefs that show clearly that we do not reason in an independent, correct way. Instead, we look for justifications for the conclusions we want to be true. And, in an almost unexpected twist, the smarter we are, the better we are at the defending our conclusions. And that can make smarter people less capable of changing their opinions, of learning.

In a recent preprint “Thou shall not take sides: Cognition, Logic and the need for changing how we believe”, currently at the ArXiv preprint server at http://arxiv.org/abs/1508.05169, André Martins, from Universidade de São Paulo has combined these results from Cognitive Psychology with our current knowledge on Logic about accepting propositions as true. By observing that our logical methods can not provide any certainty about statements about the real world and that the best we can hope for is to find ways to estimate probabilities for those statements, it becomes clear that our side-taking has no logical origin. While there are statistical methods that try to accept or reject ideas, they are actually a desperate attempt to justify our desire to have just one idea to believe. As it has always been clear that they never ruled out any ideas. While there are circumstances where one might decide to act as if one idea is true, in logical terms, only an estimate of probability makes any sense (and even this might be beyond our current reach for many problems, given our actual state of knowledge). The conclusion: we should never take sides and adopt beliefs as if those ideas were true. For there is no logical reason to do that and, when we embrace these identity-defining beliefs, our instincts make us unable to learn, they make our minds work to defend those beliefs instead of inspecting them. Taking sides and believing make us stupid; sometimes the more stupid, the more intelligent we are. Unless you actually just care about defending your side, regardless of who is right, you should not hold beliefs. You can and actually should have probabilistic beliefs, but those are just uncertainties where some ideas are more uncertain and others less uncertain.

Simulations in the preprint also strongly suggest that our desire to have one single idea to believe and defend is a fundamental key in understanding the origin and spread of unjustified extreme beliefs. Indeed, a simple change in the mental model of the agents, where they start looking for answer that combine the available ideas instead of looking for one to discard, has the amazing effect of avoiding extreme beliefs in the problems studied in the preprint.

Finally, why we actually can trust Science is discussed. And we learn that, despite being the competent and correct way to learn about the world, scientific work still has much room for improvement. As scientists are also humans, the preprint shows the consequences of the desire to have one single idea in the beliefs of different areas. And, while some scientific fields are lucky enough that the mistakes the researcher do there on a daily basis are of no consequence to the reliability of their ideas, in other areas the problems do cast much larger doubts on the reliability of our knowledge. The author shows that taking sides causes us problems in all aspects of our lives. We become less capable of learning, groups become extremists with no reason, and even our scientific knowledge has suffered greatly from this natural instinct. The conclusion is that we should start learning as soon as possible to never take sides on issues that are not just moral issues, but that include statements about how the real world is. It is not that our emotional side can drive us to wrong decisions, our ability to reason does exactly the same. We have tools to avoid that (or, at least, to minimize the problem), it is fundamental that we learn to use them. One of them is to never trust our own beliefs. They may be probable. But we simply never know if they are right.

Nossa burrice coletiva

Você tem um lado na discussão recente sobre o governo do PT, um lado que você crê fortemente que deva ser defendido? Considera o outro lado uma mistura que contém apenas burros e gente defendendo o próprio interesse? Seja o seu lado contra ou a favor, algo que você precisa saber é que, no momento em que você escolheu defender um dos lados e se identificar com ele, você, infelizmente e sem saber, comprometeu seriamente sua capacidade de analisar corretamente o problema. E, se você for uma pessoa inteligente, esse comprometimento pode até ser ainda mais sério. É um fenômeno observado em experimentos de Psicologia Cognitiva, não é sua culpa, é uma consequência de como nós, humanos, somos. Mas é algo que você realmente deveria saber.

Infelizmente, uma explicação completa com os detalhes de como raciocinamos em geral, de como argumentamos e de como isso deveria ser feito é bastante longa. Do tamanho de um livro. As partes da discussão existem em lugares diferentes, mas não sei de um lugar já publicado que inclua todas estas questões. Também por isso, no começo desse ano, eu terminei de escrever um livro sobre conhecimento e crenças. Ele só existe na versão rascunho e está submetido para publicação no momento, enquanto alguns amigos leem essa versão rascunho. Às vezes comento algo sobre o que está ali em uma rede social, mas acho que, como ele ainda não está acessível, tenho usado informações que estão lá em discussões menos do que eu poderia ou deveria. Não que a maior parte do que está lá seja original. Em termos de páginas, a maior parte é um longo contar de resultados, alguns bastante recentes, outros não, em áreas tão distintas quanto Psicologia Cognitica, Lógica, Indução Probabilística, Filosofia da Ciência e efeitos de interações em sistemas sociais complexos. O que torna o livro significativo é que, após juntar tudo, algumas conclusões se tornaram óbvias para mim e, espero que tenha feito um bom trabalho ali de mostrar o como de fato são óbvias. Mas, enquanto essas conclusões são frequentemente mencionadas em uma versão fraca, nunca as vi na versão mais forte a que cheguei, o que é a contribuição central do livro (e o motivo pelo que penso ele venha a ser uma obra importante em qualquer discussão sobre o pensamento e o que sabemos). Em particular, ele traz algumas conclusões importantes que são de aplicação óbvia na política. Com toda a palhaçada atual e a incompetência generalizada do debate, causada pelo sermos humanos frequentemente apesar e não por causa da incompetência do debatedor, acabei concluindo ser melhor fazer minha parte e comentar o que der. Ainda que seja só para desabafar sobre toda a burrice do debate, induzida pelas crenças e o tomar partido de gente que é, na verdade, inteligente.

O livro foi escrito em inglês pois julgo importante demais para terminar restrito a um país não muito relevante (e trazer para uma tradução, mais tarde, é muito mais fácil que fazer o caminho inverso). No blog, há um pouco mais de um capítulo dele, mas a versão final ainda vai passar por revisões. Ele começa assim:

“Nós todos temos nossas crenças. Nós discordamos sobre elas, mas até hoje sempre pensamos que seria certo defendê-las. Defendemos não apenas nossas preferências, as formas como gostaríamos que nossas vidas e sociedades se organizassem, as coisas que representam o que preferimos e que não tem outro padrão para serem avaliadas além dos nossos padrões individuais. Nós também aprendemos a defender nossas ideias de como o mundo realmente é. Frequentemente, temos opiniões em assuntos sobre os quais sabemos pouco ou nada. Espera-se frequentemente que defendamos essas opiniões também. E elas podem ser opiniões bem fortes. Organizamos partes da nossa sociedade ao redor daqueles que defendem as mesmas ideias. Criamos argumentos para defender nossas ideologias, nossas religiões, nossos grupos sociais. Certeza é considerada uma qualidade, dedicação às descrições pessoais que temos do mundo real, uma coisa boa. Respeitamos aqueles que parecem ter certeza e duvidamos de quem mostra dúvida. Nós pensamos que sabemos.

E estivemos errados o tempo todo.”, André Martins, The Stupidity of Beliefs, unpublished

Uma das conclusões centrais é que ter certeza sobre qualquer afirmação sobre como o mundo é (ao contrário de como você gostaria que ele fosse, seus gostos são seus, afinal e você sabe quais eles são) não apenas é errado. É também desastroso. É errado porque analisando por completo o problema do conhecimento, o que não dá para fazer aqui, não há como obter provas sobre o mundo real. Apenas avaliações das probabilidades de cada ideia e cada teoria são possíveis. Sim, várias vezes algumas ideias tem uma chance tão absurdamente pequena de serem verdadeiras que eu poderia encher uma ou várias folhas com os zeros necessários para representar o número. Mas, em muitas perguntas específicas, a incerteza que sobra é expressiva e nem como primeira aproximação daria para ignorar várias alternativas existentes.

Mas há um outro problema. Esses resultados mais recentes deixam claro nossos erros de argumentação. Outros nem tão recentes mostram como nosso raciocínio intuitivo, que leva as coisas que sentimos que são verdade sobre o mundo e problemas em geral, falha com frequência. Analisamos bem problemas cujas respostas certas são bem conhecidas por todos e fáceis. Mesmo quando elas ainda são fáceis, nossos cérebros, sem um bom tanto de treinamento que não recebemos na escola em lugar nenhum do mundo, erram e com frequência em problemas novos.

Quando juntamos as evidências sobre como somos e comparamos com o como deveríamos ser, é possível ver que nós organizamos nossa sociedade e nossas discussões de forma completamente errônea, reforçando as situações que nos induzem a não raciocinar corretamente. Algo que os experimentos e observações mostram é que nossa capacidade de argumentação não existe para nos ajudar a encontrar as respostas certas. Ao menos essa não é a causa principal da existência de nossa capacidade de argumentação ou, mesmo, sua aplicação mais comum. Até podemos usar argumentos de forma correta e podemos aprender a fazê-lo. Em geral, infelizmente, não é o que acontece. Se isso é uma consequência da evolução ou fomos educados para usar a argumentação dessa forma, ou se a causa é uma provável mistura das duas coisas, não sabemos ainda. O que tem ficado claro – e é engraçado pensar o quão óbvio isso é e o quão pouco ou nada se diz sobre – é que argumentamos para reforçar nossos grupos, para convencer nossos aliados. Ou conseguimos liderar nosso grupo ou preferimos nos ajustar ao grupo, quando alguma ideia nossa não é aceita. Estar certo é quase irrelevante nesse contexto. Continuar a pertencer a um grupo que você usa como identificação pessoal é praticamente tudo que importa. Os argumentos que concordam com sua conclusão, você (e todo mundo) aceita sem pensar. Os que discordam, você analisa até achar algum problema. Mesmo que o problema seja irrelevante, que você precise atacar o proponente ao invés de responder o argumento.

E há mais. Pessoas mais inteligentes, assim como pessoas mais treinadas, nós esperaríamos, deveriam ser capazes de chegar mais facilmente a respostas corretas. Mas, quando elas tem uma crença que defendem, o que se observa é que essa capacidade adicional significa uma maior capacidade não de análise, mas de defesa. De achar argumentos que seu grupo aceite, ou que, no máximo, pessoas indecisas não treinados em Lógica considerem bons. Raciocinar e argumentar sobre crenças que você defende é sobre pertencer ao grupo, liderando-o quando der, mas sempre pertencendo. Não é sobre estar certo, não é sobre o que é melhor para todos, não é sobre competência. E isso inclui não apenas o grupo que você acha estar errado e aqueles que pertencem àquele grupo. Isso inclui o seu grupo e inclui o seu raciocínio.

No caso do debate atual, as evidências de se você se tornou vítima desse fenômeno são claras. Se você classifica quem defende o outro lado como sendo burro ou vendido, você é uma vítima do seu cérebro e sua necessidade de ser aceito pelo seu lado. Isso não quer dizer que não existam burros e vendidos, eles existem dos dois lados e talvez até sejam comuns. É facílimo achar manifestações incompetentes de ambos os lados, o que, para o lado oposto parece apoiar suas ideias. Não apoia, não é nos incompetentes que você deveria prestar atenção, a menos que queira se igualar a eles.

Mas há também argumentos sérios em ambos os lados, que deveriam ser pensados sem paixão. Sem desqualificar o proponente, mesmo se você sente que a pessoa merece ser criticada. Há ideias do outro lado que você deveria sim ouvir e considerar e, algumas, aceitar. O seu lado não está certo em sua totalidade. A pergunta, no caso, deveria ser sobre o futuro, sobre o que é melhor para o país, para a sociedade, para você. Como cada fator (sociedade ou você) conta, é decisão sua, mas apenas o futuro pode ser mudado pelo que você fizer hoje então decisões são sobre o futuro. E análises erradas, mesmo que o erro seja humano e nada que deva deixar você com vergonha (afinal somos todos humanos e erramos igual, se não aprendermos a identificar e corrigir nossos erros), não vão ajudar você a mudar de decisão. Ouvir o outro lado quando ele apresenta argumentos bem construídos e aprender com ele seria um pequeno começo.

Mas o melhor, para evitar o quanto o ser cérebro engana você, é não ter lados. Pensar no que é melhor para o futuro, considerando todos os argumentos e pontos de vista mais sólidos, se esforçar fortemente para não se identificar com um lado ou outro. Ou você pode simplesmente ser manipulado pelo lado que escolheu, ser um escravo desse lado, em vez de realmente pensar.

Durante o segundo turno das eleições, houve um dia em que decidi distribuir ais para argumentos sem conteúdo a favor da Dilma ou a favor do Aécio. Não havia um único argumento a favor que não merecesse um ai. Mesmo gente que deveria saber melhor passava raciocínios incrivelmente burros desde que defendesse seu lado. Eu sonho com o dia em que qualquer raciocínio burro seja ridicularizado e não repetido ou compartilhado.

Do Not Go Gentle into that Good Night ..... Dylan Thomas

Group reasoning: Stereotypes, hatred, and all that

Belonging to a group is a powerful motivator in people actions and also in how they understand the world they live in.  Our social tendencies, our desire to live among equals are very obvious and have some positive consequences. But they also help the drawing of many of the arbitrary lines that divide us, like nation or race.


In his 'The Lucifer Principle , Howard Bloom presents two interesting examples of creating enemies as a way to gain support and power. He tells how Orville Faubus created a bogeyman, inventing a story where he claimed the black population in Little Fork was getting ready for violence when the schools would open, finally forced to integrate black and white students by a Supreme Court decision. Meanwhile, Faubus incited the violence and, by blaming in on the black people, he was able to be elected and re-elected until he decided to retire. A similar strategy was used by Fidel Castro, in order to get the Cuban people to follow his rule. In more recent examples, it is not even necessary to look hard to see how both sides in the Western versus Muslim societies "conflict'' gain the hearts and minds of the people inside each group simply by pointing at the other group as outsiders, as them, basically not granting the same humanity that the group "we'' belong to has.


Dave Grossman's 'On Killing analyses the question of how soldiers deal with the killing they are forced to inflict. While the book has serious problems in his analysis of historical cases (extending the morality of present time to the past and using too few information sources), it points to some interesting, if incomplete, data about the behavioral  of soldiers in our more recent wars. Typically, it seems that, in our modern society, most soldiers would naturally avoid firing their weapons and, when they do, they prefer to aim higher than the heads of their opponents. But this tendency can be trained away and techniques of dehumanizing the enemy already exist. Among them, simply attacking from far in a way where soldiers can aim at objects (tanks, for example) instead of human beings, can make it much easier to avoid the horrible feelings many of us would have from taking someone else's life.


Hatred is indeed a powerful element in how we deal differently with ingroup relations as opposed to outgroup ones. Eran Halperin et al, while studying Israeli-Jewish adults, have observed that hatred is indeed even more important to establishing of political intolerance than other strong inducers of intolerance, such as perceived threat.


Sullivan and Transue, in a review of previous research on political tolerance, observed some rather troublesome effects. For example, a previous study conducted during the McCarthy era by Samuel Stouffer, in  Communism, Conformity and Liberties, observed that an overwhelming majority of the Americans interviewed in the study were in favor of denying the political rights of free speech or participating in the political process to groups they considered a threat, such as communists or atheists. Interestingly, in this study, this tendency to deny political rights was weaker among community leaders. In a later study, James Prothro and Charles Grigg verirfied that, while their respondents actually agreed with general democratic principles such the protection of minorities, this consensus in favor of democratic practices disappeared when applied to controversial issues. The strength of tendency of not accepting divergent opinions was observed to depend on several factors, such as perceived threat, educational background, psychological attitudes and values and so on.