约翰·冯·诺伊曼冯·诺依曼的英语说得很好，更不用说匈牙利语、德语和法语了。他的英语重音暴露出他是中欧人，但非常迷人，绝无刺耳的感觉。他在“th”和“r”的发音上有些麻烦，说“integer”这个单词时，“g”的音发得很重，这是冯·诺依曼特有的。幼时学的希腊语和拉丁语他也掌握得很好。据说冯·诺依曼掌握的7种语言，无论哪一种他都说得很好，甚至比只会说一种语言的大多数人都要流利。
有些数学家墨守成规、胆小怕事、思想麻木，冯·诺依曼则完全不同于这类数学家——他热情奔放，喜欢派对。派对和夜生活对冯·诺依曼特别有吸引力。在德国教书时，冯·诺依曼是柏林一家“卡巴莱”的常客，这方面的爱好贯穿了他的一生。冯·诺依曼和克拉拉有时自己举办这种活动，以便把做客的学者介绍给研究所。几乎每个礼拜他们都有派对，并逐渐形成了一种沙龙。1952年，克拉拉甚至为一个派对做了一个普林斯顿计算机的冰雕模型，以庆祝这台计算机的投入使用。《生活》杂志这样描写冯·诺依曼：“对于他，这是一个普普通通的场景：在夜总会节目表演或热闹的派对进行到中间的时候，他便开始用笔在纸上乱涂乱抹起来。他的妻子会说：‘闹得越凶越好。’”冯·诺依曼利用他非凡的记忆力在头脑中建造了一个笑话库，一有机会就要用一下。1947年，原子能委员会委员刘易斯·施特劳斯想在他的演讲中加入一些风趣的内容，便让冯·诺依曼提供过几则有关原的笑话。冯·诺依曼也喜欢做五行打油诗。在写给克拉拉的信中，有以下几个例子：有个姑娘来自林恩，大眼睛，小嘴巴，长得水灵灵，只可惜她羞答答不肯见人，慕名而来的小伙子们挤破了她家的大门！有个小伙大喊“快跑”，世界末日已经来到！我最害怕会诅咒的圣灵，对付基督，却自有妙招！
冯·诺依曼的幽默用当时的标准来衡量，大多都是带有性别歧视色彩的。在写给克拉拉的一封信中，他把《花花公子》杂志上的用词“rape”定义为“为了快乐而强奸”他有一则故事说，一个妇女拿了一张5美元的到商店购物，店员告诉她这张美钞是，于是这个妇女喊道：“我被了。”克拉拉对她丈夫的玩笑有何反应已不得而知，但从冯·诺依曼的一封信中可以看出一些端倪：在那封信中，冯·诺依曼引用了美国小说家伍德豪斯的一句话：“女人必须学会忍受她们所爱的男人讲的逸事，这是夏娃的咒语。”冯·诺依曼的政治笑话比较好一些。刘易斯·施特劳斯认为下面这则笑话就是冯·诺依曼创作的：“一个匈牙利人进入旋转门的时候在你身后，但他却比你先出来。”冯·诺依曼最喜欢的笑话之一是第一次世界大战时在柏林创作的：“一个人站在街角大喊：‘皇帝是个白痴！’警察要以谋反罪逮捕他。他说：‘你不能逮捕我，我说的是奥地利皇帝。’警察说：‘你骗不了我们，我们知道谁是。’”躲在左后阴影里的冯·诺依曼冯·诺依曼的恶作剧也是出了名的。梅里尔·佛勒德回忆起有一次爱因斯坦要去纽约，冯·诺依曼自告奋勇驾车送他去普林斯顿火车站，却故意把他送上一列驶往相反方向的火车。另一次，佛勒德有天早晨看见冯·诺依曼眼睛有些红肿，问他是怎么回事，他回答得很简单：“我哭过。”佛勒德说过这则故事以后，有人问他：“你怎么没有问问冯·诺依曼为什么哭？”令人难以置信的是，佛勒德竟以为这也是冯·诺依曼的恶作剧——他在自己眼中故意揉进些什么东西，好让别人来问他。
当然，说笑话和恶作剧不是一回事，并不都意味着有幽默感。冯·诺依曼的幽默感常常是带有讽刺性的。一次在火车上，他饿了，让列车员把卖三明治的小贩叫过来。列车员不耐烦地回答说：“如果我看见三明治人，我会跟他说的。”冯·诺依曼听后调皮地问他：“这火车是线性的吧？”他就是这样，机智、诙谐、触景生情，但是以克拉拉和他的同事为笑柄的玩笑却是令人难堪甚至痛苦的。赫尔曼·哥尔斯廷回忆起，他和冯·诺依曼曾经参加了一个令人厌烦的讲座，演讲者有个口头语“nebech”，于是他们就记录他说这个词的次数。每当他说“nebech”时，他们就高高举手，并伸出手指示意。
朱利叶斯·罗伯特·欧本海默(JuliusRobertOppenheime1904年4月22日－1967年2月18日）冯·诺依曼在政治上是保守的，但不是动辄发作的反动派。他会保卫奥本海默，反对对他的攻击。当物理学家劳伦斯和阿尔瓦雷斯试图说服爱德华·特勒在利弗莫尔建立实验室的时候，冯·诺依曼劝特勒：“特勒，别跟这些人掺和在一起，他们太反动了。”冯·诺依曼喜欢奢侈品。用大学教授的标准来衡量，他家用的瓷器和银具都是很昂贵的。冯·诺依曼开着一辆车篷可折叠的最新型号的凯迪拉克汽车，还有一辆史蒂倍克牌的汽车。在20世纪40年代，当汽车上最初出现往挡风玻璃上喷清洗液的小装置时，冯·诺依曼是第一批购买的人之一，并且在普林斯顿开车到处转悠向朋友们展示。
冯·诺依曼最感兴趣的理论问题之一是：机器能不能复制自己。他买了一箱“修补工”玩具来摆弄，以着手研究这个问题。但他在制造自复制修补工玩具上并不成功，最后只好放弃，把这套玩具送给奥斯卡·莫根斯特恩的儿子卡尔了。
当他因为原项目而常住洛斯阿拉莫斯时，他会驱车120英里去一家他喜爱的墨西哥餐厅吃晚饭。”其余时间他会定一份白兰地加汉堡。一些故事把冯·诺依曼描写成一个偶尔酗酒的人，在这方面我们很难用通常的标准去衡量他。喝酒是普林斯顿环境的一部分。劳尔·博特说过，普林斯顿研究所的人有这样一种信念：酒精对于疲倦的数学家的心智有“治疗作用”罗伯特和基蒂·奥本海默的家有个绰号叫“波旁庄园”喝酒在冯·诺依曼家也是常事，主人一点儿也不比客人喝得少。冯·诺依曼有一只玻璃做的鸟，它可以间隔一定的时间摇摇摆摆地把它的尖嘴伸进一只玻璃杯里。在一次派对上，冯·诺依曼规定，每当玻璃鸟做这个动作时，大家都要喝一杯酒。
虽然有人怀疑过，但是并无证据证明酒精在这些事故中起了作用。时任IBM公司应用科学部主任的卡思伯特·赫德告诉笔者，冯·诺依曼的问题不是酒后开车，而是开车时唱歌！他在转动方向盘时，身体会随着音乐前后摇摆。当冯·诺依曼驱车到IBM公司在纽约州的办事处时，几乎形成了一个惯例，他总会因为在纽约市违章行驶而得到一张传票，而他会把传票交给IBM公司，因为IBM公司在曼哈顿商业区也有一个办事处，靠近市政大厅。
冯·诺依曼的魅力来自其性格的两面性。他是一个温和可爱的人，他一方面怀疑人类会因科学技术的误用而毁灭，另一方面又设想发动一场核战争。有人为了获得其黑暗面的确切证据做过长期艰苦的调查，但一无所获，了解他的人绝大多数都对他极为钦佩。历史学家劳拉·费米在《杰出移民》一书中写道：“冯·诺依曼是我没有听到过任何批评的极少数人之一。那么多冷静沉着的人、那么多知识分子都聚集在这样一个并无突出外表的人的周围，这真令人惊讶。”关于冯·诺依曼的善良和慷慨大方，还有许多小故事。1946年，冯·诺依曼得知他以前的老师费尔入不敷出，就寄了20美元给他。1954年，他让研究所把他名下的3500美元转给来访的日本数学家広忠安斋。
冯·诺依曼同数学家维纳之间有过小小的不和。有一次维纳做报告时，冯·诺依曼坐在前排大声地念《纽约时报》。当然，他们并非仇敌。维纳有一次曾试图为冯·诺依曼及其友人获得访问中国的邀请。在麻省理工学院的档案中，有一封维纳给清华大学熊庆来的信，日期为1937年5月4日。信中维纳用有些夸大的话介绍冯·诺依曼：“冯·诺依曼是世界上两三个顶尖数学家之一，他完全没有民族和种族偏见，并且认为激励年轻人从事研究有极大的好处。……在社交方面，诺依曼相当喜欢口述要点的方式，因为你知道普林斯顿的生活节奏是比较快的，是鸡尾酒会式的。至于在其他方面，诺依曼绝不是个自以为了不起的人，年轻的大学生很容易接近他。”冯·诺依曼的第二次婚姻一直持续到他生命结束，但他和妻子克拉拉争吵不断，显然双方都有过错。冯·诺依曼在一封信中说：“我希望你原谅我在一些小事上欺骗过你。”克拉拉则承认：“我们两个脾气都不好，但让我们尽量减少争吵吧。我真的爱你，虽然我的性格很糟糕，但我真的很想让你幸福——尽可能接近幸福，尽可能有更多幸福的时光。”这又让冯·诺依曼的同事疑惑不解。”我们很难判断以上种种说法是否夸大其词，但冯·诺依曼的家庭不和却让人不得不信。冯·诺依曼是生怕被解职而卖力工作的人中最极端的一个，同爱迪生相似，他夜里只睡几个小时，醒着的时候则总是在工作。在《一位数学家的经历》一书中，乌拉姆指出：“冯·诺依曼也许不是一个容易和他人共同生活的人——他在普通的家务事上不会投入足够的时间……他是如此繁忙……他甚至可能不是一个体贴入微的‘正常’的丈夫。这可能就是他的家庭生活不太美满的部分原因。”