克莱因曾经屡次引用亨利·庞加莱的名言：“要预见数学的未来，正确的方法是研究它的历史和现状。”《数学简史》的扉页也写着这句话，就是秉持着这样的原则，克莱因从古希腊的毕达哥拉斯派讲起，溯流而下，根据历史的线索一直到达20世纪晚期。难怪人们把克莱因称为科学哲学中标准的历史主义学派代表。
古希腊人认为，数学实质上存在于宇宙万物，是关于自然界结构的真理，或如柏拉图所说，是物质世界的客观存在。宇宙存在规律和秩序，数学是达到这种秩序的关键，人类理性可以洞察这个设计并且揭示其数学结构。物质世界转瞬即逝，只有理念才是永恒。这个思想延续了很长时间。开普勒、笛卡尔、伽利略以及牛顿的数学研究，主要目的都是为了揭示上帝的自然设计的真相，他们信奉数学的真理性。然而，这些伟大的科学家在研究中渐渐怀疑：上帝这位“钟表匠”是否是“盲眼”的呢？。
数学确定性丧失的过程，是一个历史渐变的过程。数学思想和研究的发展是由汇聚不同方面的成果，点滴积累而成的，有时需要几代人、数百年的努力才能迈出有意义的一点进步。克莱因对数学课题的研究、数学思想的研究要远远超过对数学家个人的讲述，他希望梳理每一次数学发展或者危机的前因后果，这也是他孜孜不倦进行数学教育的一种愿望。
数学确定性的丧失，经历了几次冲击：1。非欧几何和四元数理论的出现使人们认识到，外部物质世界并非必须遵循数学定律。2。 无理数、负数、复数等不合逻辑的发展，让代数不得不独立于几何而存在。3。牛顿和莱布尼茨的微积分研究和建立在微积分基础上的其他分析分支的逻辑，让数学处于一种混乱的状态。4。人们决定重建数学的逻辑结构，极限的思想和一系列数学理论分析的严密化，似乎解除了部分危机，然而很快的，集合论里出现了悖论，再次挑战数学的基础。5。为了重建数学基础和解决数学的矛盾，人们试图从四个方面对基础的根本问题作出解答，这个时期被克莱因形容为“战国时代”，可惜谁也无法提供一个可以普遍接受的途径。不仅如此，1931年哥德尔的不完全性定理，再一次让数学回到了孤立无援的境地。
数学该向何处去？克莱因态度明确：数学自命为真理的认识已经是必须抛弃的，但人们并不需要为此悲观。克莱因列举约翰·密尔、罗素、波普尔等人的发言去阐释，数学家并不像古典所认为的那样依赖于严密的证明，创造的意义超过任何形式化，直觉甚至比逻辑更有创造力。过去百年最伟大的科学创造比如电磁学理论、相对论和量子力学，它们都广泛地运用了现代数学。20世纪数学的发展反而获得了一种自由，数学在描述和探索物理现象、社会现象时的作用前所未有地扩大了。而不管何时，数学对于音乐、绘画、诗歌、美学、语言等方面的影响，都是人类思想可以达到何等成就的有力证明。
数学史所展示的最有趣之处，可能就在于，数学正是以它的自我揭发矛盾、自我解决矛盾而得到进步的，这样一种不确定性非常迷人。