1955年4月18日凌晨1点15分，76岁的爱因斯坦在美国新泽西州普林斯顿大学医院去世了。这位被美国《时代周刊》评选为20世纪的“世纪伟人，被公认为是继伽利略之后最伟大的物理学家。此前，因创立了狭义相对论和广义相对论，提出光子假设、并成功解释了光电效应而闻名世界。
爱因斯坦去世后，按照他生前的遗嘱，尸体火化后，骨灰撒在了德拉瓦河里。
哈维当时是普林斯顿医院的首席病理学家，被医院指定为解剖医生对爱因斯坦的遗体进行尸检。
这天夜里，哈斯授权对爱因斯坦进行尸检，他一丝不苟地检视所有内脏，得出结论，死因是因为主动脉破裂。
尸检做完后，哈维将内脏放回爱因斯坦的腹腔内。然后，他开始小心翼翼地锯开爱因斯坦的颅骨，取出大脑，然后用棉花填入了颅腔。他并没有将大脑放回去，因为这是天才的大脑呀！
哈斯把大脑用秤称了称，爱因斯坦的大脑重1230克，而年纪和他相同的男性大脑平均重量1400克，也就是说，这颗伟大的大脑比正常人还偏轻了一点。哈维捧起这颗大脑时，却感觉额外沉重。他想：“这颗大脑，也许会改变自己未来的命运。”于是，他就把爱因斯坦私自带走了。一般情况下，医院为了供研究或教学使用，会指令医生留下尸检中的某个器官，死者的家属也不太介意，但这次是爱因斯坦。
三天后，爱因斯坦的儿子汉斯为父亲办完丧事后，顺手翻开《纽约时报》，却在头版上看到一篇《在爱因斯坦的大脑里寻找关键线索》的文章。
文中说，研究爱因斯坦的大脑，才能解开天才的秘密在哪？汉斯惊呆了，这才知道父亲的大脑是被哈维医生切割，大脑表面的覆盖物也被他留存了。瞬间汉斯跳了起来，他在狂怒中给普林斯顿医院的医生哈维打电话。
哈维接到在暴怒中汉斯打来的电话时，他急忙找来很多理由来为自己开脱，解释自己的行为。
哈维说：“这颗大脑对于我们太重要了，也许它能帮人类解开天才之谜。”随后，他详细向汉斯说明了自己的研究计划，如何从解剖学上检视爱因斯坦的大脑；如何寻找与其他大脑的不同之处，只用于科学研究，绝不会用来制造噱头引人关注等等。
最后，哈维郑重承诺，他会成为爱因斯坦大脑的忠实守卫者，汉斯听完解释，只好勉强同意了。
哈维私藏爱因斯坦大脑的事，很快被院方知道了。很快，哈维就接到了普林斯顿医院领导的命令，要他交出爱因斯坦的大脑。哈维的研究计划能说服汉斯，却并不能说服上级。哈维果断拒绝，于是他被开除了。
失业后的哈维独自去了费城，在那里，他给爱因斯坦的大脑拍照、测量，最后小心地切成了240块，每一块都有编号，指明它位于大脑的哪个部位。
切块被哈维包在火棉胶里，然后用在福尔马林中浸泡保存起来。随后，哈维带着爱因斯坦大脑离开了医院，从此失去了踪迹。时间一晃过去了23年。1978年，一个初出茅庐的记者史蒂芬·列维被上级指派去寻找爱因斯坦的大脑。经过多方寻觅，史蒂芬在堪萨斯州找到了哈维。
在哈维家的储藏室里，史蒂芬目瞪口呆地看着哈维走到房间角落，挪开一个用来装冰啤酒的泡沫箱，又拿起一叠旧报纸，从旧纸箱里掏出两个玻璃罐。里面一看就是人脑组织的东西，还有些半透明小块及悬浮着的粉红色的线。史蒂芬询问哈维，这才知道他自从得到爱因斯坦的大脑后，就失业了。
哈维从辞掉普林斯顿医院的医生后，他找工作并不太顺利，他妻子一度威胁他要“处理掉那个大脑”。结果是，他离了婚，独自带着大脑去了堪萨斯州。失业的哈维很落魄，他没考过一个资格考试，后来连行医执照都丢了，不得已只好在塑料工厂的流水线上当了一名工人。
三年后，哈维打起精神，重新振作起来，他好不容易又考上了医师资格证，当了医生。工作稳定下来后，哈维开始利用空闲时间自己来研究爱因斯坦大脑，但没有进展；后来，他又给一些神经研究者寄过大脑的样本，但那些人同样没有进展。哈维虽然是个优秀的病理学家，但不是神经学家，他能看出一颗大脑是死于疾病还是死于外伤。但要要找出大脑智慧在什么地方，他就迷茫了。于是，他求助于优秀的神经学家玛丽安·戴蒙。他寄去了一些爱因斯坦大脑的切片。
玛丽安在小鼠中进行过“神经可塑性”的试验，并获得成功。
于是，玛丽安就把研究后的成果附上哈维的名字，共同发表了一篇论文《一个科学家的大脑：艾伯特·爱因斯坦》。论文里比较了爱因斯坦的大脑和另外11颗男性大脑的4个区域，发现在左脑39区角回处，爱因斯坦的“神经胶质细胞：神经元之比”特别高，平均多出73%的神经胶质细胞。
1996年，玛丽安和哈斯又在《神经科学快报》上发了一篇论文《爱因斯坦的额叶皮质厚度和神经元密度改变》，认为爱因斯坦的右侧前额叶皮质比其他大脑更薄，神经元密度更大。这可能让信息交换速度更快。
经过这么多年的折腾，哈维觉得应该物归原主了。1997年，哈维跟把爱因斯坦的大脑装在汽车行李箱里，去加州找爱因斯坦的孙女，想把大脑归还给她。但爱因斯坦的孙女不想要。
于是，哈维又回到了普林斯顿医院，找到这里的首席病理学家克劳斯，将170块爱因斯坦大脑交给了他。大脑又回到了普林斯顿，而这时距哈维取出爱因斯坦的大脑，已经过去了43 年。2007年4月5日，研究一辈子爱因斯坦大脑的哈维在普林斯顿医学中心去世了。至死他也没研究明白这个大脑到底有什么用。
于是，哈维的后人将所有跟爱因斯坦大脑相关的剩余资料及当时拍摄的原始照片，都捐给了美国健康医药博物馆。哈维当年拍摄的爱因斯坦大脑照片，现存于美国健康医药博物馆。2012年3月27日，爱因斯坦的大脑玻璃切片在伦敦韦尔科姆收藏馆。
