中华民族和犹太民族都有着悠久的历史和古老的文明，并因其文化具有许多接近甚至相同的地方，在感情上紧密相连。自中国宋代以来，就有一些犹太人在中国安居乐业，有的还在中国的封建王朝中做过官。
第二次世界大战期间，当犹太人在世界上备受欺凌、特别是惨遭纳粹疯狂屠杀的时候，逃亡到中国的犹太难民却受到了中国人民的善待和热情帮助。特别是中国外交官何凤山在二战期间义救了至少大约4000多名犹太人。直到何凤山去世后，他的事迹才被报道出来，在2000年以后，犹太人纷纷尊何凤山为义士英雄，联合国更是授予何凤山“中国辛德勒”称号，以色列更是授予何凤山“荣誉公民”称号。
以色列国于1948年5月成立时，包括新华社和《冀中导报》等党的通讯社和报纸在内的中国舆论界普遍表示欢迎。同样,1949年10月1日中华人民共和国成立时,以色列也表示热烈欢迎,并于1950年1月9日正式承认中华人民共和国,成为中东地区第一个承认新中国的国家。对此周恩来总理复电表示感谢。鉴于以色列与中国前国民党政权没有关系,因此中以之间不存在任何影响两国建立邦交的双边问题。于是,1950年6月,两国在莫斯科开始举行建交谈判。同年9月,以色列代表在联合国投票支持恢复中华人民共和国政府在联合国所有机构中的合法席位。另一方面,在中国政府的安排下,数千名犹太人离开中国移居以色列。
本来,双边关系不断升温,两国不久就会建交的前景十分看好,但朝鲜战争爆发后,两国建交谈判形势则逐渐发生了逆转。两国在莫斯科开始建交谈判后不久，以色列外交部就指示其驻苏联代表:在远东局势发展未明朗前,不再与中国就建交问题采取任何具体步骤。1951年2月,美国策动联合国大会通过了指责中国“侵略”的决议。在美国的压力下,追随美国的以色列政府停止了与中国就建交问题进行的接触和谈判。这样,以色列就失去了与中国建立外交关系的一次良机,其根源是美国敌视中国的政策,直接责任当然在屈服于美国压力的以色列政府方面。
朝鲜战争结束后,中国与西方之间的关系逐渐趋向缓和。1954年,中英实现半建交。接着,中美之间开始了大使级会谈。中国与西方关系的逐步改善给中以建交带来了新的机会。1953年12月,中国驻缅甸大使姚仲明与以色列驻缅甸的外交代表戴维.哈科亨开始就两国建交问题进行接触。
1954年6月,周恩来总理访问缅甸,在中国大使馆举行的招待会上会见了哈科亨,并邀请他访问中国。1955年1月30日至2月24日,哈科亨率以色列贸易代表团访华。其间,他和随团的以色列外交部亚洲司司长曾与当时中国外交部副部长章汉夫和亚洲司司长陈家康讨论了建交问题,甚至谈到未来以色列驻华大使馆的馆址和如何处理上海犹太人的财产问题。
然而,在美国方面的压力下,以色列一些政界要人对以中建交持消极态度,他们认为美国的压力不可忽视,担心这会影响以美关系。在阻止中以建交问题上,当时美国国务卿杜勒斯和以色列驻美国大使阿巴.埃班等人起了重要作用。在此情况下,哈科亨虽与中方讨论了两国建交问题,但仍按照以色列政府的指示，将重点放在讨论两国贸易问题上，对建交未作任何具体承诺，只是邀请中国方面也派一个代表团回访以色列，以进一步商讨有关事宜。这样，中以建交谈判再遭挫折。
1955年4月，万隆会议召开。鉴于万隆会议召开在即，中国方面也不愿在万隆会议前夕加快与以方进行建交谈判的步伐，故对以方发出的访以邀请未作具体答复。结果，万隆会议公报明确表示“支持巴勒斯坦阿拉伯人的权利”，从而使以色列在亚非世界陷入了孤立境地。以色列一看着了慌，于4月29日匆忙通知中国方面，表示它“决定在近期内同中华人民共和国建立外交关系”。7月，以色列驻苏联大使又以私人身份访华，企图游说中方与以色列建交，但中国方面则回避与以方讨论在近期内建交的问题。
万隆会议后，中国政府决定对其中东政策做出重大调整，将重点转移到发展与阿拉伯的关系这一方面来，于是中国与阿拉伯世界的关系迅速发展。从1956年5月到9月，中国先后与埃及、叙利亚和也门建立了外交关系。不过，直到此时，中国仍未放弃发展中以关系的愿望。周恩来总理当时表示，我们不应与一方建立友好关系而排斥另一方。
使中国从根本上改变对以色列立场的事件是1956年10月爆发的苏伊士运河危机。鉴于以色列对这场危机的立场，中国谴责以色列是“帝国主义在近东侵略政策的工具”。从此，中以关系进入了20年漫长的冻结时期。
在这一时期，一方面包括美国在内的西方国家与中国的关系逐渐解冻、发展，以色列也不像以前那样完全追随美国，另一方面则是阿以之间冲突不断，1967年和1973年的两次中东战争更使相互关系日益恶化，而中国和阿拉伯世界在政治、经济乃至军事方面的关系则在不断发展和加强。在这样的情况下，虽然以色列一再主动表示要与中国发展关系，但中国从反对以色列政府的“侵略扩张政策”和支持阿拉伯正义事业的原则立场出发，对以色列的积极主动态度则予以冷处理。然而，以色列为与中国早日建立外交关系，始终坚持承认中华人民共和国政府为中国唯一合法政府，坚持不与台湾当局发生政治、官方关系，坚持支持恢复中国在联合国的合法席位。所以，尽管在中以关系完全冻结的情况下，两国就双边关系本身而言，并没有出现什么严重的问题。
鉴于1955年4月以来以色列对同中国建交再没有发生过动摇，故中以建交的主动权和决定权实际上始终掌握在中国手里。中国“特殊时期”结束后，与包括西方国家在内的世界上大多数国家的关系都逐步得到了恢复、改善和发展。另一方面，随着埃及与以色列达成了和解，阿以关系也出现了一些积极变化。这些都为中以关系的逐渐解冻产生了一定的积极影响。
但以色列与整个阿拉伯世界的严重对立依然存在，中国的立场依然是继续支持阿拉伯人民的正义事业，同时中国考虑到众多阿拉伯国家在联合国等国际组织内及在台湾等问题上对中国的政治、外交支持以及中国与广大阿拉伯国家富有成效的经贸合作，如当时中阿年贸易额已达到十几亿美元，中国在阿拉伯国家的劳务人员已有数万人之众，中国不希望因发展对以关系而失去阿拉伯世界。因此，中国调整对以色列的政策只能是逐步“微调”，与以色列改善和发展关系也只能小步走，而每走一步都要将阿拉伯一大片这个因素考虑进去。
1977年以来，中国开始调整对以政策，以逐步恢复与以关系。到1991年，中国调整对以政策主要表现在如下三个方面。
第一是为中以关系解冻作舆论准备。在这一段时期，谴责“犹太复国主义”和“以色列侵略扩张政策”的提法从中国的报刊上逐渐消失了，而代之以向以色列及中东问题有关各方逐步发出中国调整对以关系及中东政策的信息。1977年10月，埃及总统萨达特访问以色列，遭到其他阿拉伯国家的反对，而中国的媒体则明确支持阿以和解，支持通过政治手段解决中东问题。中国方面表示这一立场是1956年以来的第一次。
1980年7月，中国提出解决巴勒斯坦问题的三原则，其中一条的内容是“中东各国应该普遍享有独立和生存的权利”，这实际上表示中国承认了以色列的存在。1988年9月，中国提出中国关于解决中东问题的5点主张，除中东问题政治解决、召开国际和平会议、支持各方对话、巴以相互承认及阿拉伯与犹太两个民族和平共处等内容外，还包括以色列必须撤出被占领土，同时以色列的安全也应得到保障。这就比1980年的三条又前进了一步。
第二是与以色列发展在经贸、科技、文化等领域的民间交流与合作。在此期间，两国主要通过香港中转，由中间商来开展经贸合作。科技方面的交流与合作则更显成效，尤其在航空、医药、化工、水利、农业及其他一些高科技领域，双方合作发展较快。文化和社会科学方面的交流也逐渐起步，两国学者相继实现了互访。1989年，中国允许持以色列护照的人入境，此后来华旅游的以色列人日益增多。此外，两国一些政党和社团也进行了一些互访，如自1987年起，以色列共产党总书记、统一工人党总书记，还有以色列工党及以色列争取中东和平国际中心，都先后组团访问了中国。中国国际交流协会的代表团也访问了以色列。
第三是与以方的官方接触逐步开展并逐步升级。从1987年3月至6月，中国常驻联合国代表李鹿野、外交部西亚北非司司长朱应鹿等官员先后在纽约和瑞士分别会见了以色列外交部总司长塔米尔和以外长政策顾问诺维克，就发展两国关系和提高会晤级别等问题进行了磋商。同年9月30日，吴学谦外长在纽约会见了以色列外长佩雷斯。如此高级别的会晤，是两国关系史上的第一次。1989年1月，中国外长与以色列新任外长阿伦斯在巴黎会晤，提出了两国常驻联合国代表可以保持接触，同时以此作为双方联系渠道的建议，并表示中以关系的发展取决于中东形势和以色列政策的变化。
在双方的共同努力下，1989年8月中国国际旅行总社驻特拉维夫办事处成立。次年6月，以色列科学和人文学院驻北京联络处成立。这标志着两国关系不但已经恢复，而且发展到了一个前所未有的水平。1991年3月，以色列外交部总司长摩哈夫秘密访华，同中方商谈提高上述两个处的职能问题。同年5月，中国外交部西亚北非司司长王昌义秘密访以，双方商定将两处提高到半官方地位。
1991年10月30日,中东和会在西班牙首都马德里举行。这是中东形势发展中的一个重大事件，也是当时国际上发生的重大事件之一。这是自1978年“戴维营协议”签署以来中东和平进程中出现的一次重大突破,受到国际社会的普遍欢迎和密切关注。
中东和会的召开为中以加速建交进程提供了大好契机，使两国实现建交终于水到渠成。首先,鉴于阿以冲突有关各方已经打破长期不接触、不谈判的僵局,坐到一起举行面对面的谈判,谋求通过和平途径解决争端,中国作为联合国安理会的一个常任理事国和与中东关系密切的大国，现在面临着如何参与中东和平进程的问题,而要真正参与进去,在阿以双方做促和工作并切实发挥积极作用,不实现中以关系正常化显然是说不通的。
其次,在中东和平进程日益发展的情况下，东欧及独联体国家乃至蒙古等国纷纷与以色列建交，中国与时俱进与以色列实现关系正常化将是顺理成章的事。同时，在新形势下阿拉伯国家对其他国家与以色列建交的心理承受能力也有所增强，故中以建交也不会引起阿拉伯国家的强烈反应。还有，鉴于美国政界有一个相当有影响的犹太院外集团，若中以实现建交，将有利于中方做该集团的友好工作，从而促进中美关系的进一步发展。
1991年11月，外交部西亚北非司司长王昌义在中国驻约旦大使馆主持召开了中国驻有关中东国家的使节会议，分析了中东形势的最新发展，并着重讨论了中以建交问题。亚非司中东处处长刘振堂和我(亚非司一等秘书兼综合处副处长）也随王司长赴约旦出席了这次重要会议。会上，大家一致认为，与以色列建交的条件已经成熟，时机已经到来，应立即着手与以色列建立大使级外交关系。
正是在这样的形势下，中国外交部副部长杨福昌于1991年12月访问了以色列，就两国正式建立外交关系问题同以方进行了商谈，并达成协议草案。接着以色列副总理兼外交部长戴维·利维于1992年1月访华，于1月24日与中方正式签署建交联合公报，两国终于建立了大使级外交关系，从而揭开了中以两国及中华民族和犹太民族关系史上崭新的一页。
