法国本土面积约54万平方公里，在海外拥有1200多万平方公里的殖民地，其中大部分集中在非洲北部和中部。法国人崇尚自由和平等，但他们并不认为在海外拥有殖民地有什么不妥。直到现在还有人认为西方国家奉行数百年的殖民地政策促进了当地文明的进步。
1940年7月，当自由法国初具规模时，戴高乐考虑下一步如何扩大它的影响力。他优先考虑的是北部非洲。戴高乐曾给摩洛哥总督诺盖斯写过一封信，劝说他加入自由法国。诺盖斯一开始反对向纳粹德国投降，他犹豫了三天，最终因孤立无援不得不投靠维希政府。
诺盖斯的部下中有很多人同情戴高乐，他们暗中与自由法国保持着联系。1940年7月英国实施“弩炮行动”后，这些人的立场发生了改变。与此同时贝当领导的维希政府也向摩洛哥当局施压，逼迫这些人不得不屈服。
此时德国还没有进入北非，意大利在利比亚和非洲东部的埃塞俄比亚集结了重兵，英国在北非的军队则收缩在非洲东北部采取守势。戴高乐在北非寻找不到落脚点，遂将目光投向了中部非洲。
1940年8月，一个五人小组分头进入赤道非洲。他们都是戴高乐的心腹，包括后来担任法国总理的普利文、让·帕朗、布瓦斯朗贝尔、拉米纳尔和法军骁将勒克莱尔，他们将分别潜入尼日利亚、乍得、喀麦隆和中非刚果，目的是策动上述殖民地领导人加入自由法国。
8月26日，乍得总督和军事长官共同宣布加入自由法国，前一天刚刚抵达那里的普利文批准了他们的要求。
8月27日，勒克莱尔和布瓦斯朗贝尔在黄金海岸登陆。尽管当地英军不支持他们，但二人找来了独木舟，带着几名随从抵达杜阿拉。勒克莱尔宣布自己为当地长官，并于次日进入喀麦隆首都雅温得，顺利接管了整个喀麦隆。
同样在8月28日这一天，中非刚果驻军指挥官德朗日带兵进入首都，逼迫当地长官交出职权。后者虽然不满，但无力反抗只能就范。
得到消息的中非总督立即致电戴高乐，宣布加入自由法国。就在手下军官们想要抵抗时，拉米纳尔及时赶到，说服了亲维希政府的军官们。
加蓬总督胡松见局势发生逆转，也宣布归附自由法国。
这就是自由法国津津乐道的“光荣三日”，他们终于在非洲找到了立脚点。尽管维希政府立即采取了反制措施，导致加蓬总督胡松又改变了立场，但相邻的乍得、中非刚果和喀麦隆依旧牢牢地掌控在自由法国手中。
“光荣三日“出乎戴高乐的预料，其实那段时间他把主要精力放在了塞内加尔的达喀尔。19世纪中叶，法国人占领了这里，将它建设成非洲西海岸最大的港口，也是法军的一座重要海军基地。法国战败后，德国人有意接管达喀尔港，作为潜艇和军舰的补给基地。
英国方面清楚达喀尔的作用，所以希望得到自由法国方面的配合，在落入德国人手里前拿下达喀尔港。戴高乐起初并不情愿，因为这违背了“不与法国军队作战”的原则，但他估计即便没有自由法国的支持，英国人也同样会采取行动。犹豫之际，丘吉尔作出承诺：英军占领达喀尔之后会把它交给自由法国，以帮助戴高乐在非洲取得立锥之地。此时“光荣三日”还没有发生，戴高乐欣然同意。
1940年8月31日，英法联合舰队从利物浦出发前往非洲。这支舰队的指挥官是英国海军上将坎宁安，戴高乐也一同前往，他在“西陆号”客轮上设立了自己的司令部。
临行前戴高乐收到了几个好消息——因为支持自由法国而被解职的越南总督卡特鲁即将抵达英国，与戴高乐会合；英国情报机构送来了一份报告，显示达喀尔70%的卫戍部队支持自由法国，20%保持中立，只有10%效忠维希政府。
戴高乐看到这份报告后感到振奋，跟随舰队出发前他给卡特鲁留下一封信，里面写道：“当你看到这封信时，我已带着部队、船只、飞机和英国的支持去达喀尔了，我对这次行动充满信心。”
与戴高乐志得意满相比，英法联合舰队的行动在一开始就缺乏专业性。这次行动需在保密状态下实施，只有这样才能达成对达喀尔的突袭效果。但是当舰队离港前，大批政府要员、家属来到港口为他们送行。一个装满《告达喀尔公民书》传单的箱子摔坏了，里面的传单被海风吹的到处都是，他们出征的消息也不胫而走。
9月9日，在德国的许可下，维希政府海军司令弗朗索瓦·达尔朗派出一支由6艘巡洋舰组成的舰队，由布拉盖指挥从土伦港出发驶向达喀尔。他们的任务是阻止自由法国在非洲的行动，并在可能的情况下夺回乍得、中非刚果和喀麦隆。达喀尔当地驻军也已经接到命令，准备抗击英国人的入侵。
布拉盖的舰队在出发后6个小时就被英国驻摩洛哥的情报部门侦悉。消息立即传回了伦敦，同时驻直布罗陀的英军也接到通知：72小时内一支维希政府海军将通过直布罗陀海峡。此时德军正在对英国实施“海狮计划”，德国空军从9月初开始对伦敦实施恐怖轰炸，整个伦敦城陷入一片混乱。这条消息9月12日才交到海军部手中，那时法军舰队已经穿过直布罗陀海峡驶向卡萨布兰科，当他们穿越海峡时，没有接到命令的英国海军还送出了“一路平安”的祝福。
丘吉尔知道此事后，认为行动已经失去突然性，英军在实力上也不占优势。他给坎宁安发去了取消计划的命令，不过他还特别强调：取消行动必须得到戴高乐的同意。
戴高乐不想放弃这个机会，坎宁安其实也不想，于是他们给伦敦回电：继续执行夺取达喀尔的计划。英国内阁见前线将领坚持，遂也收回“取消行动”的命令。
结束这场纷争后，两支舰队竟然在大西洋上相遇了。英国海军首先发现法国的三艘巡洋舰，随即进入战斗准备。戴高乐给布拉盖发了一封电报，劝说他率领舰队加入自由法国。后者犹豫了5个小时，最终还是拒绝了戴高乐。他率领3艘军舰径自驶向达喀尔，让另外3艘巡洋舰返回了卡萨布兰卡。就这样英法联合舰队消除了海上威胁，而维希法国海军司令达尔朗得知此事后，立即将布拉盖解职。
“海上奇遇”让戴高乐增加了夺取达喀尔的信心，他甚至认为只要自己出现在达喀尔，就会促成当地驻军放下武器。
他太乐观了。
9月23日，舰队抵达达喀尔附近海域，立即遭到维希法军的还击，自由法国的两架飞机被击落，一艘汽艇被击伤。9月24日，双方发生激烈炮战，多艘英军军舰被击伤。8月25日，坎宁安集中所有舰炮向达喀尔港发动了一次猛烈进攻，维希法军不甘示弱，予以还击。一艘法国潜艇发射的鱼雷击中英战列舰“决心号”，坎宁安为避免该舰倾覆，下令退出战斗。
“进攻达喀尔”是自由法国实施的第一个军事行动，结果以失败收场。英国新闻界对戴高乐进行了口诛笔伐，将所有责任都推给了他，即便丘吉尔出面为他辩护也无济于事。维希政府也抓住机会，他们通过报纸和广播大肆宣传，声称取得了一场伟大的胜利。甚至远在大洋彼岸的美国媒体也开始奚落他。
戴高乐没有料到行动失败会造成如此恶劣的影响，当他和坎宁安决定停止进攻时，还能保持泰然自若，但是得知各方反应后也变得意志消沉，他后来写道：“当时的心情极度抑郁，差点自杀。”
不过自由法国内部没有人职责他，身在喀麦隆的勒克莱尔和中非的拉米纳尔发来效忠的电报。在这种情况下，戴高乐决定前往喀麦隆的杜阿拉与勒克莱尔等人会和。10月8日，当英法联合舰队抵达那里时，受到英雄般的欢迎。随后他又巡视了乍得和中非，到处都是鲜花和掌声。戴高乐一扫心中阴霾，决心在非洲大干一场。
此时自由法国在非洲掌握着一支近两万人的部队，经过充分准备后，戴高乐决定先解决反复无常的加蓬总督胡松。他命令拉米纳尔和让·帕朗并分两路，分别从喀麦隆和中非刚果出发，命令勒克莱尔率领一支部队经海路攻入加蓬。同时坎宁安的舰队负责掩护海上安全，防止维希法国海军赶来支援。
这次行动非常顺利，自由法国军队仅用了两个星期就解决战斗，胡松自知无法重新获得戴高乐的信任，以自缢的方式结束了生命。
至此，自由法国将乍得、喀麦隆、中非刚果和加蓬四块海外殖民地连成一片。他们有领土有军队，已经是一支不容忽视的政治力量。
自由法国在非洲的蓬勃发展给丘吉尔出了一个难题。到底是继续支持戴高乐，还是携手实力远在自由法国之上但已经向德国低头的维希政府？虽然英国政府在8月7日已经与自由法国签署协议，但在战时内阁中，如何对待法国还是存在分歧。丘吉尔寄希望于戴高乐，哈利法克斯勋爵希望和维希政府保持正常关系，并试图让贝当疏远德国；还有的人观点与丘吉尔相近，但他们不支持戴高乐，而是一直想寻找他的替代者。
丘吉尔的态度并不单纯，他希望自由法国跟其他流亡政府一样，处于英国的有效控制之下，可戴高乐的特立独行，以及希望与英国平起平坐的姿态让丘吉尔很不满。至于贝当，他领导的是投降政府，而且内部也纷争不断。
贝当手下有三个重要助手：海军司令达尔朗、副总理赖伐尔、国防部长魏刚。三人中搞政治出身的赖伐尔更愿意跟德国人合作，武将出身的达尔朗和魏刚则试图恢复法国的战前地位。在彼此间的勾心斗角中，赖伐尔占了上风。9月，他把魏刚排挤出核心，贬赴北非担任总督。
1940年10月初，达尔朗鼓动贝当将赖伐尔逮捕，并跟英国取得联系，希望恢复正常关系，双方随后在马德里展开谈判。出于对戴高乐的尊重，丘吉尔把英国与维希法国会谈的情况及时通报给了他。戴高乐这一次没有生气，他不相信贝当能摆脱德国，与后者敌对的英国恢复关系。
果不其然德国得知此事后，要求贝当立即释放赖伐尔。80多岁的贝当不得不拖着残躯远赴德国求见希特勒。10月24日，贝当宣布与德国展开全面“合作”，被戏弄的英国这才终止了和维希法国的谈判。
戴高乐决定趁热打铁，他在中非刚果首都布拉柴维尔发布了一系列文件。在一份宣言中，他宣布维希政府违宪、叛国投敌，已经丧失了合法性；在一份法令中他宣布成立国家委员会，行使政府职权；另一份法令中他任命卡特鲁、米塞利耶和德拉米纳担任国家委员会委员，其本人则出任委员会主席；在一份组织章程中，他向法国人保证，一旦法国选出自己的代表，他的行动将向代表们负责。
与此同时他向英国政府发去照会，要求他们明确表达对维希法国的态度。
1940年底，戴高乐是带着喜悦的心情启程赶回伦敦的。非洲几个殖民地的局势已经稳定下来，贝当政府和英国渐行渐远，这都凸显出自由法国的地位。他准备回去跟丘吉尔摊牌，彻底让英国放弃维希法国。不过当他回到伦敦后发现自由法国内部出了问题。
时年不满30岁的德瓦弗林是自由法国情报工作的负责人。他化名“帕西”，在自由法国内部制定了严格的审查制度。帕西手下有个人叫梅弗尔，化名“霍华德”。帕西和霍华德一系列过火行为，把自由法国内部搞得人心惶惶，有人甚至选择出走，另起炉灶。
戴高乐回到伦敦时，负责海军的国防委员米塞利耶把这些情况告诉了戴高乐，并要求开除霍华德。起初戴高乐不同意，无奈米塞利耶坚持，最终还是同意了。
被踢走的霍华德对此事怀恨在心，他离开前给英国情报部门寄去了4封信，里面暗示米塞利耶是维希法国的间谍。英国情报部门在没有进一步核实的情况下，直接就把米塞利耶带走了。
1941年元旦夜，正在跟家人庆祝新年的戴高乐得知此事。次日他见到艾登，要求重新调查。很快霍华德的举报被证实是诬陷，戴高乐要求英国方面24小时内释放米塞利耶，并向英国政府提出抗议。
米塞利耶被释放了，丘吉尔也当着国王乔治六世的面向戴高乐表示了歉意。但此事并没有就此了结，米塞利耶认为整件事是戴高乐在搞鬼，借此打压自己。他要求戴高乐将帕西也逐出自由法国，并重构情报机构。戴高乐同意整顿情报部门，并成立新的“中央情报与行动局”，但他依旧信任帕西，继续由他负责这个部门。米塞利耶对此大为不满，二人的关系也越来越疏远，最终导致米塞利埃出走。
自由法国在这件事情上并非一无所得。1941年1月15日，他们与英国签订司法协定，规定自由法国在英国享有独立的司法权，没有自由法国的同意，英国政府无权逮捕法国公民。自由法国同时作出承诺，他们将秉持国际公法的原则审理有关案件。
除此之外，自由法国在1941年1月为自己争取到了更多的权力，他们设立了中央金库，自行负责一切财务的收入和支出，拥有货币发行权，英国则将英镑和法郎的汇率锚定在二战前的水平。
自1940年6月17日离开法国远赴英伦，戴高乐用半年的时间创建了自由法国，并让它拥有司法、财政、军事和情报方面的独立地位。1941年初，当他见到英国外交达成哈利法克斯时，已经可以充满自信的对眼前这位绥靖派代表人物宣布：“我就是法国！”
