1896年，当首届现代奥运会在雅典拉开帷幕时，人们并不清楚奥运会能否持久地举办下去。虽然在1900年和1904年奥运会得以继续举办，但并不是主要的比赛项目。这两届奥运会分别是巴黎和圣路易斯世界博览会的一部分。一些参加过世界博览会的人最终在那里报名参加了奥运会。 20世纪初的奥林匹克运动会在努力地寻找自己的立足点，其中的一些项目对于今天的体育迷来说可能有些不同寻常。

由于第二届和第三届奥运会是与世界博览会混在一起，国际上许多有识之士均认为它们已背离了奥运会的本来意义，影响了奥林匹克运动的正常发展，于是希腊人于1906年在雅典举行了一次奥运会，因其处于第3、4届奥运会之间，故名为届间奥运会，但这届赛事并没有得到国际奥委会的承认。该届赛事引入了一个特色赛事-手枪决斗，类似于美国西部牛仔的一对一单挑，但选手们使用的子弹是蜡制的，而不是真正的子弹。具体来说，手枪决斗项目要求两位选手身着厚重外套，头戴铁面罩，在一定距离上互相对射。选手们使用的子弹是蜡制弹头，枪膛内并没有填装火药，仅单纯用底火推进，命中身体不同部位会得到不同的分数，但由于其特殊性和安全性问题，该项目在1912年斯德哥尔摩奥运会之后被取消。之后的射击比赛逐渐变成了人与靶纸之间的较量。

活鸽射击是奥运历史上一个非常独特且血腥的项目，仅在1900年巴黎奥运会中出现过一次。该项目的规则相对简单粗暴：参赛选手在规定时间内射杀尽可能多的活鸽，数量最多的选手获胜；如果选手连续打偏两次，则会被淘汰。整个比赛场地充满了血腥和混乱，鸽子被射杀后，羽毛和鸽血四处飞溅，场面极为惨烈。在1900年巴黎奥运会期间，共有300多只鸽子被射杀。最终，比利时选手Leon de Lunden以射下了21只鸽子的成绩赢得了这枚金牌。

拔河作为一项古老且简单易行的团体运动，曾是1900年至1920年间连续五届奥运会的正式比赛项目，在举行过的五届奥运拔河赛中，丹麦瑞典联队、美国队、英国队、瑞典队和英国队先后夺冠。然而，由于早期的拔河规则很不完善，例如会有选手穿着沉重的靴子参加拔河比赛，造成比赛中出现了许多争执，最终导致这项运动在1920年之后退出了奥运赛场。一个多世纪过去了，拔河爱好者仍在努力争取奥运会让这项运动回归，虽然这项运动不会正式出现在2024年巴黎夏季奥运会上，但会有一个示范项目。

1900年巴黎奥运会上首次出现了热气球比赛，该项目的评判标准主要包括飞行距离、飞行时间以及是否能够在指定地点降落。法国队凭借其出色的飞行技术和团队协作，在比赛中轻松获胜其中运动员亨利·德拉沃克斯（Henry de La Vaulx）从巴黎飞到了波兰（当时是俄罗斯的一部分），赢得了其中一次距离比赛的冠军。当他着陆时，俄罗斯警察以没有申请护照为由将他拘留。后来由于奥林匹克宪章新增了一项对机械化运动的禁令，热气球比赛再也没有机会进入奥运会的官方赛事中，这也是该赛事在现代奥运史上唯一的一次出现。

从1912年斯德哥尔摩奥运会开始，国际奥委会在奥运会中设置了建筑、绘画、雕塑、文学和音乐五项艺术比赛，这些被称为“缪斯五项艺术比赛”。有些人既参加体育比赛，也参加艺术比赛，有两个人甚至在两个赛场都获得了奖牌。美国人沃尔特-维南斯在1908年奥运会上获得射击金牌，1912年获得雕塑金牌。匈牙利人阿尔弗雷德-哈约什（Alfred Hajos）在1896年获得两枚游泳金牌，并在1924年巴黎奥运会上获得建筑银牌。

据说，国际奥委会之所以取消艺术比赛，是因为许多参赛者都是职业艺术家，而奥运会本应突出业余选手（即不因其运动或艺术天赋而获得报酬的人）。直到20世纪90年代，国际奥委会才开始允许职业运动员参赛。

从1896年第一届现代奥运会开始，一直持续到1932年洛杉矶奥运会，爬绳比赛曾是奥运会的正式比赛项目之一。在比赛中，运动员通常坐在起点处，当发令枪响后，他们开始用双手向上攀爬。比赛的评分标准包括攀爬的速度、姿势和高度等。例如，在1904年圣路易斯奥运会和1924年巴黎奥运会上，速度是唯一的评判标准；而在1924年，攀爬姿态成为主要的评分依据。不过爬绳项目由于其评分标准过于简单且缺乏技术含量，在1924年奥运会上出现了22名选手全部满分的情况，这使得该项目逐渐失去了竞技性。最终在1932年洛杉矶奥运会后被国际奥委会正式取消。