1903年俱乐部最初是作为毕尔巴鄂竞技足球俱乐部的分支俱乐部，当时是身穿蓝白球衣，到1911年球队改为红白竖条球衣，深蓝色球裤，因此也得到了一个昵称床单军团，因为西班牙当时大部分的床单是红白色竖条纹的。
1921年俱乐部正式从毕尔巴鄂竞技独立出来，到了1923年建成了俱乐部第一座球场，在1939/40赛季球队获得第一座联赛锦标，在此之前已经在乙级联赛踢了几年。
1950年4月15日俱乐部主教练以约合七千万欧元从政府手中买下当时球队租用的主场首都体育场，球员也受到感召在场上奋勇向前，他们在二十二场联赛中攻入八十七个进球，这一年球队再次卫冕了西班牙甲级联赛冠军。
但是由于在收购球场中投下巨资，那个赛季以后，马德里竞技不得不通过出售球员来缓解经济危机。在许多机枢球员走后，马德里竞技队的成绩开始下滑，再加上主力门将不时的伤病严重的影响了他的竞技状态，1951/52赛季球队仅仅位列西甲联赛的第四名。
坏运气并没有在1952/53赛季消散，由于不断的伤病和严重的阵容不整，球队令人失望的获得了第八名的排名，球队几年以来积累的王者的霸气逐渐消散！接下来的赛季更是跌倒了联赛第十一名。
在连续两年排名联赛第五名后，与俱乐部同龄的主席决定加大投入来提高竞技队的成绩。1957/58赛季尚未开打之前，匈牙利巨星皮特加入马德里竞技，球队最终以三分的劣势落后于皇家马德里队，夺得1957/58赛季的亚军。在雷厉风行的主席带领下，马德里竞技筹划着组建一支梦之队夺取更多的荣誉，来纪念刚刚过去的俱乐部五十周年大庆。
1956年马德里竞技的同城死敌皇家马德里夺得了首届欧洲冠军杯冠军在欧洲名声大噪，西班牙的球队受到鼓舞，纷纷全力备战冠军杯。1958年马德里竞技也因为排名上赛季第二而参加1958年冠军杯，首轮就以八比零狂屠了爱尔兰联赛冠军。
在1959/60赛季开始之前，马德里竞技开始在上赛季阵容的基础上进行调整和补充，以求让球队的攻守能够更平衡，但也许是多个位置的调整使球队感到不适，1959/60赛季球队仅仅获得了第五名的成绩，这其中几次裁判关键的误判对球队的最终的成绩不佳产生不小的影响。不过值得安慰的是，马德里竞技在一路冲杀到国王杯决赛后，在1960年6月26日举行的决赛中三比一击溃死敌皇家马德里队，马德里竞技也捧起了俱乐部历史上第一座国王杯奖杯。