中國與奧林匹克運動的聯(lián)系最早可以追溯到1894年。當時，中國清政府曾經(jīng)接到了希臘王儲和近代奧運會發(fā)起人皮埃爾?德?顧拜旦代表國際奧委會發(fā)出的邀請書。但由于昏庸的清政府不知"體育"為何物而未作答復。
    1904年許多中國報刊曾報道過第三屆奧運會消息。
    1906年中國的一家雜志介紹了奧林匹克歷史。
    1907年10月24日著名教育家中國奧委會第一任主席張伯苓先生在天津學界運動會發(fā)獎儀式上，以奧林匹克為題發(fā)表了著名的演說。他指出，雖然許多歐洲國家獲獎機會甚微，但仍然派出選手參加奧運會。他建議中國組隊參加奧運會。
    1908年倫敦奧運會后，天津一家報紙再次介紹了奧林匹克運動的歷史，還提出要爭取這一盛會在中國舉行。天津體育界人士用幻燈展示了倫敦奧運會的盛況，舉辦了奧林匹克專題演講會。
    1910年10月18日至22日，在"爭取早日參加奧運會"和"爭取早日在中國舉辦奧運會"口號的鼓舞下，在南京舉辦了中國歷史上第一次全國運動會--"全國學校區(qū)分隊第一次體育同盟會"。
    1913年開始舉辦的遠東運動會（最初名為"遠東奧林匹克運動會"），是奧林匹克運動在亞洲的先驅，中國是發(fā)起者之一。在遠東運動會上中國運動員取得了較好的成績，表現(xiàn)了良好的體育道德。
    1915年國際奧委會致電遠東運動會組委會，承認了遠東體協(xié)，并邀請中國參加下屆奧運會和奧委會會議。
    1922年，我國的王正廷當選為國際奧委會委員。
    1924年中華全國體育協(xié)進會成立后，中國陸續(xù)加入了田徑、游泳、體操、網(wǎng)球、舉重、拳擊、足球、籃球等8個國際單項體育聯(lián)合會。 在第8屆奧運會上，我國3名選手參加了表演賽。
    1928年第9屆奧運會上，我國派觀察員宋如海參加，并進行了考察工作。
    1931年，當時的中華全國體育協(xié)進會被國際奧委會承認為"中國奧林匹克委員會"。中國正式參加奧運會的歷史由此開始。
    1932年，第10屆奧運會在美國洛杉磯舉行。我國本不想派選手參加，僅由全國體育協(xié)進會總干事沈嗣良前往觀禮。而日本帝國主義扶持的偽滿，為了騙取世界各國的承認，竟然電告國際奧委會：擬派劉長春、于希渭作為"滿州國"選手參加奧運會。舉國一片嘩然，劉長春也予以拒絕。在強大的輿論壓力下，國民黨政府決定，劉長春、于希渭作為運動員，宋君復為教練員，沈嗣良為領隊，代表中國參加奧運會。在開幕式上，劉長春執(zhí)旗前導，沈嗣良、宋君復以及中國留學生和美籍華人劉雪松、申國權、托平等6人組成了中國代表團。于希渭因日方阻撓破壞，未能成行。劉長春在100米、200米預賽中位于小組的第五、六名，未能取得決賽權，但他以我國第一位參加奧運會的選手而留名于中國奧運會史。
    1936年，第11屆奧運會在德國柏林舉行。中國派出了140人組成的代表團，其中運動員69人，參加籃球、足球、游泳、田徑、舉重、拳擊、自行車等7個項目的比賽。另外，還有11人的武術表演隊和34人組成的體育考察團。其中籃球比賽勝過法國隊，撐竿跳選手符寶盧取得復賽權。中國武術隊的多次表演轟動了歐洲。
    1945年抗日戰(zhàn)爭勝利后，中國第一位國際奧委會委員王正延和體育家袁敦禮、董守義等人提出請求第15屆奧運會（1952年）在中國舉行，引起了國人的興奮。
    1948年，第14屆奧運會在英國倫敦舉行。我國派出了33名男運動員參加了籃球、足球、田徑、游泳和自行車等5個項目的比賽，但沒有一人進入決賽。奧運會結束后，代表團在當?shù)厝A僑總會的幫助下，解決了路費，運動員才得以返回祖國。
    1952年，第15屆奧運會在芬蘭的赫爾辛基舉行。中國正式接受邀請較晚，只派出了40人的代表團，可當代表團到達赫爾辛基時，比賽已接近尾聲。只有吳傳玉參加了百米仰泳比賽，但是將五星紅旗升起在赫爾辛基奧林匹克體育場，就是新中國的驕傲。
    1954年在雅典舉行的國際奧委會第50屆全會上，國際奧委會以23票贊成21票反對通過決議，接受中國奧委會，中華人民共和國在國際奧委會中的合法地位得到承認。但是，與此同時，以當時的國際奧委會主席美國人布倫戴奇為首的少數(shù)人的操縱之下，卻又將臺灣所謂的“中華奧委會”繼續(xù)保留在國際奧委會承認的成員名單上，繼續(xù)搞“兩個中國”。中國奧委會于1958年8月19日宣布斷絕與國際奧委會的關系。
    1956年到1979年間，中國奧委會沒有派代表參加奧運會。但是中國臺北選手楊傳廣在1960年羅馬奧運會上奪取十項全能比賽的銀牌。他是第一位獲得奧運會獎牌的中國運動員。1968年墨西哥城奧運會上，臺北女選手紀政獲80米欄銅牌，她是第一位獲得奧運會獎牌的中國女子運動員。