中國與奧林匹克運(yùn)動(dòng)的聯(lián)系最早可以追溯到1894年。當(dāng)時(shí)，中國清政府曾經(jīng)接到了希臘王儲(chǔ)和近代奧運(yùn)會(huì)發(fā)起人皮埃爾?德?顧拜旦代表國際奧委會(huì)發(fā)出的邀請書。但由于昏庸的清政府不知"體育"為何物而未作答復(fù)。
    1904年許多中國報(bào)刊曾報(bào)道過第三屆奧運(yùn)會(huì)消息。
    1906年中國的一家雜志介紹了奧林匹克歷史。
    1907年10月24日著名教育家中國奧委會(huì)第一任主席張伯苓先生在天津?qū)W界運(yùn)動(dòng)會(huì)發(fā)獎(jiǎng)儀式上，以奧林匹克為題發(fā)表了著名的演說。他指出，雖然許多歐洲國家獲獎(jiǎng)機(jī)會(huì)甚微，但仍然派出選手參加奧運(yùn)會(huì)。他建議中國組隊(duì)參加奧運(yùn)會(huì)。
    1908年倫敦奧運(yùn)會(huì)后，天津一家報(bào)紙?jiān)俅谓榻B了奧林匹克運(yùn)動(dòng)的歷史，還提出要爭取這一盛會(huì)在中國舉行。天津體育界人士用幻燈展示了倫敦奧運(yùn)會(huì)的盛況，舉辦了奧林匹克專題演講會(huì)。
    1910年10月18日至22日，在"爭取早日參加奧運(yùn)會(huì)"和"爭取早日在中國舉辦奧運(yùn)會(huì)"口號(hào)的鼓舞下，在南京舉辦了中國歷史上第一次全國運(yùn)動(dòng)會(huì)--"全國學(xué)校區(qū)分隊(duì)第一次體育同盟會(huì)"。
    1913年開始舉辦的遠(yuǎn)東運(yùn)動(dòng)會(huì)（最初名為"遠(yuǎn)東奧林匹克運(yùn)動(dòng)會(huì)"），是奧林匹克運(yùn)動(dòng)在亞洲的先驅(qū)，中國是發(fā)起者之一。在遠(yuǎn)東運(yùn)動(dòng)會(huì)上中國運(yùn)動(dòng)員取得了較好的成績，表現(xiàn)了良好的體育道德。
    1915年國際奧委會(huì)致電遠(yuǎn)東運(yùn)動(dòng)會(huì)組委會(huì)，承認(rèn)了遠(yuǎn)東體協(xié)，并邀請中國參加下屆奧運(yùn)會(huì)和奧委會(huì)會(huì)議。
    1922年，我國的王正廷當(dāng)選為國際奧委會(huì)委員。
    1924年中華全國體育協(xié)進(jìn)會(huì)成立后，中國陸續(xù)加入了田徑、游泳、體操、網(wǎng)球、舉重、拳擊、足球、籃球等8個(gè)國際單項(xiàng)體育聯(lián)合會(huì)。 在第8屆奧運(yùn)會(huì)上，我國3名選手參加了表演賽。
    1928年第9屆奧運(yùn)會(huì)上，我國派觀察員宋如海參加，并進(jìn)行了考察工作。
    1931年，當(dāng)時(shí)的中華全國體育協(xié)進(jìn)會(huì)被國際奧委會(huì)承認(rèn)為"中國奧林匹克委員會(huì)"。中國正式參加奧運(yùn)會(huì)的歷史由此開始。
    1932年，第10屆奧運(yùn)會(huì)在美國洛杉磯舉行。我國本不想派選手參加，僅由全國體育協(xié)進(jìn)會(huì)總干事沈嗣良前往觀禮。而日本帝國主義扶持的偽滿，為了騙取世界各國的承認(rèn)，竟然電告國際奧委會(huì)：擬派劉長春、于希渭作為"滿州國"選手參加奧運(yùn)會(huì)。舉國一片嘩然，劉長春也予以拒絕。在強(qiáng)大的輿論壓力下，國民黨政府決定，劉長春、于希渭作為運(yùn)動(dòng)員，宋君復(fù)為教練員，沈嗣良為領(lǐng)隊(duì)，代表中國參加奧運(yùn)會(huì)。在開幕式上，劉長春執(zhí)旗前導(dǎo)，沈嗣良、宋君復(fù)以及中國留學(xué)生和美籍華人劉雪松、申國權(quán)、托平等6人組成了中國代表團(tuán)。于希渭因日方阻撓破壞，未能成行。劉長春在100米、200米預(yù)賽中位于小組的第五、六名，未能取得決賽權(quán)，但他以我國第一位參加奧運(yùn)會(huì)的選手而留名于中國奧運(yùn)會(huì)史。
    1936年，第11屆奧運(yùn)會(huì)在德國柏林舉行。中國派出了140人組成的代表團(tuán)，其中運(yùn)動(dòng)員69人，參加籃球、足球、游泳、田徑、舉重、拳擊、自行車等7個(gè)項(xiàng)目的比賽。另外，還有11人的武術(shù)表演隊(duì)和34人組成的體育考察團(tuán)。其中籃球比賽勝過法國隊(duì)，撐竿跳選手符寶盧取得復(fù)賽權(quán)。中國武術(shù)隊(duì)的多次表演轟動(dòng)了歐洲。
    1945年抗日戰(zhàn)爭勝利后，中國第一位國際奧委會(huì)委員王正延和體育家袁敦禮、董守義等人提出請求第15屆奧運(yùn)會(huì)（1952年）在中國舉行，引起了國人的興奮。
    1948年，第14屆奧運(yùn)會(huì)在英國倫敦舉行。我國派出了33名男運(yùn)動(dòng)員參加了籃球、足球、田徑、游泳和自行車等5個(gè)項(xiàng)目的比賽，但沒有一人進(jìn)入決賽。奧運(yùn)會(huì)結(jié)束后，代表團(tuán)在當(dāng)?shù)厝A僑總會(huì)的幫助下，解決了路費(fèi)，運(yùn)動(dòng)員才得以返回祖國。
    1952年，第15屆奧運(yùn)會(huì)在芬蘭的赫爾辛基舉行。中國正式接受邀請較晚，只派出了40人的代表團(tuán)，可當(dāng)代表團(tuán)到達(dá)赫爾辛基時(shí)，比賽已接近尾聲。只有吳傳玉參加了百米仰泳比賽，但是將五星紅旗升起在赫爾辛基奧林匹克體育場，就是新中國的驕傲。
    1954年在雅典舉行的國際奧委會(huì)第50屆全會(huì)上，國際奧委會(huì)以23票贊成21票反對(duì)通過決議，接受中國奧委會(huì)，中華人民共和國在國際奧委會(huì)中的合法地位得到承認(rèn)。但是，與此同時(shí)，以當(dāng)時(shí)的國際奧委會(huì)主席美國人布倫戴奇為首的少數(shù)人的操縱之下，卻又將臺(tái)灣所謂的“中華奧委會(huì)”繼續(xù)保留在國際奧委會(huì)承認(rèn)的成員名單上，繼續(xù)搞“兩個(gè)中國”。中國奧委會(huì)于1958年8月19日宣布斷絕與國際奧委會(huì)的關(guān)系。
    1956年到1979年間，中國奧委會(huì)沒有派代表參加奧運(yùn)會(huì)。但是中國臺(tái)北選手楊傳廣在1960年羅馬奧運(yùn)會(huì)上奪取十項(xiàng)全能比賽的銀牌。他是第一位獲得奧運(yùn)會(huì)獎(jiǎng)牌的中國運(yùn)動(dòng)員。1968年墨西哥城奧運(yùn)會(huì)上，臺(tái)北女選手紀(jì)政獲80米欄銅牌，她是第一位獲得奧運(yùn)會(huì)獎(jiǎng)牌的中國女子運(yùn)動(dòng)員。