國際奧委會成立時，總部設在巴黎。１９１４年第一次世界大戰爆發，整個歐洲戰火彌漫。為了使奧林匹克運動珍貴的歷史資料和檔案免遭戰爭的破壞，１９１５年４月１０日總部遷到瑞士的洛桑。現在，洛桑有奧林匹克博物館、奧林匹克研究中心，有以顧拜旦名字命名的大街、體育場等。
１９８６年新建了總中大樓，正門用希臘大理石筑成，楣上鑲嵌著奧林匹克標志，樓內中央大廳墻上掛著瑞士著名畫家的２０多幅表現奧林匹克運動的油畫。二樓走廊內陳列著一些國家奧委會贈送的塑像。數十年來，洛桑為奧林匹克運動的發展做出了重大貢獻，被譽為“奧林匹克城”
國際奧委會行委員
國際奧委會行委員制。委員必須具備國際奧委會承認的國家或地區的公民資格，并居住在該國或地區。一般地說，一個國家只能有一名委員，但大國，奧林匹克運動積極參加國和主辦過奧運會的國家，至多可擁有兩名委員。委員必須能講英語或法語，他是國際奧委會派駐在其所承認的國家或地區奧委會的代表，而不是一個國家或地區在國際奧委會的代表。國際奧委會成立初期，委員是由顧拜旦指定的，以后國際奧委會自行遴選它認為合格的人士為委員。
１８９４年國際奧委會剛成立時，委員只有１４人，１９１４年為４９人，１９７４年為７８人，１９９２年９４人。９４人分布于７４個國家或地區，其中非洲１７人，亞洲１５人，美洲２０人，歐洲３８人，大洋洲４人。１９９３年為９１人。國際奧委會委員很長時間是清一色的男性，１９８１年方增選了第一批女委員。委員在７５歲時退休。
從國際奧委會成立到１９９２年，前后共有３９１名委員。１９６６年以前當選的委員是終生的，１９６６年以后的委員在７５歲時必須退休。委員為國際奧委會場服務滿１０年，由于年齡或健康等理由而退休，就成為名譽委員。他們的地位不變，但不再有投票權。
國際奧委會名譽委員包括名譽主席基拉寧，共有２４人
中國曾有６人被選為國際奧委會委員。１９２２年，王正廷成為國際奧委會中國第一個委員；１９３９年孔祥熙當選為國際奧委會委員；１９４７年董守義不當選為國際奧委會委員；１９８１年何振梁當選為國際奧委會委員。現是國際奧委會副主席。１９７０年徐亨當選為國際奧委會中國臺北委員。１９８８年吳經國被選為國際奧委會中國臺北委員。
