Những thế vận hội được nhiều người nói đến nhất là thế vận hội Berlin năm 1936. IOC đã bỏ phiếu cho Berlin vào năm 1931 trước khi các thành viên của Ủy ban này biết rằng đảng Quốc xã sẽ nhanh chóng nắm quyền điều hành nước Đức. Trong những năm đầu của những năm 1930, dưới luật lệ của Đức quốc xã , những vận động viên Đức - Do Thái đã bị loại ra khỏi đội tuyển Đức. Điều này đã vi phạm hiến chương Olympic khiến cho người Mỹ đòi tẩy chay thế vận hội 1936. Hoạt động tẩy chay đã thất bại bởi vì nhà lãnh đạo của Ủy ban Olympic Hoa Kỳ thời đó là Avery Brundage tin rằng các viên chức của Đức sẽ cho phép các vận động viên người Đức-Do Thái thi đấu.Thật vậy, nhưng chỉ có 2 vận động viên người Do Thái có mặt trong đội tuyển Đức tại thế vận hội Olympic 1936 .
Có nhiều cuộc tẩy chay thế vận hội đã xảy ra của nhiều quốc gia khác nhau. Năm 1956, các đội Ai Cập, Lebanon và Irag đã tẩy chay thế vận hội Melbourne để phản đối sự xâm lăng của Anh, Pháp lên đất nước họ và sự “có mặt” của Israel tại Trung Đông. Những cuộc tẩy chay lớn đã xảy ra vào các năm 1976, 1980 và 1984. Năm 1976, nhiều quốc gia Châu Phi yêu cầu New Zealand phải bị đuổi khỏi thế vận hội Montréal vì "cái tội" đội bóng bầu dục của họ đã “chơi xấu” đội Nam Phi (thời đó vẫn còn luật lệ của những người ủng hộ chủ nghĩa Apacthai). Khi IOC không đồng ý với những yêu cầu của các nước Châu Phi với lý do rằng bóng bầu dục không phải là môn thể thao Olympic (???), các vận động viên của 28 quốc gia Châu Phi đã được chính phủ của họ gọi về nước. Còn vấn đề về cuộc tẩy chay thế vận hội Matxcơva năm 1980 là sự xâm chiếm Afghanistan năm 1979 của Liên Xô. Mặc dù tổng thống Mỹ Jimmy Carter đã buộc USOC (Ủy ban Olympic Hoa Kỳ) phải từ chối lời mời tham dự thế vận hội Matxcơva, nhiều NOC (Ủy ban Olympic quốc gia) khác đã bất chấp những đề nghị của chính phủ để tẩy chay thế vận hội. Lúc đó tổng thống Carter đã hành động để làm thất bại thế vận hội Matxcơva (có tới 62 quốc gia tẩy chay thế vận hội ), và rõ ràng hành động này sẽ dẫn tới sự “trả đũa” của Liên Xô và đồng minh của họ. Và sự ‘trả đũa“ này đã xảy ra tại thế vận hội Los Angeles. Mặc dù Rumani đã gửi một đội tới tham dự nhưng 16 nước đồng minh của Liên Xô đã tẩy chay thế vận hội này.
Từ những năm 1940 đến những năm 1980, IOC cũng đã đụng phải những vấn đề chính trị bởi những mâu thuẫn của các quốc gia .Một vấn đề khó xử có liên quan tới đội Olympic Trung Quốc và Đài Loan là vì mâu thuẫn chính trị giữa một bên là nước Cộng hòa nhân dân Trung Hoa ở Đại Lục và một quốc gia gọi là Cộng hòa Trung Hoa ở đảo Đài Loan. Năm 1952 , IOC quyết định mời cả hai đội Trung Quốc và Đài Loan, nhưng mâu thuẫn chính trị đã dẫn tới việc tẩy chay thế vận hội hàng thập niên của Trung Quốc. Họ đã không gửi đội tuyển tham dự thế vận hội mãi cho đến thế vận hội Lake Placid năm 1980.
Một rắc rối chính trị khác là vào năm 1949, vì nước Đức bị phân chia thành hai thể chế chính trị khác nhau là Đông Đức và Tây Đức nên đã nảy sinh vấn đề là nên có một hay hai đội tuyển Đức. IOC cố gắng giải quyết vấn đề này bằng cách “năn nỉ” kết hợp đội tuyển Đông và Tây Đức làm một. Các cuộc đàm phán kéo dài trong nhiều năm và giải pháp này được thử nghiệm lần đầu tiên tại thế vận hội Melbourne 1956, nhưng sau đó đã tách ra. Mãi cho tới năm 1992, khi nước Đức thống nhất, cả hai đội này mới nhập lại làm một. IOC cũng đã từng phải đương đầu với sự phân biệt chủng tộc ở Nam Phi. IOC đã bỏ phiếu năm 1968 loại trừ đội Nam Phi ra khỏi thế vận hội nhằm làm áp lực buộc chính phủ nước này từ bỏ luật Apacthai. Mãi cho tới thế vận hội Barcelona 1992, khi đó chủ nghĩa Apacthai không còn tồn tại nữa, Nam Phi mới được tham dự.
Bạo lực cũng xảy ra tại các kỳ thế vận hội. Vào giữa kỳ thế vận hội Munich 1972, hoạt động của thế vận hội đã trải qua những giờ phút bi thảm nhất. Một nhóm khủng bố vũ trang người Palestin đã xâm nhập vào làng Olympic (nơi ở của các vận động viên của các nước trong thời gian diễn ra thế vận hội), giết chết hai thành viên của đội Israel và bắt đi 9 con tin. Trong khi IOC họp hội nghị khẩn cấp thì được tin một cuộc đấu súng đã nổ ra và tất cả 9 con tin cùng với 5 tên khủng bố bị giết chết, thế vận hội ngưng hoạt động một ngày. IOC quyết định thế vận hội vẫn diễn ra và đã được Israel tán thành.
Những tiến bộ gần đây
Trải qua nhiều thế kỷ với chiến tranh và xáo động chính trị, thế vận hội đã đạt được nhiều thành công trong những năm gần đây, thu hút nhiều công chúng hơn và thu được nhiều tiền hơn. Phần nhiều của sự thu hút công chúng và giàu có là nhờ sự phát triển của những phương tiện liên lạc vệ tinh và các chương trình truyền hình toàn cầu. Chẳng những càng ngày càng có nhiều người theo dõi thế vận hội mà còn có nhiều cơ hội phát triển việc bán bản quyền truyền hình thế vận hội với số tiền lên đến hàng trăm triệu đôla. Với các phần của thu nhập này , giờ đây các ủy ban tổ chức có thể tổ chức những thế vận hội hoành tráng mà không sợ phải gánh chịu những khoảng nợ khổng lồ giống như ủy ban tổ chức thế vận hội Montréal Canada năm 1976. Có nhiều tiền hơn, IOC cũng có thể trợ cấp để phát triển các môn thể thao ở các quốc gia kém phát triển. Thế vận hội cũng trở nên lệ thuộc vào các công ty đa quốc gia vì các công ty này luôn sẵn sàng chi ra hàng triệu đôla để trở thành nhà tài trợ chính thức của thế vận hội và dùng biểu tượng của thế vận hội để quảng cáo sản phẩm của họ. Điều này đã khiến cho hoạt động thế vận hội bị thương mại hóa.
Một vấn đề nghiêm trọng khác là việc dùng thuốc để nâng cao thành tích trong thế vận hội (còn gọi là doping), đặc biệt là đồng hóa xteroit và hoóc-môn tăng trưởng của người. Các loại thuốc này bị cấm nhưng các vận động viên vẫn nghĩ rằng họ cần phải dùng chúng nếu phải thi đấu với trình độ Olympic. Sau khi nước Đức thống nhất vào năm 1990 , bằng chứng về những gì mà những người quan sát nghi ngờ được đưa ra là : hơn 20 năm qua , NOC của Đông Đức đã cung cấp thuốc nâng cao thành tích một cách có hệ thống cho các vận động viên chuyên nghiệp của họ. Từ 1968, IOC đã giải quyết vấn đề này bằng việc lập một Ủy ban chịu trách nhiệm trong việc phát hiện và phạt những người nào sự dụng các loại thuốc cấm đó. Nhờ những nỗ lực này mà nhiều vận động viên Olympic đã bị bắt và hủy bỏ tư cách tham dự Olympic, thế nhưng việc dùng các loại thuốc cấm vẫn không chấm dứt.
Năm 1999 ban lãnh đạo của IOC bắt đầu cải cách phương pháp lựa chọn các thành phố đăng cai thế vận hội . Các thay đổi xảy ra sau khi có phát hiện nhiều quan chức của IOC đã vi phạm lời thề trong hiến chương Olympic bởi họ bị cho là đã nhận những khoản chi trả bằng tiền mặt và những món quà “bồi dưỡng” bất chính từ các thành phố tranh cử quyền đăng cai thế vận hội .Các vi phạm đã xảy ra khi thành phố Salt Lake, Utah thắng lợi tại thế vận hội mùa đông 2002. Và thành phố này vẫn được quyền đăng cai nhưng nhiều quan chức của Ủy ban tổ chức địa phương đã từ chức và nhiều người của IOC đã bị đuổi trong vụ bê bối.
Những hạn chế về các hạng mục tổ chức tại Olympic
Không phải môn nào cũng được tổ chức tại Olympic, ví dụ môn bóng bầu dục được toàn nước Mỹ ưa chuộng không có trong Olympic. Tất cả do Hiến chương Olimpic quy đinh về các hạng mục được đưa vào Olympic là:
- Các hạng mục thi đấu chính thức trong Olimpic phải được Ủy ban Olimpic quốc tế thừa nhận, do Ủy ban Liên hợp thể thao từng hạng mục quản lý.
- Các nội dung thi đấu nam tại Olimpic mùa hè cần được triển khai rộng rãi bởi 75 quốc gia và 4 châu lục. Còn các nội dung nữ cần được triển khai tại 45 quốc gia và 3 châu lục. Các nội dung tại Thế vận hội mùa đông cần phải được triển khai rộng tại ít nhất 25 quốc gia và 3 châu lục.
- Các hạng mục này cần được xác dịnh 7 năm trước khi thế vận hội tổ chức. Xác định một ngày rồi thì không thay đổi nữa.
