Sebuah kompleks olahraga yang akan disatukan dengan sebuah jalan besar lurus yang akan menghubungkan kawasan Monumen Nasional (Monas) dan pusat pemerintahan. Demikian gagasan Soekarno.
Pilihan akhir jatuh ke Senayan. Di sinilah cikal bakal pusat olahraga Ibu Kota dibangun. Kawasan Senayan masih relatif jauh dari pusat Jakarta sehingga dianggap lebih cocok sebagai pusat kegiatan olahraga.
Pada 19 Mei 1959, dimulailah pembebasan tanah dan pembongkaran bangunan.
Warga yang tergusur mencapai 60.000 orang. Namun, mereka memahami tindakan pemerintah karena yang dibangun adalah proyek internasional.
Wilayah Tebet, Slipi, dan Ciledug menjadi lokasi pindah bagi penduduk yang tergusur.
Pada 8 Februari 1960, Soekarno menancapkan tiang pancang pertama sebagai tanda pembangunan awal.
Kemudian, berlanjut pembangunan enam sarana olahraga dan empat tempat akomodasi untuk atlet.
Baca juga: Ikarus, Bus yang Seliweran Angkut Atlet pada Asian Games 1962 di Jakarta
Insinyur berkebangsaan Rusia sebagai perancangnya, dengan pelaksana dari Zeni TNI AD dan para teknisi muda Indonesia.
Harian Kompas, 26 Mei 1006, memberitakan, Istana Olah Raga (Istora) selesai dibangun pada 21 Mei 1961; Stadion Renang, Stadion Madya, dan dan Stadion Tenis pada Desember 1961; Gedung Basket pada Juni 1962, dan Stadion Utama pada 21 Juli 1962.
Untuk akomodasi atlet putra, dibangun Wisma Aneka I dan II, serta woman dormitory yang dinamai Wisma Hasta untuk atlet putri.
Sementara, untuk berkumpulnya wartawan, dibangun juga Wisma Warta.
Pada 21 Juli 1962. Soekarno didampingi oleh Wakil Perdana Menteri Uni Soviet Anastas Mikoyan membuka Stadion Utama pada gladi resik upacara pembukaan Asian Games IV.
Sejak 24 September 1962, pengelolaan kompleks olahraga ini diserahkan kepada Yayasan Gelora Bung Karno (YGBK).