Sejak itu Yamin mulai aktif mengemukakan gagasan tentang persatuan Indonesia.
Yamin menggunakan keahliannya sebagai seorang sastrawan dan penyair untuk menyatukan para pemuda melalui bahasa. Dia kemudian mengusulkan penggunaan bahasa Melayu sebagai bahasa persatuan dalam Kongres Pemuda I.
Gagasan Yamin tertuang dalam pidato yang berjudul "Kemungkinan Bahasa-bahasa dan Kesusastraan di Masa Mendatang".
"Saya yakin seyakin-yakinnya bahwa bahasa Melayu lambat laun akan menjadi bahasa pergaulan dan bahasa persatuan yang ditentukan untuk orang Indonesia. Dan kebudayaan Indonesia masa depan akan mendapatkan pengungkapannya dalam bahasa itu," demikian pidato Yamin, dikutip dari buku Cendekiawan dan kekuasaan dalam negara Orde Baru (2003).
Pidato itu mendapatkan respons baik dari para pemuda yang hadir dalam kongres. Mereka tertarik terhadap pemaparan Mohammad Yamin, terutama mengenai persatuan.
Baca juga: Manfaat yang Bisa Diambil dari Makna Sumpah Pemuda
Akan tetapi, dalam Kongres Pemuda I para pemuda belum sepakat menyatukan diri ke dalam sebuah organisasi payung.
Mohammad Yamin menolak dilakukannya fusi organisasi pemuda. Dia lebih memilih membentuk federasi dari perkumpulan-perkumpulan yang ada.
Sebab, perkumpulan masing-masing daerah lebih bisa bergerak bebas tanpa adanya sebuah aturan yang melekat.
Di sisi lain, pidato Mohammad Yamin tentang pentingnya menggunakan sebuah bahasa untuk persatuan banyak dibicarakan para pemuda saat itu.
Baca juga: Alasan Sumpah Pemuda Menjadi Puncak Pergerakan Nasional
Sikap Yamin yang menolak penyatuan organisasi pemuda tetap bertahan hingga menjelang pembukaan Kongres Pemuda II dibuka pada 27 Oktober 1928 di Batavia. Yamin saat itu menjabat sebagai Sekretaris Kongres.
Walau demikian, Yamin disebut tetap memiliki semangat akan persatuan Indonesia. Dia tetap berharap semangat persatuan tetap ada namun tak menghilangkan kekhasan tiap daerah.
Dengan harapan Kongres Pemuda II menghasilkan sebuah kesepakatan yang berdampak luas, Yamin mulai menuliskan gagasan tentang "Sumpah Pemuda".
Dia menuangkan pemikirannya ke dalam sebuah kertas. Kertas berisi catatannya itu kemudian dia sodorkan kepada Soegondo Djojopoespito, yang saat itu menjabat Ketua Kongres.
"Ik heb een eleganter formulering voor de resolutie (Saya punya rumusan resolusi yang elegan)," kata Yamin kepada Soegondo, dikutip dari buku Mengenang Mahaputra Prof. Mr. H. Muhammad Yamin Pahlawan Nasional RI (2003).
Baca juga: 4 Nilai Luhur yang Terkandung dalam Sumpah Pemuda
Rumusan itu kini dikenal dengan nama Sumpah Pemuda, yang berbunyi: