Selama berkuliah di RHS, Mohammad Yamin sangat aktif dalam misi perjuangan kemerdekaan Indonesia.
Ia juga kerap bergabung dan memimpin bermacam-macam organisasi yang punya visi dalam mencapai Indonesia Merdeka.
Beberapa organisasi yang diikutinya antara lain yaitu Yong Sumatramen Bond atau Organisasi Pemuda Sumatera pada tahun 1926 sampai dengan 1928.
Pada tahun 1928 tersebut, Mohammad Yamin juga masuk dalam Kongres Pemuda II untuk menyepakati penggunaan Bahasa Indonesia di tanggal 26 Oktober
Sedangkan pada tahun 1932 hingga 1938, Mohammad Yamin bergabung dan aktif di organisasi Partindo.
Mohammad Yamin juga sempat menjabat sebagai anggota Volksraad atau Dewan Perwakilan Rakyat.
Karena kecerdasan dan jejak pendidikannya yang luar biasa, Mohammad Yamin kerap menjabat dalam pemerintahan seperti Menteri Kehakiman pada tahun 1951.
Mohammad Yamin juga sempat menjadi Menteri Pengajaran Pendidikan dan Kebudayaan sejak tahun 1953 sampai 1955.
Selain itu juga, Mohammad Yamin juga pernah menjadi Ketua Dewan Pengawas IKBN Antara pada tahun 1961 sampai 1962 dam menjadi Ketua Dewan Perancang Nasional pada tahun 1962.