Menurut cerita, kononnya Kg Padang Gajah telah wujud sejak kewujudan Kerajaan Gangga Negara di Beruas sekitar tahun 1800. Pada masa itu pemerintah kerajaan tersebut dikatakan mendapat perlindungan daripada Kerajaan Siam. Sebagai balasan, Kerajaan Beruas menghantar ufti yang berupa bunga emas kepada Kerajaan Siam setiap tahun dengan satu rombongan bergajah. Rombongan ini telah menjadikan satu kawasan lapang di kampung ini sebagai satu perhentian tetap, bagi merehatkan gajah-gajah mereka, sebelum meneruskan perjalanan. Lantaran itu, kampung ini dinamakan Kg Padang Gajah. Kawasan lapangan tersebut akhirnya dijadikan padang permainan Sekolah Padang Gajah (tapak lama) yang sekarang ini dijadikan Tadika Kemas Padang Gajah. Begitulah ceritanya.
