Pondok Pesantren Syaichona Cholil Balikpapan mulai berdiri tahun 1990 setelah kepulangan KH. Muhammad Ali Cholil dari mendalami ilmu agama Islam. Pada mulanya, langkah awal perjuangan KH. Muhammad Ali Cholil didalam menyebarkan dakwah dan ajaran agama, dimulai dengan mendirikan masjid di Samarinda, Kalimantan Timur. Namun, dalam perkembangannya, ia pindah ke Kota Balikpapan. Di Kota Balikpapan, ia membangun masjid dan lembaga pendidikan pondok pesantren modern di lahan seluas 5 hektar. Pesantren tersebut diberi nama Pondok Pesantren Syaichona Cholil. Sedangkan masjid yang berada didalam kawasan pesantren tersebut diberi nama Masjid Al-Haramain. Semuanya berada dibawah naungan Yayasan Pendidikan Islam Syaichona Cholil.