Pondok Pesantren Syaichona Cholil Balikpapan mulai berdiri tahun 1990 setelah kepulangan KH. Muhammad Ali Cholil dari mendalami ilmu agama Islam.
Pada mulanya, langkah awal perjuangan KH. Muhammad Ali Cholil didalam menyebarkan dakwah dan ajaran agama, dimulai dengan mendirikan masjid di Samarinda, Kalimantan Timur. Namun, dalam perkembangannya, ia pindah ke Kota Balikpapan. Di Kota Balikpapan, ia membangun masjid dan lembaga pendidikan pondok pesantren modern di lahan seluas 5 hektar. Pesantren tersebut diberi nama Pondok Pesantren Syaichona Cholil. Sedangkan masjid yang berada didalam kawasan pesantren tersebut diberi nama Masjid Al-Haramain. Semuanya berada dibawah naungan Yayasan Pendidikan Islam Syaichona Cholil.
Nama Syaichona Cholil diadobsi dari nama tokoh Islam terkenal yang berjiwa mandiri dan tinggi nilai keimanan dan ketakwaannya yaitu Syaichona Cholil Bangkalan, yang tidak lain adalah leluhur dari KH. Ali Cholil sendiri.[1]
Seiring dengan perkembangannya, jaringan Pondok Pesantren Syaichona Cholil Balikpapan menyebar di seluruh Kalimantan Timur, seperti Samarinda, Penajam Paser Utara dan lain sebagiannya.