Awalnya rumah sakit ini didirikan sebagai Klinik Bersalin oleh Yayasan Pemeliharaan Karyawan Bank Pembangunan Indonesia (Bapindo) pada tanggal 1 Maret 1960 beralamat di Jl.Gereja Theresia no.22 Menteng Jakarta, untuk melayani keluarga karyawan dan masyarakat sekitar. Pada bulan Desember 1971 klinik tersebut ditingkatkan menjadi Rumah Sakit Bersalin dengan nama RSB YPK yang memiliki enam tempat tidur. Pada tahun 1978 YPK memperluas area RSB kebelakang sampai ke Jl.Lombok dan membangun gedung dua lantai untuk keperluan rawat inap (diresmikan tanggal 14 Agustus 1982).

Dengan bergabungnya Bapindo ke Bank Mandiri tahun 1999, YPK Bapindo dialihkan status kepemilikannya dari Bapindo kepada Bank Mandiri (sebagai pendiri substitusi) pada tanggal 31 Maret 2000 dan berganti nama menjadi Yayasan Kesehatan Bank Mandiri (disingkat Yakes Mandiri).

Oleh Yakes Mandiri bangunan bagian depan di Jl.Gereja Theresia di bongkar dan dibangun gedung baru berlantai tiga pada tahun 2008 (diresmikan tahun 2010) untuk memperluas ruang rawat jalan dan menambah ruang rawat inap kelas VIP dan VVIP. Nama RSB YPK diganti menjadi RSIA YPK Mandiri.

Sejalan dengan perkembangan jaman dan kebutuhan masyarakat, pada tahun 2017 RSIA YPK Mandiri meningkatkan cakupan layanannya dari Rumah Sakit Khusus menjadi Rumah Sakit Umum, namun dengan layanan unggulan tetap untuk ibu dan anak. RS YPK Mandiri telah beberapa kali mengikuti program akreditasi Kementerian Kesehatan RI oleh Komisi Akreditasi Rumah Sakit (KARS) dan oleh Standar Nasional Akreditasi Rumah Sakit (SNARS), lulus dengan predikat PARIPURNA. Adapun layanan unggulan RS YPK Mandiri yaitu Jakarta IVF, Jakarta Urogynecology Center, Endoscopic Gynecology Center, Maternity Care Center, Feminine Wellness, Child Health Care Service, Perinatology.