Pendidikan Fahmi ditempuh di berbagai pesantren dan sekolah umum. Ia pernah mondok di Pesantren Al-Munawwir Krapyak sebelum melanjutkan studi di Fakultas Kedokteran Universitas Indonesia pada 1962.
Saat menjadi mahasiswa, Fahmi aktif di Pergerakan Mahasiswa Islam Indonesia atau PMII dan tercatat sebagai Ketua PC PMII DKI Jakarta pertama. Kiprahnya di organisasi mahasiswa Islam itu menjadikannya dekat dengan generasi muda NU.
Tak hanya aktif berorganisasi, Fahmi juga dikenal memiliki jiwa sosial tinggi. Ketika membuka praktik dokter di Jakarta, banyak kader PMII yang berobat kepadanya tanpa dipungut biaya. Bahkan, ia kerap membantu uang obat maupun transportasi bagi aktivis muda NU.
Di lingkungan Nahdlatul Ulama, Fahmi pernah menjadi Ketua PBNU selama tiga periode mendampingi Gus Dur. Ia termasuk tokoh penting dalam gerakan “Kembali ke Khittah 1926”, yang mengembalikan NU sebagai organisasi sosial keagamaan.
