Abbasi Madani nació en Sidi Okba en 1931. Pasó su infancia en su aldea natal, donde su padre era imam. Ya joven se unió al PPAMTLD de Messali Hadj, comprometiéndose en el movimiento de liberalización nacional. Encargado de la misión de poner bombas en los locales de radio Argel, fue detenido el 17 de noviembre de 1954 y encarcelado durante siete años.
Tras la independencia se vinculará a la asociación de los Valores islámicos, desde donde se denunciaban las orientaciones laicas del FLN. En los años setenta preparó su doctorado en Ciencias de la Educación en Inglaterra. En los ochenta, tras las revueltas de octubre de 1988 sugerirá la creación del Frente Islámico de Salvación, cuya constitución definitiva se anuncia en febrero de 1989, con él como vocero.
Madani representará al sector más político del FIS frente a Ali Benhadj, representante del sector radical del movimiento.