Setelah dibebaskan pada tahun 1985, Zawahiri berangkat ke Arab Saudi.
Segera setelah itu, dia menuju Peshawar di Pakistan dan kemudian ke negara tetangga Afghanistan, di mana dia mendirikan faksi Jihad Islam Mesir saat bekerja sebagai dokter di negara itu selama pendudukan Soviet.
Zawahiri mengambil alih kepemimpinan Jihad Islam Mesir setelah muncul kembali pada tahun 1993, dan merupakan tokoh kunci di balik serangkaian serangan oleh kelompok tersebut terhadap menteri pemerintah Mesir, termasuk Perdana Menteri, Atif Sidqi.
Kampanye kelompok untuk menggulingkan pemerintah dan mendirikan negara Islam di negara itu selama pertengahan 1990-an menyebabkan kematian lebih dari 1.200 orang Mesir.
Pada tahun 1997, departemen luar negeri AS menobatkannya sebagai pemimpin kelompok Vanguards of Conquest - sebuah faksi Jihad Islam yang diduga berada di balik pembantaian turis asing di Luxor pada tahun yang sama.
Dua tahun kemudian, dia dijatuhi hukuman mati secara in absentia oleh pengadilan militer Mesir karena perannya dalam banyak serangan kelompok itu.