Kahramanmaraş'ın Afşin İlçesi'nin Berçenek Köyü'nde (şu anda ismi Tarlacık köyü) dünyaya geldi.

1955 yılında, sonradan Ankara'ya nakledilen Mersin Astsubay Okulu'na kaydoldu.

1960'ta eşi Suna'yı kaçırdı ve 6 ay köyünde kaldı. Bu sırada okulu Balıkesir'e nakledildi. Okul komutanının çabası ile yeniden okula dönen Aşık Mahzuni, 6 ay devamsızlık yaptığına ilişkin bir ihbar üzerine okuldan atılınca yeniden köyüne döndü. 1964 yılında ilk plağı ile müzik piyasasına girdi.

Bir süre Gaziantep'te ikamet ettikten sonra Ankara'ya taşındı. 1989-1991 yılları arasında Halk Ozanları Federasyonu tarafından Dünya'nın en büyük 3 ozanı arasında gösterildi.

Sivas Dramı adlı türküsünü, Sivas Katliamı'nda yaşamını yitirenlere ithaf etmiştir.

2001 yılının Kasım ayında kendisine, "Elhamdülillah Kızılbaş'ım ve laiğim. Ben değil, yedi sülalem Kızılbaştır. Bir suç varsa o da dedemdedir." dediği için, DGM tarafından aleyhinde dava açıldı. Duruşma 27 Aralık 2001 tarihinde DGM'de yapıldı.

2001'in başlarında rahatsızlanarak, kalp ve solunum yetmezliği nedeniyle, JFK Hospital'da yoğun bakım altına alındı. Mayıs ayında taburcu edildi. 17 Mayıs 2002 tarihinde, evli, sekiz çocuk, dört torun sahibi olan Mahzuni Şerif 60'lı yaşlarında Almanya'nın Köln şehrinde vefat etti. Vefat ettiğinde, DGM'deki davası henüz sonuçlanmamıştı.

Mezarı şu an son ikamatgâhı olan Hacı Bektaş Veli Külliyesi'nin yakınındaki Çilehane adı verilen bölgededir.

Türk halk müziği sanatçıları tarafından söz ve besteleri sıklıkla kullanılmıştır. Araştırmacı Yazar Battal Pehlivan'ın Aşık Mahzuni Şerif'in yaşamı ve sanatı üzerine yaptığı incelemenin adı Dom Dom Kurşunu idi. Dom Dom Kurşunu, Yedin Beni, Yuh Yuh, Fadimem, Gül Yüzlüm, Ciğerparem,Merdo,Dostum Dostum, Han sarhoş Hancı sarhoş, Çeşmi Siyahım,Yalan Dünya, Ağlasam mı?,Abur Cubur Adam, Katil Amerika ve Ekmek Kölesi gibi eserleriyle tanınan Aşık Mahzuni'nin türkülerini İbrahim Tatlıses'ten Ahmet Kaya'ya Mahsun Kırmızıgül'e Murat Göğebakan'dan Selda Bağcan'a kadar birçok Türk halk müziği ve bazı pop müzik sanatçıları da okudu. Halk şiirine gönül veren ve konuşma dilini şiirleştiren Aşık Mahzuni'nin 453 plağı, 50 kasedi ve yayınlanmış 9 adet kitabı bulunuyor. Ayrıca TRT tarafından çekilmiş 2 adet belgeseli bulunmaktadıır.