1927 yılında İstanbul’da doğdu. Galatasaray Lisesi’nde başladığı orta öğrenimini ABD’de tamamladı. Kökleri Muhammed’in torunu Hüseyin’e kadar gittiği iddia edilen Mardinizade ailesine mensuptur ve baba tarafından Betül Mardin ve Arif Mardin’in kuzenidir. Stanford Üniversitesi Siyasal Bilimler Bölümü mezuniyetinin ardından lisansüstü eğitimini Johns Hopkins Üniversitesi’nde yaptı. Doktorasını Stanford Üniversitesi’nde Hoover Institute’de “The young Ottoman movement: a study in the evolution of Turkish political thought in the nineteenth century” başlıklı tezle savundu. Aynı tezin genişletilmiş halini 1962 yılında Princeton University Press’ten “The Genesis of The Young Ottoman Thought” adıyla bastırdı. Bu konu üzerindeki çalışmalarını 1964 yılında çıkan diğer eseri “Jön Türklerin Siyasi Fikirleri: 1895-1908” (Türkiye İş Bankası Yayınları) ile taçlandırdı. Bu iki çalışma sonraki çalışma alanını tayin etti ve Türk Modernleşmesi problematiğini genişletecek ayrıntılı makale çalışmaları ile devam etti. 1954-1966 yılları arasında dönemin önemli dergisi olan Forum’da yazarlık yaptı. Ankara Üniversitesi’nde 13 yıl hocalık yaptıktan sonra Boğaziçi Üniversitesi’nde İktisadi İdari Bilimler Fakültesi’nin kurucu Dekanlığını ve Sosyoloji Bölümü Başkanlığı yaptı (1973). Daha sonra yaklaşık 13 sene Washington’daki American University’de İslam Araştırmaları Merkezi Başkanlığını yürüttü. Sonra Türkiye’ye Sabancı Üniversitesi’ne Tanzimat Dönemi Türk Düşüncesi hakkındaki çalışmalarını geliştirecek bir programın başına döndü. 2011 yılında Emeritus statüsü verilmiş, hâlen aynı fakültede çalışmaktadır. İnsan, tarih, sosyoloji, popüler kültür konularında her Pazar yayınlanan Gerçek Orada Bir Yerde adlı sohbet programında, Oğuz Haksever’in yönetiminde Gündüz Vassaf ve Murat Belge ile birlikte yer aldı. 1961- 1972 yılları arasındaki dönemde Ankara Üniversitesi Siyasal Bilgiler Fakültesi’nde Doçent ve ardından Profesör unvanları ile akademik yaşamını sürdüren Şerif Mardin, Türkiye’de ve yurt dışında birçok üniversitede misafir profesör olarak akademik ve idari hizmetlerde bulunmuş, 1967-1970 yılları arasında Türkiye Sosyal Bilimler Derneği kurucu başkanlığı görevini yürütmüştür. 1973-1991 yılları arasında Boğaziçi Üniversitesi iktisadi idari Bilimler Fakültesi’nin kurucu dekanı ve Siyaset Bilimi Bölümü’nde Profesör olarak görevler alarak Türkiye’deki sosyal bilimsel düşün açısından çok önemli katkılarda bulunmuştur. 1957 yılında Hürriyet Partisi’nde genel sekreterlik görevini üstlendiği dönemde 1954-1966 yılları arasında yazılarının yayınlandığı ve dönemin en önemli dergilerinden biri olan Forum Dergisi’ndeki yazarlık faaliyetlerine başlamıştır (Kayalı 1983). 1958-1961 yılları arasında Princeton Üniversitesi fiark Çalışmaları Bölümü’nde Doktora Sonrası Araştırmacı 1960-1961 yılları arasında ise Harvard Üniversitesi, Orta Doğu Enstitüsü’nde araştırma bursu kapsamında çalışmalar yapmıştır. 1961- 1972 yılları arasındaki dönemde Ankara Üniversitesi Siyasal Bilgiler Fakültesi’nde Doçent ve ardından Profesör unvanları ile akademik yaşamını sürdüren Şerif Mardin, Türkiye’de ve yurt dışında birçok üniversitede misafir profesör olarak akademik ve idari hizmetlerde bulunmuş, 1967-1970 yılları arasında Türkiye Sosyal Bilimler Derneği kurucu başkanlığı görevini yürütmüştür. 1973-1991 yılları arasında Boğaziçi Üniversitesi iktisadi idari Bilimler Fakültesi’nin kurucu dekanı ve Siyaset Bilimi Bölümü’nde Profesör olarak görevler alarak Türkiye’deki sosyal bilimsel düşün açısından çok önemli katkılarda bulunmuştur. 1993 yılında ODTÜ Prof. Dr. Mustafa Parlar Eğitim ve Araştırma Vakfı Yılın Bilim Adamı Ödülünü (Prof. Dr. Tekin Dereli ile birlikte)aldı. 1967–1970 yıllarında Türkiye Sosyal Bilimler Derneği (TSBD) kurucu başkanlığı yaptı..Yine 1994 yılında Yeni Demokrasi Hareketi (YDH) kurucu üyesi olarak geçici bir dönem siyasete girdi. Stanford Üniversitesi, Boğaziçi Üniversitesi ve Sabancı Üniversitesi’nde öğretim üyeliği yapmıştır. Şerif Mardin, 2007 yılında Vatan Gazetesi’nden Ruşen Çakır’la yaptığı bir röportajda ‘mahalle baskısı’ kavramını ortaya attı. Bu kavramla, muhafazakarlaşan bir toplum içerisinde, bu muhafazkarlaşmanın baskın hale gelmesi durumunda “dini” bir hayat tarzını benimsemeyenlerin kendilerini dışlanmış hissedeceklerini ve baskın hale gelen muhafazakarların değerlerinin ağirlık kazanabileceğini anlatmaya çalıştı.