İstanbul’da doğdu. Ayan Meclisi üyeliği ve Trablusgarp valiliği yapan Kafkasya (Abhazya) kökenli Aşharuva Mehmed Muzaffer Paşa’nın oğludur. Trablusgarp Askerî Rüşdiyesi’ni ve Heybeliada Bahriye Mektebi’ni bitirdi (1899). Deniz subayı olarak Osmanlı donanmasına katıldı. 1908’de Sisam ayaklanmasını bastırmakla görevlendirilen deniz kuvvetlerinde torpido kruvazör kumandanıydı. Yarbay rütbesine terfi edip Bahriye Nezâreti Erkân-ı Harbiyye reisliği görevine getirildi. Tuna Milletlerarası Komisyonu’nda Türkiye’yi temsil etti. Balkan Savaşı’nın Karadeniz ve Akdeniz’de yürütülen deniz muharebelerinde Hamidiye kruvazörünün komutanı olarak görev yaptı. Savaşlarda elde ettiği başarılar sebebiyle “Hamidiye kahramanı” unvanıyla anıldı. Bu alandaki şöhreti onu siyasete yöneltti ve Müşir Ahmed İzzet Paşa kabinesinde Bahriye nâzırlığına getirildi. Ancak askerî ve siyasî alanda gösterdiği bu başarılar yanında Osmanlı Devleti için bir hezimet belgesi olan Mondros Mütarekesi’ni Osmanlı Devleti’nin Bahriye nâzırı sıfatıyla imzalamak zorunda kaldı. Mütarekenin ardından Osmanlı Devleti’nin paylaşımı için işgaller başladı. Mütareke hükümlerinin uygulanışında İngiliz hükümeti ve komiserlerinin yaptıkları istismar üzerine Rauf Bey, Mustafa Kemal ve Fethi Bey (Okyar) ile temasa geçti. Damad Ferid Paşa kabinesinin bu olaylar karşısında hareketsiz kalması üzerine askerlik mesleğini bıraktı. Bu muhalefeti, 17 Kasım 1924’te Halk Fırkası’na karşı kurulan Terakkiperver Cumhuriyet Fırkası’nın kurucuları arasında yer almasıyla daha ileri bir boyuta ulaştı. Rauf Bey, Abdülhak Adnan Adıvar’la birlikte Terakkiperver Cumhuriyet Fırkası’nın ikinci başkanlığına getirildi. 1926’da Ankara İstiklâl Mahkemesi tarafından Mustafa Kemal’e suikast girişimi olarak bilinen İzmir suikastı davasıyla bağlantılı olduğu gerekçesiyle yargılandı. O sırada tedavi amacıyla İngiltere’de bulunduğu için gıyaben on yıl sürgün cezasına çarptırıldı. Bu kararı kesinlikle kabul etmedi. Cumhuriyet’in onuncu yılında çıkarılan affa rağmen bir süre Türkiye’ye gelmedi. 1935’te ısrar üzerine ülkeye geri döndü. 1926 yılında hakkında İstiklâl Mahkemesi tarafından verilen karar değiştirilmedikçe milletvekilliğini kabul etmeyeceğini bildirmesi üzerine ilgili mahkûmiyet kararı iptal edildi ve 22 Ekim 1939 tarihinde yapılan ara seçimde Kastamonu milletvekili olarak yeniden Türkiye Büyük Millet Meclisi’ne girdi. II. Dünya Savaşı sırasında Türkiye’nin İngiltere’yle ilişkilerinin hassas olduğu bir dönemde 1942’de Londra’ya büyükelçi gönderildi. Bu görevinde Türkiye’yi II. Dünya Savaşı’nın dışında tutma hedefine yönelik diplomatik misyonunu yerine getirdi. 1944’te kendi isteğiyle bu görevinden ayrıldı. 1949 yılında yapılan ara seçimlere bağımsız aday olarak katıldıysa da seçilemedi. Daha sonraki yıllarda siyasetten uzak kaldı ve 16 Temmuz 1964 tarihinde öldü.