Pada hari-hari terakhir hidupnya, Khalifah Abu Bakar sibuk bertanya pada banyak orang."Bagaimana pendapatmu tentang Umar?" Hampir semua orang menyebut Umar adalah seorang yang keras, namun jiwanya sangat baik. Setelah itu, Abu Bakar minta Usman bin Affan untuk menuliskan wasiat bahwa penggantinya kelak adalah Umar.
Tampaknya Abu Bakar khawatir jika umat Islam akan berselisih pendapat bila ia tak menuliskan wasiat itu.
Pada tahun 13 Hijriah atau 634 Masehi, Abu Bakar wafat dan Umar menjadi khalifah. Jika orang-orang menyebut Abu Bakar sebagai "Khalifatur- Rasul", kini mereka memanggil Umar "Amirul Mukminin" (Pemimpin orang mukmin). Umar masuk Islam sekitar tahun 6 Hijriah. Saat itu, ia berniat membunuh Muhammad namun tersentuh hati ketika mendengar adiknya,Fatimah, melantunkan ayat Quran.
Selama di Madinah, Umarlah –bersama Hamzah-yang paling ditakuti orang-orang Quraisy.Keduanya selalu siap berkelahi jika Rasul dihina. Saat hijrah, ia juga satu-satunya sahabat Rasul yang pergi secara terang-terangan. Ia menantang siapapun agar menyusulnya bila ingin "ibunya meratapi, istrinya jadi janda, dan anaknya menangis kehilangan."
Kini ia harus tampil menjadi pemimpin semua. Saat itu, pasukan Islam tengah bertempur sengit di Yarmuk -wilayah perbatasan dengan Syria. Umar tidak memberitakan kepada pasukannya bahwa Abu Bakar telah wafat dan ia yang sekarang menjadi khalifah. Ia tidak ingin mengganggu konsentrasi pasukan yang tengah melawan kerajaan Romawi itu.
Di Yarmuk, keputusan Abu Bakar untuk mengambil markas di tempat itu dan kecerdikan serta keberanian Khalid bin Walid membawa hasil. Muslim bermarkas di bukit-bukit yang menjadi benteng alam, sedangkan Romawi terpaksa menempati lembah di hadapannya. Puluhan ribu pasukanRomawi -baik yang pasukan Arab Syria maupun yang didatangkan dari Yunani-tewas. Lalu terjadilah pertistiwa mengesankan itu.
Panglima Romawi, Gregorius Theodore -orang-orang Arab menyebutnya "Jirri Tudur"– ingin menghindari jatuhnya banyak korban. Ia menantang Khalid untuk berduel. Dalam pertempuran dua orang itu, tombak Gregorius patah terkena sabetan pedang Khalid. Ia ganti mengambil pedang besar. Ketika berancang-ancang perang lagi, Gregorius bertanya pada Khalid tentang motivasinya berperang serta tentang Islam.
Mendengar jawaban Khalid, di hadapan ratusan ribu pasukan Romawi dan Muslim, Gregorius menyatakan diri masuk Islam. Ia lalu belajar Islam sekilas, sempat menunaikan salat dua rakaat, lalu bertempur di samping Khalid. Gregorius syahid di tangan bekas pasukannya sendiri. Namun pasukan Islam mencatat kemenangan besar di Yarmuk, meskipun sejumlah sahabat meninggal di sana. Di antaranya adalah Juwariah, putri Abu Sofyan.
Umar kemudian memecat Khalid, dan mengangkat Abu Ubaidah sebagai Panglima Besar pengganti. Umar khawatir, umat Islam akan sangat mendewakan Khalid. Hal demikian bertentangan prinsip Islam. Khalid ikhlas menerima keputusan itu. "saya berjihad bukan karena Umar," katanya. Ia terus membantu Abu Ubaidah di medan tempur. Kota Damaskus berhasil dikuasai. Dengan menggunakan "tangga manusia", pasukan Khalid berhasil menembus benteng Aleppo. Kaisar Heraklius dengan sedih terpaksa mundur ke Konstantinopel, meninggalkan seluruh wilayah Syria yang telah lima abad dikuasai Romawi.
