Connery, 1930'da Edinburgh, İskoçya'da doğdu. Babası fabrika işçisi, annesi ise ev temizlikçisiydi. Connery, 13 yaşında okulu bıraktı ve sütçü olarak çalışmaya başladı. Daha sonra Kraliyet Donanması'na katıldı ve burada üç yıl görev yaptı.
Connery'nin oyunculuk kariyeri 1950'lerin başında İngiliz filmlerinde bir dizi küçük rolde yer almasıyla başladı. Büyük çıkışını 1962'de Dr. No filminde James Bond rolünü üstlenmesiyle gerçekleştirdi. Film büyük bir başarı elde etti ve Connery kısa sürede dünyanın en popüler aktörlerinden biri haline geldi.
Connery, James Bond'u altı filmde daha oynamaya devam etti; bunlar arasında Rusya'dan Sevgilerle (1963), Goldfinger (1964), Thunderball (1965), You Only Live Twice (1967), Diamonds Are Forever (1971) ve Never Say Never Again yer alıyor. (1983). Ayrıca 1960'larda ve 1970'lerde Büyük Kaçış (1963), Doğu Ekspresinde Cinayet (1974) ve Kral Olacak Adam (1975) dahil olmak üzere bir dizi başka başarılı filmde rol aldı.
1980'lerde Connery'nin kariyeri düşmeye başladı. Outland (1981), Never Say Never Again (1983) ve The League of Extraordinary Gentlemen (2003) gibi pek çok kötü karşılanan filmde rol aldı. Ancak Dokunulmazlar (1987), Indiana Jones ve Son Haçlı Seferi (1989) ve The Rock (1996) filmlerindeki rolleriyle bazı eleştiriler aldı.
Connery, 2006 yılında oyunculuktan emekli oldu. Çalışmalarıyla aralarında Akademi Ödülü, iki BAFTA Ödülü ve üç Altın Küre Ödülü'nün de bulunduğu çok sayıda ödül aldı. Ayrıca 2000 yılında Kraliçe II. Elizabeth tarafından şövalye unvanına layık görüldü.