Connery urodził się w Edynburgu w Szkocji w 1930 roku. Jego ojciec był pracownikiem fabryki, a matka sprzątaczką domową. Connery opuścił szkołę w wieku 13 lat i rozpoczął pracę jako mleczarz. Później dołączył do Royal Navy, gdzie służył przez trzy lata.
Kariera aktorska Connery'ego rozpoczęła się na początku lat pięćdziesiątych, kiedy wystąpił w kilku małych rolach w filmach brytyjskich. Przełom w jego karierze nastąpił w 1962 roku, kiedy został obsadzony w roli Jamesa Bonda w filmie Doktor Nie. Film odniósł ogromny sukces, a Connery szybko stał się jednym z najpopularniejszych aktorów na świecie.
Connery nadal grał Jamesa Bonda w sześciu kolejnych filmach, w tym Z Rosji z miłością (1963), Goldfinger (1964), Piorun (1965), Żyje się tylko dwa razy (1967), Diamenty są wieczne (1971) i Nigdy nie mów nigdy więcej (1983). Zagrał także w wielu innych filmach, które odniosły sukces w latach 60. i 70., w tym w Wielkiej ucieczce (1963), Morderstwie w Orient Expressie (1974) i Człowieku, który byłby królem (1975).
W latach 80. kariera Connery'ego zaczęła podupadać. Zagrał w wielu słabo przyjętych filmach, w tym Outland (1981), Nigdy nie mów nigdy (1983) i Liga niezwykłych dżentelmenów (2003). Jednak zdobył uznanie krytyków za role w Nietykalnych (1987), Indiana Jones i ostatnia krucjata (1989) i The Rock (1996).
Connery zakończył karierę aktorską w 2006 roku. Za swoją twórczość otrzymał wiele nagród, w tym Oscara, dwie nagrody BAFTA i trzy Złote Globy. W 2000 roku otrzymał także tytuł szlachecki od królowej Elżbiety II.