Uważa się, że wyrażenie to powstało w Stanach Zjednoczonych w XIX wieku, kiedy szeryfami byli wybierani urzędnicy odpowiedzialni za egzekwowanie prawa w swoich hrabstwach. Kiedy wybierano nowego szeryfa, często powoływał on własnych zastępców i wprowadzał zmiany w sposobie egzekwowania prawa. Może to prowadzić do znaczących zmian w społeczności lokalnej, ponieważ nowy szeryf może mieć inne podejście do egzekwowania prawa lub może nadać priorytet innym kwestiom niż poprzedni szeryf.
Z biegiem czasu określenie „nowy szeryf w mieście” zaczęto stosować szerzej w odniesieniu do każdej nowej osoby sprawującej władzę, która wprowadza zmiany lub ma znaczący wpływ na swój obszar. Obecnie jest powszechnie używany w różnych kontekstach, takich jak polityka, biznes i sport.