Nielsen, z pochodzenia Kanadyjczyk, większość życia spędził w Stanach Zjednoczonych. Był naturalizowanym Amerykaninem ale nigdy nie zrzekł się obywatelstwa Kanady, gdzie rozpoczęła sie jego kariera aktorska.

Był trzecim synem Ingvarda Nielsena, oficera kanadyjskiej policji federalnej RCMP o duńskich korzeniach i Maybelle – z pochodzenia Walijki. Jego brat Erick był znanym politykiem kanadyjskim.

Początkowo Nielsen występował w rolach filmowych amantów, często grał czarne charaktery. Debiutował w nieudanym filmie "The Vagabond King" po którym został zaangażowany przez wytwórnię Metro-Goldwyn-Meyer gdzie wystąpił w klasycznym już filmie fantastyczno-naukowym "Zakazana planeta".

Do historii kina przeszedł jednak jako aktor komediowy, który stworzył niezapomniane kreacje w "Czy leci z nami pilot", "Nagiej broni", "Szklanką po łapkach". W 1988 roku otrzymał swoją gwiazdę na Hollywood Walk of Fame. W 2002 roku został uhonorowany Orderem Kanady. Zmarł 28 listopada 2010 roku w szpitalu w Fort Lauderdale, wskutek powikłań po zapaleniu płuc.