Kilka lat po studiach zapisał się do Komunistycznej Partii Słowacji. Po inwazji sowieckiej na Czechosłowację stracił członkostwo w niej za wspieranie Aleksandra Dubceka. Od tego momentu aż do 1990 roku wykładał w Instytucie Prawa Kryminalnego, Kryminologii i Praktyk Kryminologicznych na Wydziale Prawa Uniwersytetu Komeniusa w Bratysławie.
Po aksamitnej rewolucji Vaclav Havel mianował Gaszparowicza prokuratorem generalnym Czechosłowacji. Funkcję tę pełnił do marca 1992 roku, kiedy został wiceprzewodniczącym Czechosłowackiej Rady Legislacyjnej.
W 1992 wstąpił do Ruchu dla Demokratycznej Słowacji (HZDS) Valdimira Meciara i czerwcu tego samego roku został posłem. Przez sześć lat był przewodniczącym parlamentu.
W 2002 roku w proteście przeciw niedemokratycznym metodom działania Meciara opuścił HZDS i założył własne ugrupowanie Ruch dla Demokracji. Partia uzyskała jednak tylko 3,3 proc. głosów we wrześniowych wyborach i nie zdołała wejść do parlamentu. Gaszparowicz wrócił więc do pracy akademickiej.
W kwietniu 2004 roku Gaszparowicz wystartował w wyborach prezydenckich. Pierwszą turę wygrał Meciar, ale drugą - dzięki poparciu kandydatów, którzy odpadli - Gaszparowicz. 15 czerwca 2004 został zaprzysiężony na prezydenta Słowacji.
6 czerwca 2008 r. złożył wizytę w Senacie RP. Dzień później był gościem polskiego prezydenta Lecha Kaczyńskiego w jego nadmorskim ośrodku w Juracie.