W 1990 roku, w wieku 20 lat, został członkiem Czeskiej Partii Socjaldemokratycznej (CzSSD) a już w dwa lata później wybrano go na posła. W 1995 roku ówczesny lider CzSSD Milosz Zeman mianował go na przewodniczącego klubu poselskiego tej partii.
Najmłodszy premier Europy:
W 1998 roku, po wyborach wygranych przez socjaldemokratów, został wiceprzewodniczącym Izby Poselskiej a po pierwszej rekonstrukcji gabinetu - ministrem spraw wewnętrznych. W czasie pełnienia tej funkcji wielokrotnie przekraczał swoje kompetencje, np. uczestniczył w forsowaniu swojego człowieka na stanowisko szefa czeskiego Telecomu i wpływał na decyzję o wyborze szefa Czeskich Linii Lotniczych CzSA. Dziennik "Mlada Fronta Dnes" zarzucił także Grossowi, że jako szef MSW otoczył się ludźmi pełniącymi funkcje kierownicze w służbach ochrony porządku jeszcze przed aksamitną rewolucją w 1989 roku.
W 2004 roku, będąc p.o. przewodniczącego CzSSD, został mianowany przez Vaclava Klausa na premiera Czech. Eksperci oceniali, że zajmie się przekierowaniem rządu bardziej na lewą stronę, uwzględniając zobowiązania wobec liberałów i ludowców. Inni porównywali go do Tonego Blaira, twierdząc, że w drodze do budowy państwa socjalnego będzie poszukiwał nowatorskich rozwiązań.
Odejście:
W kwietniu 2005 roku został odwołany ze stanowiska po tym, jak nie potrafił wyjaśnić źródła pochodzenia swojego majątku. Nowy rząd uformował Jiri Paroubek. We wrześniu 2005 roku zrezygnował z funkcji przewodniczącego CzSSD i odszedł z polityki.