Hoffer begann seine Profifußballer Karriere bei Admira Wacker Mödling, wo er von 2004 bis 2006 in der Kampfmannschaft spielte. Seinen Spitznamen „Jimmy“ erhielt er auf Grund einer ihm von einem früheren Trainer bei der Admira nachgesagten Ähnlichkeit mit dem ehemaligen US-amerikanischen Gewerkschaftsführer Jimmy Hoffa.

Der junge Stürmer konnte aufgrund seines Torinstinktes und seiner Schnelligkeit vor allem im Saisonfinish 2005/06 bei der Admira mit Toren auf sich aufmerksam machen. Seinen ersten Einsatz in der Bundesliga verzeichnete Hoffer im Spieljahr 2004/05. Im Juni 2006 wechselte er zum österreichischen Bundesligakonkurrenten SK Rapid Wien, wo er den in die Türkei abgewanderten Stürmer Muhammet Akagündüz ersetzte.

2006 erreichte er, nicht zuletzt dank seiner vier erzielten Tore, mit der österreichischen U-19-Auswahl das Semifinale bei der U-19-Europameisterschaft in Polen. Die Niederlage im Halbfinalspiel gegen Spanien verpasste er allerdings auf Grund einer Gelbsperre. 2007 wurde er bei der U20-Weltmeisterschaft in Kanada Vierter.

Mittlerweile konnte sich der Stürmer auch bei Rapid als Stammspieler etablieren und gab sein A-Länderspieldebüt in der Österreichischen Fußballnationalmannschaft beim 0:0 gegen Paraguay am 2. Juni 2007 im Gerhard-Hanappi-Stadion. In der Saison 2007/2008 erzielte Hoffer beim 7:0-Auswärtserfolg Rapids gegen den FC Red Bull Salzburg drei Tore. Wenige Spiele später wurde er noch vor Ende der Saison erstmals in seiner Karriere österreichischer Meister.