Andreas Zihlmann lebt in Marbach und startete für den örtlichen Sportclub. Zunächst betrieb er Skilanglauf. Hier hatte er sein erstes bedeutendes Rennen 1998 im Rahmen der Juniorenweltmeisterschaften in Pontresina, wo er 56. über 10 Kilometer Freistil wurde, ein Jahr später in Saalfelden 46. über 30 Kilometer Freistil. Es folgten ab 1999 weitere Rennen im Continental Cup sowie in FIS-Rennen. Insbesondere in FIS-Rennen erreichte er häufig gute Platzierungen. 2000 folgte ein erstes Rennen im Skilanglauf-Weltcup. In Ulrichen wurde Zihlmann 61. über 10 Kilometer Freistil. Es war zugleich das beste Einzelergebnis bei seinen sieben Weltcup-Starts zwischen 2000 und 2003, zwei davon in Staffelrennen. 2001 gewann er den Titel über 30 Kilometer klassisch bei den Schweizer Meisterschaften in Langis. Kurz darauf startete er auch bei den Militär-Skiweltmeisterschaften 2001 in Colchester und wurde 47. über 15 Kilometer Freistil. Ein Jahr später kam er in Kranjska Gora auf den 44. Platz. Zudem siegte er bei Schweizer Meisterschaften fünfmal mit der Marbacher Staffel (1998, 2000, 2001, 2003, 2004).
2004 folgte Zihlmanns Wechsel zum Biathlonsport. Noch gegen Ende der Saison 2003/04 debütierte er am Gurnigel im Biathlon-Europacup und gewann in Sprint und Verfolgung als 22. sogleich erste Punkte. Mit den Militär-Skiweltmeisterschaften 2004 in Östersund folgte schon eine erste internationale Meisterschaft. Den Sprint beendete als 73., mit Christoph Schinder, Roland Zwahlen und Matthias Simmen wurde er zudem Siebter im Militärpatrouillenlauf. Seit der Saison 2004/05 kam Zihlmann regelmässig im Europacup zum Einsatz. In Langdorf verpasste er als Viertplatzierter nur knapp hinter Michael Rösch eine Podiumsplatzierung. Es sollte das beste Ergebnis seiner 29 Europacup-Rennen bleiben. Schon mehrere Wochen zuvor kam er in Oberhof an der Seite von Simon Hallenbarter, Matthias Simmen und Roland Zwahlen zu seinem einzigen Einsatz im Biathlon-Weltcup und erreichte in diesem Staffelrennen Rang zehn. Seinen grössten nationalen Erfolg hatte er bei den Schweizer Meisterschaften im Biathlon 2005, als er die Abwesenheit der Nationalkaderathleten nutzen konnte und vor Claudio Böckli und Ivan Joller im Einzel Schweizer Meister wurde. 2006 folgte noch einmal ein Vizetitel hinter Joller im Massenstartrennen. Den letzten Wettkampf seiner Karriere bestritt Andreas Zihlmann, wie bei seinem Debüt, am Gurnigel, und beendete den Massenstart auf Position sechs.