Gauß studierte Germanistik und Geschichte in Salzburg und machte schon früh mit literarischen Essays auf sich aufmerksam, die er zunächst im "Wiener Tagebuch" veröffentlichte. Seit 1991 ist er Herausgeber und Chefredakteur der Literaturzeitschrift "Literatur und Kritik" im Otto Müller Verlag. Zudem schreibt Karl-Markus Gauß regelmäßig für deutschsprachige Tageszeitungen wie "Die Zeit", "Frankfurter Allgemeine Zeitung", "Neue Zürcher Zeitung", "Salzburger Nachrichten" und "Die Presse".
Die Bücherliste, die Gauß bisher vorgelegt hat, beginnt 1986 mit "Wann endet die Nacht. Über Albert Ehrenstein" und steht 2014 - 21 Bände später - bei "Lob der Sprache, Glück des Schreibens". Dazwischen hat sich Gauß vor allem mit seinen Reise-Büchern einen Fixplatz in der österreichischen Literatur erarbeitet. Texte wie "Die Hundeesser von Svinia", "Die sterbenden Europäer" oder "Die versprengten Deutschen" gelten als exemplarisch für die Auseinandersetzung mit Minderheiten verschiedener Ethnien."Lasse mich nicht zu einem Roman zwingen"Der Königsdisziplin der Literatur, dem Roman, hat sich Gauß hingegen stets verweigert. "Ich habe autobiografisch gefärbte, europäische Kulturgeschichte in gänzlich neuem, eigenständigen Stil vorgelegt, in der es durchaus auch fiktive, rein erzählerische Teile gibt. Salopp gesagt, ich lasse mich sicher nicht zu einem Roman zwingen", so der Autor in einem APA-Gespräch im Jahr 2010.
Die Liste an Auszeichnungen ist fast so lange wie die Liste der Bücher. Unter anderem wurde Karl-Markus Gauß mit dem Österreichischen Staatspreis für Kulturpublizistik (1994), mit dem Bruno-Kreisky-Preis für das politische Buch (1998), mit dem Ehrenpreis des österreichischen Buchhandels für Toleranz in Denken und Handeln (2001), dem Rene-Marcic-Preis (2004), dem Mitteleuropa-Preis (2007), dem Großen Kunstpreis des Landes Salzburg (2009), dem Österreichischer Kunstpreis für Literatur und dem Internationalen Preis für Kunst und Kultur der Stadt Salzburg (beides 2013) geehrt. Ende 2006 wurde Gauß als Mitglied in die Deutsche Akademie für Sprache und Dichtung aufgenommen, 2007 erhielt er das Ehrendoktorat der Philosophie der Salzburger Universität.Gauß ist ein "wacher Beobachter""In der Literatur dieses Autors vereinigen sich biografisches Porträt, kultur-wissenschaftlicher Essay, politischer Kommentar, Reisebeschreibung, Autobiografie und Erzählung auf unvergleichlicher Weise", so die Jury des Großen Kunstpreises 2009 in ihrer Begründung. "Seit dem Beginn seines Schreibens hat sich Gauß auch dem Werk vergessener Dichter gewidmet, und von Beginn an zeigt sich in seinen literarischen Arbeiten eine große Zuneigung für Außenseiter, Ketzer und Grenzgänger. Sein Interesse gilt den sprachlichen und ethnischen Minderheiten des Kontinents. Er ist ein wacher Beobachter österreichischer wie europäischer Verhältnisse."