U ljeto 1524., tijekom Lutherove vizitacije Tiringije, dolazi do dviju disputacija u Jeni i Orlamündeu. Luther javno uklanja Karlstadta iz crkve, a sukob se prenosi na zajednicu: samosvjesni seljaci inzistiraju na pravu izbora župnika, uklanjanju slika i „unutarnjem mističnom” spoznaju istine. Luther odlazi u otvorenom sukobu sa „zanesenjacima”, koji u njemu vide izdajnika evanđelja. Dana 18. rujna 1524. Karlstadt biva protjeran iz Izborne Saske.
Slijedi put progonstva: Karlstadt odlazi u Rothenburg ob der Tauber, gdje ga prijatelji primaju s obitelji, a zatim u Zürich i Basel, gdje je u međuvremenu davao tiskati spise u kojima kritizira Luthera i odbacuje Kristovu stvarnu prisutnost u euharistiji. Autor je vjerojatno i jednog spisa protiv krštenja djece, koji je morao objaviti anonimno.
Zatim se vraća u Rothenburg, gdje nastavlja pisati protiv Luthera, a u metežu Seljačkog rata jedva izbjegava smrt od ruke jednog seljačkog vođe, budući da se javno protivio oružanoj pobuni, pozivajući seljake da polože oružje i pregovaraju.
Iste godine vraća se u rodni Karlstadt, potom u Frankfurt na Majni. Obitelj živi u velikoj oskudici i njegova žena traži Lutherovu pomoć da obitelj dobije dopuštenje povratka u Sasku.
Izborni knez Johann Postojani napokon dopušta povratak uz uvjet da se Karlstadt izrijekom ogradi od pobune. No situacija se pogoršala kada je u javnost izašla njegova prepiska s Kasparom Schwenckfeldom; izbjegavajući sankcije, početkom 1529. Karlstadt potajice zauvijek napušta Sasku.
Put ga vodi na sjever: Melchior Hoffmann poziva ga u Holstein da mu pomogne protiv luterana i pokušava mu osigurati sudjelovanje u flensburškoj raspravi. Umjesto toga, obojica bivaju protjerana kao „sakramentarci”. Preko Kiela odlazi s Hoffmannom u istočnu Friziju, gdje je osam mjeseci djelovao kao putujući propovjednik dok nije protjeran, nakon čega odlazi u Strasbourg, gdje se susreće s obitelji, ali mu je savjetovano da preseli u Švicarsku. Preko Basela stiže u Zürich, gdje najprije djeluje kao đakon bolnice, a 1531. preuzima župu u Altstättenu (današnji kanton St. Gallen), no nakon poraza reformacijskih kantona u Drugom kappelskom ratu mora odstupiti. Zatim djeluje kao propovjednik i dušobrižnik u Zürichu, a drži i predavanja iz rimskog prava. Na preporuku Heinricha Bullingera 1534. postaje profesorom i župnikom crkve sv. Petra u Baselu, gdje također predaje Stari zavjet, hebrejski i civilno pravo na sveučilištu, a od 1537. je njegov rektor. Ponovo uvodi disputacije, a istaknuta je ličnost i u crkvenom životu grada. Spor u koji dolazi s kolegama zbog zalaganja za daljnje sveučilišne reforme nije se još razriješio kada Karlstadt na Badnjak 1541. umire od kuge.