Na počátku jeho vědecké kariéry hrál důležitou roli českobudějovický okresní archiv. V něm ho coby čerstvého vysokoškolského studenta ohromilo při jedné z exkurzí množství dochovaných středověkých písemností. Následně prostudoval podrobně rejstřík lapkovského bratrstva z let 1435–1436 a v roce 1956 o něm vydal studii v Jihočeském sborníku historickém. Jedná se o Šmahelův první publikovaný text.

V mládí také probádal archiv v Třeboni, kde zároveň působil na povinné praxi. „První vysokoškolské prázdniny jsem celé strávil v třeboňském archivu, kde jsem dostal za úkol uspořádat archiv města Třeboně,“ vzpomínal v roce 2009. „Celý den jsem se těšil na konec pracovní doby, protože teprve tehdy jsem ve studovně mohl probírat proslulou sbírku Historica, kterou sestavil František Palacký.“  

V roce 1964 nastoupil Šmahel do Historického ústavu Československé akademie věd, ale v době normalizace odtud musel odejít. Několik let působil jako řidič tramvaje v Praze a v letech 1980–1989 byl historikem v tehdejším Muzeu husitského revolučního hnutí v Táboře. V té době např. blíže zkoumal táborský urbář, který obsahoval výčet povinností poddaných směrem k vrchnosti. Podrobným studiem dokázal Šmahel nově interpretovat dosavadní závěry. „Zjištění rozbilo marxistickou teorii neustálého zhoršování situace na českém venkově,“ připomněl k tomu po letech.  

Díky práci v táborském muzeu, bádání v táborském archivu a úzké spolupráci s místním historikem a archivářem Rudolfem Teclem získal Šmahel řadu podkladů pro zpracování dějin Tábora. „Teclovou vášní bylo jezdit po archivech a shromažďovat neznámé nebo alespoň nevydané písemnosti k dějinám Tábora a jeho okresu. Nelitoval by zajet až na druhou stranu republiky,“ zmiňoval Šmahel. Protože ale do podrobného zpracování dokumentů se Teclovi nechtělo, poskytoval je kolegiálně právě Šmahelovi. „Víc jsem si ani přát nemohl. Seděl jsem doma a stále jsem měl co dělat. Myslím, že to naší společné práci na Dějinách Tábora jen prospělo,“ doplnil historik. 

Zmíněná kniha Dějiny Tábora, mapující nejstarší historii města do roku 1452, vyšla ve dvou dílech v letech 1988 a 1990. V upravené podobě se potom nového vydání dočkala v roce 2020. Šmahel také připravil edici nejstarší táborské městské knihy z let 1432–1452 (vyšlo 2017). Dále je autorem publikací Husitská revoluce, Husitské Čechy, Idea národa v husitských Čechách, Jan Hus nebo Jan Žižka. Z těch, které se nevěnují primárně husitské době, napsal Mezi středověkem a renesancí nebo Cesta Karla IV. do Francie 1377–1378. Některé tituly vyšly rovněž v němčině.

Po společenských změnách se Šmahel v roce 1990 vrátil do Historického ústavu už jako jeho ředitel. Po roce 1998 stál u zrodu a následně vedl Centrum medievistických studií, což je společné výzkumné pracoviště Univerzity Karlovy a Akademie věd. Přednášel na univerzitách u nás i v zahraničí, stal se členem redakčních rad mnoha periodik a členem různých odborných komisí a vědeckých rad (domácích i zahraničních), byl také např. místopředsedou Učené společnosti ČR. Jako uznávaný a respektovaný vědec obdržel za svou činnost řadu ocenění, a to opět jak v České republice, tak v zahraničí.