Słowo szmalcownik pochodzi z gwary złodziejskiej, częściowo od niemieckiego Schmalz (smalec), stąd „szmalec, szmal”, w znaczeniu „pieniądze użyte bez przestrzegania przepisów prawa”. To znaczenie powstało w związku ze zwrotami w języku polskim takimi jak między innymi „kto smaruje, ten jedzie” i „smarować” w znaczeniu „dawać łapówkę”. Najwięcej szmalcowników grasowało w dużych miastach. Historyk Gunnar Paulsson podaje że np. w okupowanej Warszawie grasowało kilkaset gangów liczących razem około 3-4 tysięcy osób.