Millard Fillmore po zakończeniu prezydentury, związał się z nacjonalistyczną, bojówkarską formacją Know Nothing (Partia Nicniewiedzących) w 1854 r. Dwa lata później został jej oficjalnym kandydatem w wyborach prezydenckich, gdzie zajął trzecie miejsce w głosowaniu powszechnym i zdobył 8 głosów elektorskich.