Dzierżyński urodził się w roku 1877 w Oziembłowie, majątku ziemskim położonym wówczas na terenie Guberni Wileńskiej. Dziś jest to teren Białorusi, a w majątku, którego nazwę na cześć "Krwawego Feliksa" zmieniono na Dzierżynowo, urządono poświęcone mu muzemu. W roku 2004 dworek został odnowiony i uzyskał status historyczno-kulturalnego zabytku Białorusi. W ponownym otwarciu uczestniczył Aleksandr Łukaszenka.