W hiszpańskiej historiografii Karol zyskał przydomek El Hechizado, „Zaklęty”. Według ludowych wyobrażeń, którym sam król dawał wiarę, jego upośledzenie było spowodowane rzuconymi nań czarami. Na jego cześć nazwano, założone w 1666 w Belgii, miasto Charleroi oraz archipelag Karoliny w zachodniej części Oceanu Spokojnego (w 1686).