Der Legende nach befahl Karl II. die Tötung der Tiere, als sein Astronom John Flamsteed (1646–1719) ihren Kot auf seinem Teleskop entdeckte. Als ihm dann allerdings eine Legende erzählt wurde, die besagt, dass der White Tower, die Monarchie und das gesamte Königreich zugrunde gehen würden, falls die Raben jemals den Tower verließen, ließ er sich davon abbringen.Um die Vögel am Wegfliegen zu hindern, wird ihnen ein Flügel gestutzt. Dies geschieht durch den „Rabenmeister“, der von den Yeomen Warders gestellt wird.