O Manson δηλώνει πως ο τίτλος του δίσκου προέρχεται από ένα βιβλίο που του δώρισε προ 15ετίας ο καλός του φίλος, Johnny Depp. Ο "pale emperor" είναι ο Ρωμαίος αυτοκράτορας Καλιγούλας, ο οποίος ήταν ο πρώτος που αρνήθηκε τον Θεό, κι αυτό ιντρίγκαρε την φαντασία του Αμερικανού performer. Μάλιστα, πολλά τραγούδια του album ηχογραφήθηκαν με μόλις ένα take στο studio.