Hallo,
Kommt auf den Kleber an. Heutige Kleber für Papier sind wasserlöslich. Ansonsten brauchst du ein organisches Lösungsmittel wie Aceton, Essigsäureethylester oder Spiritus. Damit bekommst du den Kleber weg.
Auch könnte man es mit vorsichtigem Erwärmen (nicht Erhitzen) versuchen. Durch die Wärme kann der Kleber weicher werden.
Besser ist immer die Verwendung von Kitt, den kriegt man hinterher wieder ab.
Glück Auf!
Smoeller