Hallo Lars,
wie Norbert bereits sagte, kannst Du Dir nur sicher sein, wenn Du die typische Paragnese der Fundstelle kennst. Deine Gedanken zu den verschiedenen Elementen im Umgebungsgestein ist schon ganz gut, nur reicht das leider nicht immer. Jede Fundstelle hat mehr oder weniger typische Paragnesen, diese zu kennen ist die Kunst und dafür benötigt man viele Besuche und Erfahrung.
Zum Thema Schwefel werfe ich mal einfach die Biogene (oder wie das auch immer heißt) Möglichkeit in den Raum. Man muss immer in viel größeren Zeitabständen in der Geologie rechnen und Wasser und schwefelbildende Bakterien gibt es "fast" überall. Eventuell kommt der Pyrit aus dieser Quelle.
Wenn Du nach mehreren intensiven Besuchen der Fundstelle feststellst, das Deine jetzigen Funde absolut nicht zu der Fundstelle passen, dann kannst Du mit Sicherheit von Fremdmaterial ausgehen.
Ein Sandstein ist so ziemlich sicher nicht in einem Granitbruch heimisch

Bis dann
Mark