Karl-Josef Rauber wurde am 11. April 1934 in Nürnberg geboren. Von 1953–59 studierte er Theologie und Philosophie in Mainz. Am 28. Februar 1959 empfing er dort die Priesterweihe. Nach Kaplansjahren in Hessen nahm er 1962 auf Wunsch von Bischof Albert Stohr das Kirchenrechtsstudium an der Päpstlichen Universität Gregoriana auf, das er 1966 mit der Promotion abschloss. Von 1964–66 besuchte er die Päpstliche Diplomatenakademie in Rom und arbeitete anschließend in der deutschsprachigen Abteilung des Staatssekretariats. Stationen seines auswärtigen Dienstes von 1977 an waren: Belgien, Luxemburg, Griechenland, Uganda, die Schweiz und Ungarn. Von 1990–93 leitete Rauber, der 1983 von Johannes Paul II.
