Die Bürger der Wahlkreise Böblingen und später Leonberg vertrat er von 1968 bis 1992 im Landtag von Baden-Württemberg. Hier war er unter anderem erster umweltpolitischer Sprecher der CDU-Landtagsfraktion.
Rudolf Decker war Mitbegründer der Initiative Gebetsfrühstück im Deutschen Bundestag und in den Landesparlamenten sowie Mitbegründer und langjähriger Vorsitzender der „Vereinigung für Grundwerte und Völkerverständigung“. Zeit seines Lebens trat er für die Förderung der Völkerverständigung in Europa, Afrika und Asien ein.
Mit Rudolf Decker verliert die CDU eine unschätzbare Persönlichkeit und einen tiefgläubigen Politiker. Bis zuletzt war er sich seiner Verantwortung vor Gott und den Menschen bewusst. Er hat der CDU große Dienste erwiesen. Wir sind Rudolf Decker zu besonderem Dank verpflichtet und werden ihm ein ehrendes Andenken bewahren. In Gedanken sind wir in dieser Zeit bei seiner Familie.