Wie er selbst einmal behauptete, ist Robert Klein in einer "prototypischen jüdischen Bronx Umgebung der 50er Jahre" aufgewachsen. In dieser Zeit besuchte er die "DeWitt Clinton High School" mit dem Wunsch später Medizin zu studieren. Während des Studiums an der "Alfred University" änderte sich sein Wunsch jedoch, sodass er sich entschloss, auf die "Yale Drama School" zu gehen, um Schauspieler zu werden.
Nach dem Studium heuerte er gemeinsam mit Schauspielkollegen Fred Willard in der Improvisationstheatergruppe "The Second City" an. Eine erste Hauptrolle ergatterte Robert Klein in der Serie "Comedy Tonight" - die meisten Programme, die er in den nächsten Jahren dort aufführte, wurden später als Schallplatten vermarktet. Die beiden ersten Tonträger waren dabei die erfolgreichsten: In "Child of the Fifties" aus dem Jahr 1972 sprach der Schauspieler etwa über sein Leben in den Fünfzigern, über Johnny Mathis Musik und die "New York Yankees". Richtig berühmt wurde er jedoch mit seinem zweiten Album "Mind Over Matter" aus dem Jahr 1974. Neben einer ausgedehnten Diskussion über die "Watergate-Affäre" enthielt die Platte außerdem eigene Songs. Auf dem Steckbrief des Darstellers folgten zwei weitere Alben bis 1990.
Seit den 1980ern hatte der Schauspieler zahlreiche Filmrollen und Gastauftritte in Erfolgsserien wie die "Cosby", "King of Queens", "Frasier" und "Law und Order". Im Jahr 2006 brachte er seine Autobiografie "Der verliebte Kellnerlehrling von der Decatur Allee: Ein Kind der Fünfziger" auf den Buchmarkt. Robert Klein ist geschieden von der Opernsängerin Brenda Boozer. Das Ex-Paar hat einen gemeinsamen Sohn, Alexander Stuart Klein.