Sus integrantes, Paul Simon y Arthur "Art" Garfunkel se conocieron en el año 1953 mientras aún asistían a la escuela.  Con tan sólo 16 años, Paul Simon ya componía sus primeros temas, y le propone a Garfunkel formar un dúo bajo el nombre de “Tom y Jerry”. Para ese entonces, cada uno de los integrantes usaba un seudónimo.

En el caso de Paul era “Jerry Landis” y en el de Art “Tom Graph”.

Para 1957 graban su primera maqueta “Hey, Schoolgirl” y poco tiempo después firman un contrato con la discográfica Big Records. Este disco fue lanzado a la venta y logró vender 100.000 copias, alcanzando la posición número 49 en la lista Billboard. A fines de ese mismo año, hacen su primera aparición televisiva, en el programa “American Bandstand”, donde cantaron el tema “Hey, Schoolgirl”.

Un año más tarde, “Tom & Jerry” lanzan varios sencillos, pero ninguno pudo ingresar a las listas de éxitos. Paralelamente, Paul Simon se lanza como solista y publica un disco bajo el apelativo de “True Taylor”. Ese mismo año, el convenio entre ambos artistas se rompe, y cada uno se desenvuelve en proyectos personales.

En 1963, Paul y Art vuelve a reunirse esta vez bajo el nombre de "Simon y Garfunkel". Al poco tiempo de haberse juntado comienzan a tocar en distintos bares locales.

Ese mismo año tocan en el “Festival de Música Folk de Nueva York”, y comparten escenario con Bob Dylan y The Everly Brothers.

En 1964 firman un nuevo contrato, esta vez con la discográfica Columbia Records, y lanzan su álbum debut bajo esta nueva formación. El disco se tituló “Wednesday Morning, 3 A.M.”.

Después del fracaso comercial de su primer disco, los integrantes nuevamente toman caminos por separado. Por su parte, Simon graba el disco “The Paul Simon Song Book”, mientras que Art Garfunkel continuó sus estudios universitarios que había dejado en pausa.

En 1965 la canción “Sound of Silence” del disco Wednesday Morning, 3 A.M. comienza a ser pinchado en radios del Reino Unido y de USA, y logró ubicarse en las listas de éxitos, alcanzando la primera posición. Es así como Simon y Garfunkel deciden juntarse nuevamente para grabar el disco “The Sound of Silence” (1966). Este LP se posicionó en el puesto número 21 en las listas de éxitos. También, en ese mismo año, se reeditó el álbum “Wednesday Morning, 3 A.M.”, pero esta vez logró ocupar la posición 30 en las listas de ventas. A fines de ese mismo año editan una nueva producción titulada “Parsley, Sage, Rosemary and Thyme” (1966).

En 1968, los productores de la película “El Graduado” encargan al dúo componer la banda sonora, en donde se incluye el tema que los llevaría a alcanzar la gloria “Mrs. Robinson”. Con esta canción lograron llegar inmediatamente al primer puesto de las listas de preferencia, y asimismo acrecentar su popularidad convirtiéndose en megaestrellas.

Poco después lanzan un nuevo álbum titulado “Bookends” (1968), en el cual se incluía el éxito “Mrs. Robinson”, así como el tema “America”.

A principios de 1969, Simon & Garfunkel reciben un Grammy gracias al tema Mrs. Robinson como “Mejor Grabación del Año”. Asimismo, Simon recibió el premio a la “Mejor Banda Sonora Original Para Una Película”.

Ya en la década de los 70 sale al mercado el disco “Bridge Over Troubled Water”, considerado por la crítica especializada como el mejor material del dúo. Además, esta producción fue un gran éxito comercial, obteniendo el título de “Uno de los discos más vendidos de la década”, por haber sobrepasado los 12 millones de copias.

Un año después, obtienen dos premios Grammy, como “Mejor álbum” y “Mejor Tema”, ambos por “Bridge Over Troubled Water”.

Con un nombre ya ganado y con mucha expectativa por parte del público, el dúo se embarca en una gira mundial. Terminada esta serie de conciertos, Simon & Garfunkel se separan definitivamente para continuar con sus proyectos personales.

En 1972 se publica el disco recopilatorio de grandes éxitos “Simon and Garfunkel Greatest Hits”. Con este álbum el dúo volvió a aparecer en las listas de las emisoras. A mediados de año, se reúnen nuevamente, pero tan sólo para una presentación benéfica.

En 1975 aparecen juntos nuevamente en el programa de televisión norteamericano “Saturday Night Live”. También ese año lanzan el tema "My Little Town", que había quedado pendiente desde la separación de la banda.

Ya en 1981, realizan un concierto multitudinario en el Central Park de Nueva York. Esta presentación fue grabada para la televisión y también fue documentada en el disco en vivo “The Concert in Central Park”. El éxito del concierto fue tal, que Simon & Garfunkel deciden realizar una gira mundial que duraría hasta 1983.

En 1990 son inscritos en el “Paseo de la Fama del Rock & Roll”, y en la ceremonia tocan juntas.

Tres años más tarde, se lanzan a ofrecer 21 conciertos en la ciudad de Nueva York y, además, participan en el concierto benéfico “Bridge School Benefit Concert”.

En el 2002, presentan un disco inédito en vivo titulado "Live In New York City, 1967", y en el 2003, aparecen interpretando la canción The Sound of Silence en la ceremonia de entrega de los premios Grammy. A raíz de este suceso, se embarcan nuevamente en una gira mundial. Los conciertos llevaron el nombre de “Old Friends: Live on Stage” y fue lanzada también en un disco bajo el mismo título.