Knoll estudió arquitectura en Stuttgart antes de trabajar para empresas de muebles en Alemania y Suiza. En 1937 fue invitado a enseñar en la Nueva Escuela Bauhaus de Chicago, donde conoció a Florence Schust, una estudiante de arquitectura que se convertiría en su esposa y colaboradora.
Juntos fundaron la empresa de muebles Knoll en 1938, con la misión de crear muebles modernos y funcionales para hogares y espacios profesionales. Knoll diseñó muchos muebles para la empresa, entre ellos el sillón Barcelona y la silla Brno.
Tras la muerte de Knoll en 1955, Florence Knoll siguió dirigiendo la empresa y colaboró con muchos otros diseñadores para crear piezas icónicas del diseño moderno. En la actualidad, Knoll es una de las principales empresas de diseño de interiores del mundo.