Knoll studia architettura a Stoccarda prima di lavorare per aziende di arredamento in Germania e in Svizzera. Nel 1937 fu invitato a insegnare alla New Bauhaus School di Chicago, dove conobbe Florence Schust, una studentessa di architettura che sarebbe diventata sua moglie e collaboratrice.
Insieme fondarono l'azienda di mobili Knoll nel 1938, con la missione di creare mobili moderni e funzionali per le case e gli spazi professionali. Knoll disegnò molti mobili per l'azienda, tra cui la poltrona Barcelona e la sedia Brno.
Dopo la morte di Knoll nel 1955, Florence Knoll continuò a dirigere l'azienda e collaborò con molti altri designer per creare pezzi iconici del design moderno. Oggi Knoll è una delle aziende di interior design più importanti al mondo.