Nielsen estudió en la Real Academia Danesa de Bellas Artes de Copenhague, donde se licenció en 1954. Después trabajó para varios estudios de arquitectura antes de trasladarse a Nueva York en 1958.
En Nueva York, Nielsen trabajó para varias empresas de diseño industrial, como Henry Dreyfuss Associates y Raymond Loewy Associates. También trabajó como consultor para empresas como IBM, General Electric y Westinghouse.
En 1960, Nielsen fundó su propia empresa de diseño, Peter Nielsen Associates, que rápidamente se hizo famosa por sus diseños innovadores y funcionales. Nielsen ganó numerosos premios por su trabajo, incluido el prestigioso Industrial Design Award del Instituto Americano de Arquitectos en 1963.
Nielsen trabajó en una amplia variedad de proyectos a lo largo de su carrera, incluidos diseños para electrónica de consumo, equipos médicos, muebles y juguetes infantiles. Murió en 1984 a la edad de 56 años, pero su influencia en el mundo del diseño industrial sigue haciéndose sentir hoy en día.