Perrineau estudió teatro musical en el Conservatorio de Musica Shenandoah en Virginia y recibió una beca de danza en el prestigioso Alvin Ailey American Dance Center en New York. Tras graduarse, comenzó su carrera profesional en producciones hechas en Broadway y fuera de ella, apareciendo en éxitos tales como Dream Girls, Godspell y originando el rol teatral de Tyrone en Fame.
El apellido es el de su madre. Sus padres nunca se casaron. Durante un tiempo utilizó el nombre artístico de Harold Williams, el nombre de su padre.
El primer gran trabajo de Perrineau en televisión ocurrió en 1990 cuando fue escogido para un papel recurrente para la serie de NBC I’ll Fly Away.
Actuó en la serie OZ de HBO ampliamente aclamada por la crítica, creada por Tom Fontana. Durante 6 temporadas, Perrineau interpretó el papel de Augustus Hill, el narrador en silla de ruedas encarcelado por 20 años debido a venta de drogas y asesinato en esta ruda, acelerada serie ganadora de un CableACE.
Matrix Revolutions (2003), Woman On Top (2000), El mejor amigo del novio (1999), El desafío (1997), Clockers (Camellos) (1995) y Blue Jean Cop (1988) son algunos de sus trabajos en el cine.