El nombre Tafí data del siglo XVI según el historiador Lizondo Borda. Primitivamente la voz era Taui, corrupción del vocablo aimara Thaaui, cuyo significado es: "lugar donde sopla aire frío o hace mucho frío." Descompuesta, la palabra sería thaa: frío y ui: que expresa el lugar donde hace o se padece frío. Esto se debe a que la ciudad se encuentra a los pies de la Sierra del Aconquija, a una mayor altura que San Miguel de Tucumán, y con la consiguiente diferencia en los valores térmicos.
Tafí Viejo comenzó como una villa veraniega cercana a la capital provincial, aunque su crecimiento y desarrollo como ciudad está íntimamente ligada a los Talleres Ferroviarios. Estos trajeron un gran impulso debido al efecto multiplicador de un emprendimiento de tal magnitud. Tan importante fuente de trabajo sedujo a trabajadores de otras provincias y extranjeros que engrosaron la población de la villa. El 2 de junio de 1939, obtuvo el título de municipalidad.
La ciudad fue una las comunidades más florecientes del interior de la provincia, pero con el tiempo el pulso del progreso fue apagándose progresivamente. El cierre de los talleres en 1980 significó un duro golpe económico y social. El 24 de enero de 1984, se produjo la reapertura de los mismos bajo el mandato del entonces presidente Raúl Alfonsín quién asistió a la ceremonia. Desde entonces, los talleres han estado funcionando pero de manera mucho más acotada que durante su apogeo.
La ley provincial 4518 que entró en vigencia en agosto de 1976 dispuso una nueva división política territorial lo que se vio reflejado en el surgimiento de la circunscripción administrativa (luego departamento) de Tafí Viejo que se constituyó con el sector sudeste del antiguo departamento Tafí y la franja norte del departamento Capital. La ciudad de Tafí Viejo pasó a ser desde entonces la cabecera departamental.
A diferencia de lo ocurre en la mayoría de las ciudades argentinas, el centro comercial e institucional de la ciudad de Tafí Viejo no se encuentra alrededor de la plaza principal, sino a lo largo de Avenida Leandro N. Alem, verdadero reflejo de la vida social de la localidad. Hacia el este del centro se encuentran los talleres ferroviarios. Otras arterias importantes son Avenida Roca, Camino del Perú, la diagonal (Ruta Provincial N° 314) que conecta a esta localidad con la ciudad capital de la provincia, la ruta provincial N° 315 que la vincula con Yerba Buena y la Avenida Constitución que la une con la Autopista Ruta Nacional 9 (Argentina).