Los orígenes del barrio de Palermo se encuentran vinculados con don Juan Manuel de Rosas, quien hacia 1836 adquirió estas tierras construyendo en ellas su residencia. La misma estaba ubicada en la esquina sudeste de las actuales avenidas del Libertador y Sarmiento.
Ubicado al norte de la ciudad, su territorio abarca la totalidad de la Comuna 14. Con 15,9 km2 de superficie, es sin embargo un barrio muy extenso (con casi 16 km2 es de hecho el barrio porteño más grande), con sectores diferenciados. El llamado Palermo Chico, que retoma el primer nombre del barrio en alusión a los inmigrantes sicilianos, es una zona de palacios y residencias, allí vive parte de la clase alta de la sociedad argentina. Palermo Viejo, en cambio, fue un barrio de inquilinatos, construidos a principios del siglo XX con la estructura de la llamada "casa chorizo" (habitaciones contiguas que daban a una galería abierta) y casas bajas de una o dos plantas. En los años 1980 cundió en esa zona la fiebre restauradora: muchas casas fueron recuperadas arquitectónicamente y hoy son habitadas por profesionales y artistas.
En Palermo Viejo se encuentran cafés, casas de diseño, salas de teatro "alternativo" y un gran número de restaurantes que le han dado una vida bulliciosa. Un pequeño sector del barrio, el que rodea la Plaza Guadalupe, fue epicentro desde 1960 en adelante de un gran número de residentes relacionados con el ejercicio de la psicología, lo que dio origen al mote de "Villa Freud" para referirse a este lugar.
En este barrio Jorge Luis Borges imaginó su "fundación mítica de Buenos Aires" la que habría ocurrido en la manzana de las calles Guatemala, Serrano, Paraguay y Gurruchaga (hoy ese tramo de Serrano se llama precisamente Borges).
El hipódromo de Palermo se identifica en sus comienzos con el origen del barrio, Los inicios no son demasiado aristocráticos. Había un camino conocido como Camino de las Cañitas que hoy es la Avenida General Luis María Campos y la Avenida Virrey Vértiz. Entre el rio y este camino había un pantanal, un cañaveral. Es más, a veces las aguas del Río de la Plata se desbordaban y llegaban hasta Luis María Campos. En este cañaveral, se corrían las carreras cuadreras y de sortijas. Era el Potrero de las Cañitas. En el año 1900 tenia el nombre de Tierra del Fuego dado que por ese entonces era un lugar poco poblado lleno de pajonales y habitado fundamentalmente por familias pobres. Es bien conocida la relación entre el turf y el tango, varias composicionesse refieren a ese deporte, uno de ellos que lleva precisamente el nombre del barrio comienza así: "Maldito seas Palermo, me tenés seco u enfermo, mal vestido y sin morfar, porque el vento los domingos lo patinó con los pingos en el hache nacional" (tango "Palermo2, de Delfino, Braga y Villalba)
Ainque parezca mentira, Palermo es un barrio en "expansión", hoy una zona de Villa Crespo dice pertenecer a Palermo, o como nos contaba un agente inmobiliario, la zona de Corrientes y Medrano hacia la avenida Córdoba pertenece a Almagro, pero no es raro ver departamentos en esa zona que se venden o alquilan como si pertenecieran a Palermo.