Sergio Markarián comenzó su carrera profesional en 1976 como director técnico del Club Atlético Bella Vista de Uruguay, haciéndose cargo de las divisiones menores, con las cuales salió campeón en dos oportunidades, por lo que se le ofreció el cargo de técnico del primer equipo, con el que obtuvo el título de la Segunda División Profesional de Uruguay y el ascenso a la máxima categoría.
Ya en primera división, con Bella Vista, consiguió el campeonato del «Torneo de Receso Año Internacional Del Niño», derrotando en la final al Club Atlético Peñarol. Posteriormente dirigió a Danubio F. C. en 1980, pasando luego en 1981 a dirigir a River Plate, logrando la clasificación a la Liguilla Pre-Libertadores de América venciendo a Nacional y a Peñarol en un lapso de cinco días.
Ese mismo año debutó en la primera división Carlos Alberto Aguilera, bajo la conducción de Markarián. En 1982 volvió a dirigir al club Danubio. Bajo su conducción, debutó ese año otro destacado futbolista uruguayo, Rubén Sosa. En el año 1983 llegó a Paraguay, contratado por el Club Olimpia. Tomando el equipo rezagado en la tabla de posiciones, salió campeón de la primera división.
En Paraguay, logró siete campeonatos a nivel nacional, tres subcampeonatos, fue semifinalista de la Copa Libertadores de América con Olimpia y disputó tres veces los cuartos del final del torneo continental con tres clubes diferentes (Sol de América, Cerro Porteño y Club Libertad).
Esta serie de éxitos, lo llevaron a ser nombrado director técnico de la selección de fútbol de Paraguay Sub-23, obteniendo el título del Torneo Preolímpico Sudamericano Sub-23 disputado en Paraguay, que le otorgó por primera vez a la selección paraguaya, un cupo para participar en el Torneo de Fútbol de los Juegos Olímpicos de Barcelona 1992 donde finalizaron en el quinto puesto.
En 1993 se hizo cargo nuevamente de River Plate de Uruguay por un período corto de tres meses.
Entre 1993 y 1997 dirigió a los clubes peruanos Universitario de Deportes y Sporting Cristal, conquistando un título nacional con cada uno de ellos, además logró el subcampeonato de la Copa Libertadores 1997 con el Sporting Cristal.
En 1998, viajó a Europa para dirigir al Ionikos F. C. de Grecia, ubicándose en la quinta posición de la Super Liga de Grecia en la temporada 1998-99 y clasificando a la Copa de la UEFA 1999-00.
Entre 1999 y 2002 fue nombrado nuevamente técnico de la selección paraguaya, esta vez para dirigir a la selección absoluta con la cuál consiguió la clasificación a la Copa Mundial de Fútbol de 2002. En ese período, la selección paraguaya llegó a colocarse entre las ocho mejores seleccionados del mundo en la clasificación mundial de la FIFA.
Luego retornó a Grecia, como técnico del Panathinaikos F. C., con el que obtuvo el subcampeonato de la liga. En una histórica campaña llegó a los cuartos de final de la Copa de la UEFA 2002-03, eliminándose en Atenas con el equipo que sería consagrado campeón del torneo, el Fútbol Club Oporto de José Mourinho.
En el encuentro de ida, en el Estádio das Antas en Oporto, el Panathinaikos cortó una larga racha de partidos invicto del equipo local, ganando 1-0, con gol de Emmanuel Olisadebe. Aquella plantilla del Panathinaikos contaba con algunos futbolistas de la selección griega que posteriormente resultó campeona de la Eurocopa 2004 (Georgios Seitaridis, Angelos Basinas, Konstantinos Chalkias, Yannis Goumas, Dimitrios Papadopoulos).
Luego de un breve paso por el Iraklis F. C., en 2005 fue contratado por el Club Libertad de Paraguay llegando hasta los cuartos de final de la Copa Libertadores 2007, donde fueron eliminados por Boca Juniors que finalmente se alzaría con el título.
Entre los años 2007 y 2008 estuvo al frente del Cruz Azul de México, llegando a la final de la Liga Mexicana, instancia a cuál hacía nueve años que la institución no accedía. Con Cruz Azul fue tres veces finalista (Liguilla, Liga, y Copa Panamericana). Ganó la Copa Panamericana 2007, jugando la final del torneo contra Boca Juniors de Argentina.
Luego de dirigir a la Universidad de Chile durante un semestre, renunció a la institución justificando no sentirse bien porque según él, los árbitros lo perjudicaban constantemente. Sin embargo, logró el campeonato del Torneo Apertura 2009 de Chile luego de cinco años sin que la institución lograra un título. En el año 2010 tuvo un breve pasó de tres meses por Danubio.
El 23 de julio de 2010, regresó al Perú luego de trece años para hacerse cargo de la selección peruana de fútbol para la Copa América 2011 (donde obtuvo un meritorio tercer lugar) y las eliminatorias para la Copa Mundial de Fútbol de 2014 (eliminado a dos fechas del final).
Consumada la eliminación, Markarián confirmó que dejaría la selección después del último partido ante Bolivia,21 arrojando un balance estadístico de 45 partidos dirigidos, 17 victorias, 14 empates y 14 derrotas (48,14 % de rendimiento).
El 12 de febrero de 2015, la Federación Helénica de Fútbol, designó a Sergio Markarián como su flamante entrenador, reemplazando a Claudio Ranieri. Sin embargo, dimitió cinco meses después de su nombramiento.
La Federación Internacional de Historia y Estadística de Fútbol lo consideró en el 2000 como uno de los diez mejores seleccionadores del año; y desde 1996 hasta el 2010 ocupó el puesto 83 dentro del ranking de los mejores entrenadores del mundo
PUBLICACIONES RELACIONADAS
Sporting Cristal es el más campeón en la era profesional del fútbol peruano
Erick Elera se muestra orgulloso de ser celeste
Sergio Blanco el delantero que llegó a Sporting Cristal diciendo que «no era goleador»