Krstajić je ponikao u mlađim kategorijama Čelika iz Zenice (1984-1992), a u jeku ratnih sukoba 1992, prelazi u OFK Kikinda, koji je u to vreme bio član Prve B lige.

Nakon odličnih partija u dresu Kikinde, interesovanje za njega su pokazali Partizan i Crvena zvezda. Krstajić se odlučio za Partizan, klub za koji je navijao. U dresu "crno-belih" je za četiri sezone osvojio tri titule (1996, 1997, 1999) i jedan Kup Jugoslavije (1998).

Nakon četiri sezone u Partizanu odlazi u Verder Bremen. Sa Verderom je osvojio "duplu krunu" (prvenstvo i kup 2004). U periodu od 2004. do 2009. bio je član Šalke 04, a 17. marta 2009. postao je kapiten te ekipe. Nakon devet godina u inostranstvu Mladen se vratio u Partizan. Ugovor je potpisao 5. juna 2009..

Za reprezentaciju je odigrao 59 utakmica i postigao 2 gola. Bio je član "čuvene odbrambene četvorke" (Nemanja Vidić, Mladen Krstajić, Goran Gavrančić i Ivica Dragutinović) tokom kvalifikacija za SP u fudbalu 2006. u kojima je Srbija i Crna Gora primila samo jedan gol.

Nakon devet godina u Verderu i Šalkeu, vratio se u Partizan kao iskusan igrač i u dve sezone doprineo uspesima tima.

U sezoni 2009-10 izabran je u tim idealnih 11 igrača domaćeg prvenstva.