Bugarski internacionalac je prvu afirmaciju stekao u redovima Pirina iz Blagoevgrada, nedaleko od makedonske granice. Dalje ga je put odveo u bugarskog giganta, CSKA iz Sofije, gde je došao sa 17 godina i u timu „armejaca“ proveo nekoliko godina, bez trofeja, jer je 2008. godine, kada je klub osvojio poslednju titulu, ovaj štoper bio je tada na pozajmici u Lokomotivi iz Plovdiva.

Do dresa Partizana Ivanov je došao preko Rusije, gde nje igrao godinu dana za Alaniju, ali nije pomogao klubu iz Vladikavkaza da izbegne ispadanje u niži rang. Član Partizana je od leta 2011.

U sezoni 2012-13 izabran je u tim idealnih 11 igrača domaćeg prvenstva.