Zdelegalizowana partia odrodziła się na emigracji, działając najpierw w Wiedniu (l. 1921-1936), a później w Paryżu (l. 1936-1939), za podstawowe centrum decyzyjne mając jednak Moskwę i tamtejszą siedzibę Kominternu. Miało to swoje tragiczne konsekwencje zwłaszcza w okresie stalinowskich czystek, których krnąbrni i sympatyzujący z trockistami komuniści jugosłowiańscy byli pierwszą ofiarą. KPJ została w tym czasie praktycznie całkowicie zlikwidowana, ofiarą represji padło 8 sekretarzy Komitetu Centralnego KPJ, 15 członków KC oraz 21 sekretarzy regionalnych i lokalnych. Wszyscy oni zostali rozstrzelani bądź zginęli w obozach pracy przymusowej (tzw. GUŁagach). Losu swoich podwładnych nie uniknął także pierwszy sekretarz generalny KC KPJ Milan Gorkić (prawdziwe nazwisko Józef Čižinski), który pod zarzutem szpiegostwa został skazany na karę śmierci.