Не "надо", а "можно". Там же был многолетний постепенный процесс. Работодатель отмечал тех, кто работал хорошо и не создавал проблем, и старался продлить им рабочую визу. Так постепенно они и остались. Т.е. те, кто остался - это те, кто заслужил это право многолетним старательным трудом. Никто за них особо не "переживал", на тысячу оставшихся приходится несколько тысяч вернувшихся.

И мне кажется, что вы несколько обобщаете, перенося нынешний шведский опыт на всю Европу и на весь 50-60-летний период. Швеция сейчас действительно охотно берёт беженцев. Но это далеко не везде и далеко не всегда так, даже близкая Дания проводит совсем другую политику. Большая часть иммигрантов в Германии - это именно "гастарбайтеры", т.е. рабочие, взятые по рыночным критериям, а не беженцы.