Aldis, эльфы были связаны с Ардой вообще, а не конкретно с Средиземьем. Что касается Илуватара, то тут Вы правы, действительно, он после создания в судьбы эльфов не вмешивался. И Валар не "забрали" эльфов, а пригласили. Кто хотел, отправился в Валинор, кто не хотел - остался в Средиземье.
Теперь по поводу эльфов, оставшихся в Средиземье. Увы, судьба их печальна. " С течением веков преобладание феар эльфов все росло, "сжигая" их тела. Итог этого - их "истаивание", как люди это называют, ибо тела эльфов становятся, в конце концов, не более чем памятью, хранимой феа, и этот конец уже наступил во многих местах Средиземья." Дж. Р.Р.Толкин "Законы и обычаи Эльдар". Именно поэтому, они в Средиземье и не остались, а кто остался - "истаял". Три Кольца какое-то время сдерживали их "истаивание", ну а после разрушения Единого их сила исчезла. Соответственно, у эльфов было два пути - отправиться в Валинор или "истаять". Происходило это из-за искажения Морготом материи Средиземья. А в Валиноре этого не было, поэтому там эльфам "истаивание" не грозило.