В чем отличие CPU от GPU

В видеокартах — тысячи ядер. А в центральных процессорах единицы. Почему? И почему не использовать ядра видеокарты для всех задач?