Попались тут мне на глаза две очень хорошие книжки.
"История арифметики" И. Я. Депман 1959 г.
Как понятно из названия, здесь рассказвается об истории развития знания о числах от древнейших времен до 1959 года.

Прелесть книги в том, что она не содержит никаких трудных вещей, но при этом изобилует крайне интересными и познавательными фактами, иногда вроде бы даже далекими от математики. Также в книжке куча всяческих рисунков, а также портретов известных и не очень математиков (даже Гёдель есть, но о нем тут мало). Рекомендуется к прочтению всем, но в первую очередь подрастающему поколению (если, конечно, оно сможет осилить 400-страничную книгу).
"Хрестоматия по истории Математики" под редакцией А. П. Юшкевича 1976 г.
Эта книга предназначена для математиков, но содержит некоторые материалы, доступные для понимания всем (хотя я и сложного-то ничего пока не встретил). Здесь содержатся переводы оригинальных текстов (или сами эти тексты) таких людей, как: Кардано, Ферма, Виет, Ньютон, Гаусс, Лейбниц, Декарт, Лобачевский, Лагранж, Эйлер, Чебышев, Риман, Гильберт. Большой интерес представляет то, каким языком и какими методами пользовались великие при изложении своих теорий. После статей идут примечания и комментарии, достаточно обширные для понимания прочитанного. Стоит также отметить, что чтение обеих описанных книг в ряде случаев можно очень органично совмешать. К примеру, читаем в первой, что Евклид доказал бесконечность количества простых чисел. Открываем вторую книгу и читаем его доказательство.