vlad_ph, хороший вопрос, на него у меня нет точного ответа, но есть два соображения.
(Дальнейшие рассуждения можете воспринимать просто как приглашение к беседе; безусловно, они ни в коем случае не являются истиной в последней инстанции)
Первое, более скучное, но, возможно, более основательное, говорит нам, что тексты создавались Толкином в разное время, а также что "Хоббит" тяготеет к "сказочности" и в известной степени является самодостаточным текстом, в то время как "Властелин колец" содержит большее количество... пластов? не совсем верно; уровней прочтения? тоже как-то не очень хорошо; я хочу упомянуть как минимум о моменте совмещения сюжетных линий самого разного рода. И в связи с этим "Властелин колец" содержит массу отсылок к различным главам истории Средиземья, к информации из других текстов, которая лучше позволяет его понять. Начиная с Приложений. =)
Отсюда мы можем вынести представление о том, что Гэндальф "Хоббита" и Гэндальф "Властелина колец" - это несколько разные Гэндальфы не только потому, что их разделяет более полувека истории Средиземья, но и потому, что между ними лежат годы размышлений автора над устройством созданной им реальности, судьбами героев, мотивами новой истории и связью ее с ранее написанным.
Можно грубо сказать даже, что есть две субреальности, в которых наблюдается разный баланс сил. И да, автор работал над тем, чтобы вторая вобрала в себя первую; но все же для читателя эпизоды "Путешествия Туда и Обратно", пересказанные или просто упомянутые в основном тексте "Властелина колец" и Приложениях , выглядят иначе.
Поэтому возникает рискованное предположение: Гэндальф демонстрирует разный "уровень могущества", потому что это действительно немного не один и тот же Гэндальф, возможности его и образ действий отличаются.
Второе, более увлекательное и подогревающее фантазию, сводится к тому, что было бы неплохо сравнить возможности персонажей и выяснить все-таки, кто кого. Ну или хотя бы предположить.
Может быть, Гэндальф способен противостоять прямому физическому урону от Балрога (возможно, даже с учетом огня - у него Нарья), а при борьбе с применением всякого рода заклятий и прочего интересного у него есть некоторое преимущество над противником (хотя бы за счет знания его природы). А орки могут нанести ему "неприемлемый физический урон" простым залпом из луков, например.
Еще по поводу "баланса": в каком-то смысле этот самый "баланс" мог быть подобен замкнутой цепочке вида "камень - ножницы - бумага", но вряд ли это действительно справедливо для Средиземья...
Может, эти случаи не так уж различны, как может показаться на первый взгляд: в конце концов, Гэндальф победил Балрога фактически ценой собственной жизни - после этого он возродился уже Гэндальфом Белым. И в любом случае уничтожение Балрога потребовало от него всех сил.
Есть еще та простая версия, что в разное время (уже при взгляде изнутри вторичного мира) герой способен на разные по силе воздействия на окружающий мир шаги. Сэм, прячущийся от Черных Всадников на дорожках Шира, еще не способен на то, что может Сэм, отогнавший Шелоб и поднимающийся по лестницам Кирит Унгол. Или нам нужны случаи ближе к Гэндальфу? Да тот же Саруман, сперва сумевший заточить Гэндальфа на вершине своей твердыни, а в следующую встречу лишенный Гэндальфом своего посоха и сам заточенный за дверьми Ортханка (можем отнести это и на счет новых качеств Гэндальфа). Или момент с назгул(ами), которые в одном эпизоде соединенными силами атаковали Гэндальфа на Заветери (Weathertop), а в другом случае Король-чародей въезжает в ворота Минас Тирита и грозит тому же Гэндальфу смертью (рассчитывая, как мне кажется, на свои собственные силы).
Тянет также сказать, что в "Хоббите" значительная часть действий подается нам не столько "рассказчиком", сколько от лица Бильбо. То есть не самого ли Бильбо это мысль - о том, что волшебник погибнет, прыгнув вниз на гоблинов? Но это уже за рамками данного "соображения", да и, быть может, не вполне корректно.
Кроме того, формулировку
would have been the end of him мы, вероятно, можем перевести в духе "это могло бы стать его концом", что мягче, чем "тут ему бы настал конец", допустим.
В запасе есть еще немного мыслей по поводу поведения Гэндальфа в целом, но я их пока приберегу. =)