Lorsqu'il se réveilla le lendemain, Bilbo constata que ses hôtes avaient pris un copieux déjeuner, mais il ne trouva aucune trace d'eux, hormis la vaisselle qu'ils lui avaient laissée. Il en fut soulagé, pensant que les Nains étaient partis sans lui et qu'il n'aurait donc pas à se lancer dans l'aventure évoquée la veille. Pourtant, un sentiment de regret l'envahit. Le bridant une fois de plus, il s'affaira, afin d'oublier les récents événements qui l'avaient troublé.

Il commençait tout juste à se reposer lorsque Gandalf apparut, lui demandant s’il avait lu "le mot" et si oui, quand il pensait partir. Bilbo, qui n'avait rien remarqué, se demanda de quoi il voulait lui parler, jusqu’à ce que Gandalf lui tende une lettre qui attendait sur la cheminée. Elle était des Nains, lui détaillant les modalités de son travail et lui donnant rendez-vous le matin même à onze heures, dans une auberge.
Gandalf le fit courir tout le long de la route pour qu'il ne soit pas en retard et, au moment- même où il arrivait, les Nains s'arrêtèrent près de lui et le firent monter sur un poney, sans lui laisser le temps de se remettre de sa surprise ou d'emporter quelques affaires. Gandalf les rejoignit un peu plus loin, apportant avec lui quelques effets personnels de Bilbo.

Ils traversèrent tout d’abord un pays agréable, peuplé de Hobbits, puis finirent par arriver aux Terres Solitaires où le temps, tout comme les routes et l'humeur de Bilbo, était exécrable. Ils s'aperçurent que Gandalf avait disparu, au moment où ils auraient bien eu besoin de lui pour les aider à allumer un feu dans le vent déchaîné.
Une grande part de leur nourriture avait été perdue par le poney qui la portait et ils commençaient à désespérer lorsqu'ils aperçurent une lumière sur une colline non loin de là.
Bilbo fut dépêché d’office, étant donné son statut "d'habile cambrioleur" et s'approcha sans  bruit. Autour du feu se tenaient trois trolls, qui faisaient rôtir de savoureuses grillades de mouton. Pourtant  cette viande semblait ne pas convenir à deux d’entre eux, qui se plaignaient de n'avoir plus de chair humaine à leur disposition.
Bilbo resta là, sans agir, mais n'osa pas retourner près de Thorïn les mains vides. Il s'approcha alors de l'un des trolls et sortit de sa poche un énorme porte-monnaie. Le troll s'en rendit compte et l'attrapa. Une dispute éclata entre lui et ses deux compères sur ce qu'il convenait de faire : le rôtir ou le laisser aller.
Les Nains, intrigués par l'agitation sur la colline vinrent un à un et se firent enfermer dans des sacs. Thorïn, qui arriva en dernier, lutta longtemps et finit par être lui aussi recouvert d'un sac.

Tandis que les trolls continuaient à se disputer sur la meilleure façon d’accommoder leurs "prises",  Gandalf revint. Aucun ne put le voir et il sema la discorde entre eux, parlant tour à tour avec la voix de l'un puis de l'autre. Les trolls ne virent ainsi pas arriver l'aube et furent pétrifiés en pleine action.
Gandalf libéra enfin les Nains avec l'aide de Bilbo, puis tous partirent à la recherche de la caverne des trolls. Ils finirent par la localiser, et ouvrirent la porte grâce à une clef trouvée par Bilbo. La caverne était remplie des rapines des trolls : Gandalf et Thorïn prirent chacun une belle épée incrustée de pierreries et Bilbo choisit pour lui-même un couteau. Ils sortirent ensuite de la nourriture, de la boisson et de l'or en abondance et déjeunèrent joyeusement sur l'herbe.
Sur ce, ils cachèrent l'or au cas où ils reviendraient, et Gandalf leur apprit que lorsqu'il les avait quittés, il était parti en avant et avait rencontré deux amis de Rivendell, la demeure d' Elrond. Ceux-ci lui avaient révélé la présence des trolls, ce qui l'avait amené à rebrousser chemin en toute hâte, pour retrouver ses compagnons.