休屠王因思本部损失不大，估计单于不会杀己，故而不从。浑邪王便杀休屠王，率其部众四万余人降汉。汉武帝准纳其降，并封浑邪王为列侯。

金日磾当时只有十四岁，因父亲休屠王被杀，无所依归，便与母亲阏氏、弟今伦随浑邪王降汉，被安置在黄门署饲养马匹。

汉武帝在宫中宴游，阅马助兴。因见金日磾体形魁伟、容貌威严，牵马从殿上走过，乃感惊讶，便向御马监询问：此青年乃是何人？

马监见问，跪地奏道：此乃匈奴休屠王之子，金天氏之后也。

汉武帝闻而大奇，就封金日磾为御马监，原马监另调别职。金日磾自此之后一路升迁，累任为侍中、驸马都尉、光禄大夫，极得汉武帝信任宠爱，赏赐累积千金。

金日磾母亲教诲两子，皆有规矩，汉武帝甚是赞许。金母死后，汉武帝下诏在甘泉宫为其画像，题名《休屠王阏氏》。金日磾每次看见画像都必下拜涕泣，然后方才离开。

汉武帝爱屋及屋，对金日磾二子都加宠爱，称为弄儿，常都使在身侧。

次子弄儿从后面围住汉武帝脖颈，撒娇弄痴；金日磾凑巧看见，以目瞪之。弄儿惧怕而走，一边哭道：我爹爹发怒，还家后必要责罚我矣。

汉武帝不悦，便对金日磾说道：卿何怒我弄儿哉！

金日磾哭笑不得，只得谢罪而出。又忽见长子弄儿，在殿外正与宫女戏闹，于是唤回家中，亲自拔刀杀之。

汉武帝闻知大怒，问其杀子原因。

金日磾跪奏：世间岂有食子之虎？只因弄儿恃陛下之宠，调戏宫女；今若不杀，待来年长大成人，必将秽乱宫廷，遗臣灭门之害，且对陛下名声有损！

汉武帝闻此，哀伤落泪。其后更对金日磾看重，谓其有大将之才，名臣风范。

朝中时有马何罗及马通、马成安兄弟三人，皆与江充交好；马通更因诛杀太子刘据，得到天子封爵。后来只因江充宗族朋党全被诛杀，马何罗大惧，遂与兄弟策谋造反。

金日磾见其兄弟神情异样，暗中留意，加强防范。马何罗也觉察到金日磾用意，因此没有机会动手。忽有一日，金日磾偶感小恙，留在殿内休息，汉武帝宿止林光宫中。

马何罗见此，以为时机难得，便与二弟马通、马成安假传圣旨，谋划深夜入宫行刺。