尹翁归幼年丧父，与叔父住在一起，练得一手好剑术，很少有对手。他担任主管诉讼的小吏，通晓法令条文。当时大将军霍光执掌朝政。霍氏亲族都住在平阳，他们的家奴门客仗势妄为，经常在市场上持兵带刀，打架斗殴，扰乱市场，负责市场管理的官吏不敢管。后来尹翁归当了市吏，法治严明，仗剑为公，吓得霍光亲族都老老实实，市场秩序又恢复到井然状态。尹翁归为官清廉公正，谁送礼也不收，那些市井无赖之徒都很怕他。

　　田延年任河东太守时，有一次巡行各县，在平阳面见县中文武官吏。他让文吏站在东面，武吏站在西面。五六十个官吏都起身就位，唯独尹翁归仍然跪着不起，说：“翁归文武皆备，愿听驱使。”田延年的从吏认为尹翁归过于傲慢，田延年却不以为然。田延年叫尹翁归站起来说话，提出问题考察尹翁归。尹翁归应对如流，田延年暗暗称奇，当即任命他为卒史，带回府舍。后来见他处理问题精明强干，诛锄豪强有谋有勇，对他更加敬重。田延年甚至觉得自己的才能不及尹翁归，便提升他担任督邮职务。

　　尹翁归又以其廉洁被推举，担任缑氏县尉，多次担任郡中各县长官，所到之处都治理得很好。后来升职补任为都内令，再次以廉洁被推举为弘农都尉，朝廷征调为东海太守。到任后，尹翁归把东海治理得清明繁荣。尹翁归以政绩优秀调入京畿地区代理右扶风这一要职，他的政绩在三辅中经常排名第一。

　　尹翁归处理政务，虽然偏向使用刑罚，但他在公卿之中，能够坚守清廉，言谈之间从不涉及私事。同时他温和谦让，不因自己品行才能出众而自大。元康四年，尹翁归因病去世，家里没有多余的财物。汉宣帝认为他是贤才，下诏说：“御史扶风翁归，清廉公正，治理百姓政绩突出，不幸英年早逝，未能成就功名，朕十分怜悯惋惜。现赐予翁归之子黄金百斤，用以供奉祭祀。”