五玉翟公祠正门两边有一组对联：“系出南阳翠峰聚秀延芳泽，派分莞邑仁厚流徽续瑞祥”。短短22字，已经道出了翟公祠先祖的来源。
北宋年间，徽州（今安徽）休宁县有一位叫翟观的人，他是明道元年（1032年）岁贡、明道二年乡荐，授官为岚县教谕，后升临江府判，官至按察佥事。
他生有六儿子：徴、徽、颢、显、举、兴。其中，次子翟徽，号翠峰，曾为北宋哲宗元祐六年（1091年）进士，官至工部郎中。
翟氏入粤，翟观是一大关键人物。据了解，靖康之变(1126～1127)后，北宋灭亡，翟观举家南迁避难，与子翟徽、翟显、翟兴迁至广东南雄珠玑巷，在此生活了一段时间。
随后康王赵构建南宋王朝，定都临安（今杭州）。翟徽仍心怀雄图大略，希望能够继续为国效力，于是，他独自前往临安，向朝廷献策以收复失地。而此时正值秦桧把持朝政，主张求和。翟徽见此心灰意冷，认定朝廷局势无可挽回，于是返回南雄。
也许是因为南雄地狭人稠，生活环境差，他们选择继续南行至东莞邑城，最终于南街（今东莞宾馆一带）定居。
翟观及其三子作为翟氏入粤之太始祖。而今东城罗村、石碣杨梅洲、南城周溪之翟氏，皆翟徽之后，翟徽也被称为翠峰公。