婚前给予女方彩礼，离婚后如何处理小徐（男）家在河北家村，2010年四月份经媒人介绍，与小赵（女）见面，媒人只说是女方家困难，要彩礼，人不错。第三天，小徐家过完五万元彩礼，便登记结婚。婚后，女方以没举行婚礼为由，一直居住在娘家。2010年底，小徐从山东打工回家。年后，把小赵带到山东烟台。在烟台其间，小徐及周围人发现了小赵除了不会做家务处，精神还不太正常，例如，自己一坐半天，莫名傻笑，有时半夜还敲同租屋门。更严重的是，2011年五一其间，小赵走丢了。一个星期后由好心人联系，在二百里外的地方找到后送回老家。但她说不清自己到底是怎么走丢的。2012年春节，女方以小徐没给小赵过年钱，便去小徐家打人闹事。小徐决定离婚，但女方拒不给婚前五万元的彩礼。请问律师，这五万元的彩礼，男方有权力要回吗？