薛怀义原名冯小宝，本来是洛阳街上打拳卖艺的。偶然间，他健壮体魄被公主家的丫鬟看呆了眼睛。两人便开始有了暧昧的交往，在一次私会中，被这位千金公主发现了。公主随即呵斥丫鬟，却没收了冯小宝。

这位公主想到了深居宫里的武则天。就将冯小宝奉送给了武则天。武则天很是受用，将冯小宝改了女婿薛绍的姓，成了薛绍的族叔薛怀义。

薛怀义一时间成了毒品一样，武则天不能离开。为了让薛怀义进宫方便，武则天就让薛怀义到白马寺做了主持，这样可以自由进入宫中，与其研究佛经。实际做的事，都知道。

薛怀义一个市井之徒，哪里见过这等荣耀。一下膨胀的不可一世。搞得洛阳城鸡飞蛋打，沸沸扬扬。

一日，薛怀义带着一帮人进宫，在宫门口遇到了宰相苏良嗣。唐朝宰相历来是地位尊崇，号称“礼绝百僚”，是“百官之首”。当然不可能给这个”面首”让道。

薛怀义那也是骄横惯了，没把宰相看在眼里，可以说是十足的没文化。但凡懂得礼数，就该知道宰相是百官之首。于是，两队人马互不相让，就僵持在那了。

苏良嗣大怒，我朝中重臣，有大事商议，你一个面首敢如此无礼。派人将薛怀义抓来眼前，当场打了几十个耳光。薛怀义的手下都是些市井无赖，没见过这阵势，只得看着薛怀义挨打。

薛怀义从进宫以来也没受过这羞辱啊，到武则天面前就哭诉，要求武则天给他做主。武则天听了此事，只是轻轻的抚摸他的脸，说道“你也不要太张扬了，以后你进出都走北门吧，南门是百官与宰相进出的门”。

薛怀义满脸委屈，却也没有办法。武则天还是分清了主次的，毕竟宰相是做国家大事的，薛怀义只是她个人私情。这件事就这样了了。

不过，武则天恩宠薛怀义，后来交给薛怀义做了几件大事，并出征突厥立有战功，封其为辅国大将军，鄂国公。也算是黑薛怀义找回点面子。