儒颜钧，心学大儒罗汝芳，以及聂豹，欧阳德，程文德都在灵济宫讲学，当时称一时盛况
不过张居正在位时，的为政作风，堪称务实黜虚，对于这样的空谈一向是予以贬斥，而且也不喜欢读书人通过这样的讲学大会来反对朝廷，所以就被严令禁止了
但是张居正去位后，灵济宫讲学大会又起，无数在京的读书人都蜂拥而至来到这里