Skvallertorget har anor från 1600-talet och kanske även tidigare. Under 1900-talet kom torget också att kallas för Lilla torget. Innan år 1962 kallades detta torg för "Samtalstorget". Den främsta anledningen till namnet var att man trodde att torget varit en mötesplats där folk samtalat om vardagliga ting. Men torgets namn kommer troligen efter vattnets "skvaller". En annan teori är att torget fått sitt namn efter "Sqwal Gränden", efter en 1700-tals karta. En annan teori är att det legat skvaltkvarnar i närheten. En tredje teori är att torget fått sitt namn efter folks skvaller. Torget var, utan teorier, under många år en plats där folk i staden hämtade vatten och samtalade. Den del av torget som idag inte används för trafik består av en staty och plats för uteservering.