Оказывается это баг хрома и лисы. (ссылка) Решил использовать добрый div вместо fieldset.
Есть такое дело
