Uso IIS. É o meu servidor HTTP, pois assim ofereço php, asp e asp.net para meus clientes. E grande parte deles são sítios em asp.

Permalinks sempre teve um comportamento e configuração diferentes no IIS, porém já havia descoberto a manha para usá-las. Ao atualizar para a versão 2.6 me vi novamente sem. Só aparecia erro 404. O oráculo logo me respondeu que lá fora os usuários de IIS já haviam reportado isso e a solução veio rápido. É simples:

Estabeleça nomes base para a Categoria e para a Tag também. Nem que seja repetindo os que elas já tem, /category e /tag. Eu, por exemplo, coloquei /categoria e /tag.

E pronto.

[atualização em 07/08/08]
O problema das URLs também acontece com o Apache, como o Vinícius relata.

O Marcolino publicou uma solução com alguns passos a mais. A a solução que sugeri acima resolveu plenamente meu problema com as URLs. Caso o que está acima não funcione, tente a solução do Marcolino.
[/atualização]