Probleme DNS sur freebox/HWNR-300

Bonjour a tous,

Voilà j'ai un problème depuis quelques temps, en fait quelques moi après l'achat d'un routeur wifi Hercules (Hercules Wireless N Router (HWNR-300) ).
Je vous explique,
J'ai deux ordinateur ayant internet grâce à ce routeur, l'un relié par câble Ethernet et l'autre en wifi.
Pour des raisons inexplicables, d'un moment à l'autre internet n'est plus accessible (sur les deux PC).
J'essaye de résoudre le problème via Windows, et il me dit qu'il y a une erreur au niveau du serveur DNS...
Bon vu que je ne sais pas trop comment résoudre ce problème DNS, a chaque fois que cela m'arrive je reboot le routeur ainsi que mon modem Freebox v4, et après tout redevient normal.
J'ai testé de brancher mon modem directement sur un PC (sans routeur) au moment ou j'ai cette erreur, et là internet est accessible et il n'y a plus d'erreur... :s

Je pense que l'erreur DNS provient alors de mon routeur ?
Au niveau configuration, le routeur est en DHCP auto ainsi que dans les propriété réseau de mes 2 PC.
Je n'ai donc pas entré d'adresse DNS...
PC branché par Ethernet : Windows XP SP3
PC wifi : Seven


Merci de votre aide !