Conseil pour une solution de cablage switch, routeur ??

Objectif:
Avoir internet dans 2 pièce différentes, relativement loins de la prise de téléphone(simple normalement, mais vous allez voir)

Interdit:
Pas de WIFI.

Mise en situation:
A partir de la prise téléphopnique, j'ai deux rallonge RJ11 qui vont dans chacune des pièces, cela me permettais d'utiliser internet dans un chambre OU dans une autre par l'intermédiaire d'un modem usb que l'on baladais... moyen.. J'ai essayé la livebox, bien en usb et en ethernet, mais le wifi ne marche pas sur l'un des ordis.
J'ai récup un 2eme modem usb, donc je le promène plus ^^.

Contrainte:
Je souhaiterais remplir l'objectif tout en gardant mes rallonges "RJ11", et mes modems usb..

Question:
Est-ce qu'un routeur avec entrée RJ11 et sorti RJ11 existe ???
Est-ce que c un switch qu'il me faut ??
Avez vous une autre solution ???
J'y connais pas grand chose.....

Merci de me donner des liens du matériel que vous me proposez...