c'est tout à fait possible
si tu veux juste connecter 2 machines entres elles, rien de particulier à installer, windows a ce qu'il faut (en xp pro et 2000 pro, pas en home), linux aussi
si tu veux interconnecter les 2 réseaux, le mieux est d'utiliser ton poste debian avec openvpn
si tu ne veux pas spécialement sécuriser le réseau, ça prend 5min à faire