Можно.
Для начала вам нужно соединить оба компьютера между собой и выставить IP-адреса и маску подсети. Затем подключение к интернету объявите общим и пингуйте. Если пинги не пройдут - редактируйте настройки брандмауэра. Вкратце все.
ПыСы: В справке Windows все это подробнее описано