Вообще теоретически ты ноут можешь подключить к компу тем-же кабелечком что и к модему подключаешь. Современные сетевухи вроде автоматом тип кабеля определять должны. Если не получится, то да, нужен кабелечек с другой разводкой контактов.
Итого модем с "1 порт LAN 10/100BASE-TX Ethernet с разъемом RJ-45". Тогда раз второй вариант, то нужен свич одна штука и еще два кабеля наподобие того которым подключен твой ноут к модему. Только длину прикинь заранее, чтобы потом не оказалось что они короткие. На основном компе настройки сетевого подключения точно такие как на ноуте, только IP адрес должен отличаться последним числом. Не знаю какие цены у вас там, но у нас это все в 15-20 уе выльется примерно.