Rede do IES de Rodeira

Introducción

A estrutura de comunicación informática do IES de Rodeira está dividida en distintas redes. A principal división é entre as redes dos ciclos, que utilizan unha liña de fibra para a súa conexión con internet e a rede do centro, que sae a través da infraestrutura de rede da Xunta de Galiza. As dúas redes están desconectadas entre sí de xeito que físicamente non é posible acceder dende a rede dos ciclos á rede do centro.

As redes dos ciclos están divididas a súa vez entre a rede dos ciclos de informática, a rede dos ciclos de electrónica e a rede dos ciclos de administrativo que saen hacia internet a través dun proxy que conecta coa rede de saída a internet

A rede do centro a súa vez está dividida (xestionado pola xunta) en dúas redes separadas por VLAN. A rede de docencia e a rede de administración, sen acceso entre elas.

O resumo das redes é o seguinte:

• Rede do centro: 10.65.24.0/23
• Redes dos Ciclos: - Informática: 172.20.0.0/24 - Electrónica: 172.16.0.0/24 - Administrativo: 172.17.0.0/24
• Rede de Internet: 192.168.1.0/24
• Rede de Virtualización: 192.168.2.0/24 (interconexión entre os servidores de virtualización)
• Rede de Hardware: 192.168.0.0/24 (acceso ao hardware de rede (switches) )

As distintas redes están organizadas en VLAN de xeito que a separación sexa completa. Como queremos ofrecer servizos virtualizados á rede de docencia, os servidores de virtualización terán acceso físico á rede do centro (VLAN 6), aínda que non terán configurada ningunha IP.

Polo tanto, os servidores de virtualización terán acceso físico ás seguintes redes:

• VLAN por defecto (default, ou 1): Rede do hardware. A través desta rede é posible comunicar os servidores de virtualización co hardware de rede (switches físicos). Se utilizará a rede 192.168.0.0/24
• VLAN 10: Rede de virtualización. Os servidores de virtualización se comunicarán entre eles a través desta VLAN usando a rede 192.168.2.0/24
• VLAN 2: Rede do ciclo de Electrónica. Os equipos da rede de electrónica utilizarán rangos de IP da dirección de rede 172.16.0.0/16
• VLAN 3: Rede do ciclo de Administrativo. Os equipos da rede de administrativo utilizarán rangos de IP da dirección de rede 172.17.0.0/16
• VLAN 4: Rede do ciclo de Informática. Os equipos da rede de informática utilizarán rangos de IP da dirección de rede 172.20.0.0/16
• VLAN 5: Actualmente non está en uso. Nesta rede se situarían os puntos de acceso inalámbrico públicos
• VLAN 6: Rede do centro, VLAN de docencia. Nesta rede se situarían os equipos da rede de docencia do centro (aulas en xeral e equipamento común do profesorado). Obteñen a súa IP mediante DHCP no rango 10.65.24.0/23
• VLAN 9: Rede de Internet. Esta é a rede con acceso directo ao router de fibra do proveedor de servizos e nela estarán situados os servizos da DMZ. O rango de IP corresponde coa rede 192.168.1.0/24, sendo o router de fibra o equipo 192.168.1.1/24.

Para o acceso a internet das redes de informática, electrónica e administrativo se utilizará unha máquina actuando de proxy con tarxetas de rede nas VLAN 2,3,4 e 9 co proxy squid instalado e o interfaz web de acceso websqusr.

Como xestionaremos nos as redes para os contedores LXC que utilicemso, debemos desactivar lxc-net para que non inicie a ponte lxcbr0 e inicie dnsmasq (systemctl disable lxc-net). configuración de este bridge se fai normalmente en /etc/default/lxc-net, e toma os seus valores de configuración por defecto do script /usr/libexec/lxc/lxc-net

Servidores de Virtualización

• 
• 
• 
• 
• 

Todos os servidores de virtualización xestionan a rede mediante Openvswitch creando as seguintes pontes:

• gateway: Serve como conexión a internet. Conecta cun contedor LXC (rt-internet-xxxx) que terá conexión con internet
• rodeira: Serve como conexión á rede de Docencia do centro. Conecta cun contedor LXC (rt-docencia-xxxx) que estará conectado coa rede do centro
• asir: Serve como conexión á rede dos ciclos de informática. Conecta cun contedor LXC (rt-asir-xxxx) que estará conectado coa rede dos ciclos de informática
• lan: E a ponte que serve para as conexión físicas con todas as VLAN. Aquí estará en bonding as tarxetas de rede físicas do servidor

O bridge lan ten as interfaces físicas do servidor de virtualización en bonding (LACP) e levará todas as VLAN da rede de rodeira (trunk das vlan 2,3,4,5,6,9 e 10). Por aquí chegarán as conexións as distintas máquinas virtuais hospedadas no Host. As máquinas virtuais terán tarxetas de rede que se colocarán na VLAN apropiada no bridge lan.

Os servidores de virtualización non terán acceso directo a ningunha VLAN salvo a 10, destinada á comunicación entre os distintos servidores de virtualización.

Para permitir o acceso dende as distintas redes aos servidores de virtualización se proporciona un acceso indirecto utilizando 3 contedores intermedios LXC que se executan nos propios servidores:

• rt-internet: Contedor Firewall-LXC. E o equipo accesible dende internet mediante SSH, e permite acceder logo ao servidor de virtualización ou as máquinas virtuais situadas na DMZ
• rt-asir: Contedor Firewall-LXC. É o equipo que separa o servidor de virtualización da rede de informática. Permite o acceso indirecto dende a rede de informática ao servidor de virtualización e a servizos presentes en oturas redes.
• rt-docencia: Contedor Firewall-LXC. E o equipo que separa o servidor de virtualización da rede de rodeira (docencia). Permite acceder dende o servidor de virtualización aos equipos da rede de docencia e acceder a servizos situados en outras redes.

As máquinas virtuais KVM utilizarán dispositivos LVM como disco. Estes dispositivos poden ser locais (presentes no host de virtualización que está a executar a máquina) ou remotas (dispositivo montado por iSCSI)

Gondor

Descricion do Hardware

Intel(R) Core(TM) i7-8700 CPU @ 3.20GHz, 12 Cores. 64 GB de RAM

No arranque se deben crear os seguintes veth pairs:

• internet@eth-inet
• vservers@eth-vservers
• docencia@eth-doc
• informatica@eth-info

Tamén é necesario cargar a configuración dos targets iSCSI.

Para facer isto, se crean os servicios de systemd network-config.service e targets-iscsi.service en /etc/rodeira-scripts e se activan en /etc/sytemd/system

Configuración da Rede

Interface	Tipo	Ponte OVS	VLAN	Bond	IP	Descrición
enp4s0	Físico	lan	trunk	bond0	-	Interface LACP
enp3s0f0	Físico	lan	trunk	bond0	-	Interface LACP
enp3s0f1	Físico	lan	trunk	bond0	-	Interface LACP
enp2s0	Físico	-	-	-	192.168.0.3/24	Enlace coa rede do hardware de rede (switches), permite conectarse e xestionar os switches físicosipa
internet@eth-inet	virtual	-	-	-	192.168.254.1/24	(veth pair) Conexión co contedor LXC que está conectado a rede de saída a internet
eth-inet@internet	virtual	gateway	-	-	-	(veth pair) Parella de "internet", este extremo é o que vai insertado no bridge "gateway"
docencia@eth-doc	virtual	-	-	-	192.168.253.1/24	(veth pair) Conexión co contedor LXC que está conectado a rede do centro (docencia)
eth-doct@docencia	virtual	rodeira	-	-	-	(veth pair) Parella de "docencia", este extremo é o que vai insertado no bridge "rodeira"
informatica@eth-info	virtual	-	-	-	192.168.252.1/24	(veth pair) Conexión co contedor LXC que está conectado a rede do ciclo de informática
eth-info@informatica	virtual	asir	-	-	-	(veth pair) Parella de "informática", este extremo é o que vai insertado no bridge "asir"
vservers@eth-vservers	virtual	-	-	-	192.168.2.1/24	(veth pair) Conexión coa rede de interconexión dos servidores de virtualización. Permite a comunicación entre os distintos servidores.
eth-vservers@vservers	virtual	lan	10	-	-	(veth pair) Parella de "vservers", este extremo é o que vai insertado no bridge "lan" na VLAN 10

Rutas

Os servidores de virtualización teñen acceso a todas as redes, pero precisan de rutas específicas para evitar o NAT. As rutas configuradas son as seguintes:

• Gateway 192.168.254.2 (vía contedor rt-internet)
• 10.65.24.0/23 via docencia (192.168.253.2)
• 172.20.0.0/16 via informatica (192.168.252.2)
• 192.168.123.0/24 via informatica (192.168.252.2) - Acceso aos servizos web en contedores LXC en proxyserver

Firewall

Os servidores de virtualización deben estar protexidos do tráfico externo. Para elo as políticas INPUT e FORWARD do firewall serán DROP e de OUTPUT será ACCEPT. O Firewall debe permitir:

• Entrada (INPUT)

1. Se permite todo o tráfico de conexións xa establecidas ou relacionadas
2. Se permite o tráfico de entrada do interface lo
3. Se permite a entrada SSH (porto 22) dende o contedor LXC rt-informática (informatica)
4. Se permite a entrada SSH (porto 22) dende o contedor LXC rt-docencia (docencia)
5. Se permite a entrada SSH (porto 22) dende o contedor LXC rt-internet (internet)
6. Se permite todo o tráfico da rede de virtualización (192.168.2.0/24) a través da interface vservers
7. Se permite o acceso da rede de hardware de comunicacións (192.168.0.0/24, a que están conectados os switches) a través da interface física enp2s0

• Forward (FORWARD)

1. Se permite todo o tráfico de conexións xa establecidas ou relacionadas
2. Se permite o tráfico orixinado no container rt-informatica a traves da interface informatica (192.168.252.2) dirixido hacia internet
3. Se permite o tráfico orixinado no container rt-docencia a traves da interface docencia (192.168.253.2) dirixido hacia internet
4. Se permite o tráfico procedente do host 172.20.0.1 (proxyserver) da rede informática que faga consultas ao Controlador de Dominio Samba4 de docencia 10.65.24.55/23 (copernico) e ao Controlador Secundario 10.65.24.54/23 (tycho) no porto 636

• Tradución de direccións (NAT)

1. Todo o tráfico que salga hacia a rede informática debe levar como IP de orixe 192.168.2.1
2. Todo o tráfico que salga hacia a rede docencia debe levar como IP de orixe 192.168.2.1
3. Tdodo o tráfico que salga hacia a rede de hardware (enp2s0) debe levar como IP de orixe 192.168.0.3

Containers LXC

• rt-internet
  • Contedor LXC que da conectividade con internet aos servidores de virtualización a través do bridge openvswitch gateway na rede 192.168.254.0/24.
  • Equipo na DMZ para acceso remoto por ssh no porto 23 protexido por fail2ban
  • IP: eth0: 192.168.1.11/24 e eth1: 192.168.254.2/24
  • Gateway 192.168.1.1/24 (Router de Fibra)
  • Todo o tráfico que sae pola eth0 se lle fai SNAT a dirección orixe 192.168.1.11
  • route 192.168.0.0/24 a través de 192.168.254.1 (acceso a rede do hardware (switches) para podelos xestionar dende o departamento e que teñan acceso a internet.
  • route 192.168.2.0/24 a través de 192.168.254.1, para que os servidores de virtualización reciban a resposta dende a DMZ e internet.
  • route 192.168.252.0/24 a través de 192.168.254.1, para que rt-asir reciba a resposta dende a DMZ e internet.
  • route 192.168.253.0/24 a través de 192.168.254.1, para que rt-docencia reciba a resposta dende a DMZ e internet.

• rt-docencia
  • Contedor LXC que da conectividade coa rede de docencia a través do bridge openvswitch rodeira na rede 192.168.253.0/24.
  • IP: eth: 10.65.24.53/23 e eth1: 192.168.253.2/24
  • Gateway 192.168.253.1
• rt-informatica
  • Contedor LXC que da conectividade coa rede de informática a través do bridge openvswitch asir na rede 192.168.252.0/24.
  • IP: eth0: 172.20.1.1/16 e eth1: 192.168.252.2/24
  • Gateway 192.168.252.1
  • route 192.168.123.0/24 a través de 172.20.0.1 (proxyserver) para que as web en proxyserver podan acceder ao controlador de dominio da rede de docencia.
  • servicio NFS de compartición de espazo en disco de gondor.iesrodeira.com coa rede de informática.

Barbol

Configuración da Rede

Interface	Tipo	Ponte OVS	VLAN	Bond	IP	Descrición
enp4s0	Físico	lan	trunk	bond0	-	Interface LACP
enp3s0f0	Físico	lan	trunk	bond0	-	Interface LACP
enp3s0f1	Físico	lan	trunk	bond0	-	Interface LACP
enp2s0	Físico	-	-	-	192.168.0.3/24	Enlace coa rede do hardware de rede (switches), permite conectarse e xestionar os switches físicos
internet@eth-inet	virtual	-	-	-	192.168.254.1/24	(veth pair) Conexión co contedor LXC que está conectado a rede de saída a internet
eth-inet@internet	virtual	gateway	-	-	-	(veth pair) Parella de "internet", este extremo é o que vai insertado no bridge "gateway"
docencia@eth-doc	virtual	-	-	-	192.168.253.1/24	(veth pair) Conexión co contedor LXC que está conectado a rede do centro (docencia)
eth-doct@docencia	virtual	rodeira	-	-	-	(veth pair) Parella de "docencia", este extremo é o que vai insertado no bridge "rodeira"
informatica@eth-info	virtual	-	-	-	192.168.252.1/24	(veth pair) Conexión co contedor LXC que está conectado a rede do ciclo de informática
eth-info@informatica	virtual	asir	-	-	-	(veth pair) Parella de "informática", este extremo é o que vai insertado no bridge "asir"
vservers@eth-vservers	virtual	-	-	-	192.168.2.1/24	(veth pair) Conexión coa rede de interconexión dos servidores de virtualización. Permite a comunicación entre os distintos servidores.
eth-vservers@vservers	virtual	lan	10	-	-	(veth pair) Parella de "vservers", este extremo é o que vai insertado no bridge "lan" na VLAN 10

Numenor

Descricion do Hardware

Dual Xeon E5520 2.27GHZ

4 cores 8 Threads (16 CPU)

32 GB RAM

Espazo de Disco

nvme0 Disco nvme CT1000P2SSD8 931,51 GB

      Volume lóxico nvme  800+100
      thin-pool  pool: 800GB
            saruman-dc
            radagast-dc
            tycho-dc
            copernico-dc
            ...

sda SSD Kingston SA400S3 223,57GB

      Volume lóxico sys  100GB + 10.50 Gb
         root  (50GB)
         var (30.25GB)
         home (5 GB)
         thin-pool pool: 15GB
            rt-asir   (4GB)
            rt-internet (4GB)
            rt-docencia (4GB)

sdb SSD Kingston SA400S3 223,57GB

      Volume lóxico sys  100GB + 10.50 Gb
      thin-pool pool: 100GB
         root (50GB)
         var  (30.25GB)
         home (5GB)
         rt-asir  (4GB)
         rt-internet  (4GB)
         rt-docencia  (4GB)

Volume Lóxico data 2.5T + 2.8T

    thin-pool: 1.8 TB
       radagast-data
       copernico-data
       proxyserver-data
       webdev-data
       services-data
    sdg / sdf : RAID md0
         ST4000DM004-2CV1 - 3.64TB
    sdd / sdc : RAID md2
         WDC WD20EZRX-00D - 1.82TB

Configuración da Rede

Interface	Tipo	Ponte OVS	VLAN	Bond	IP	Descrición
enp4s0	Físico	lan	trunk	bond0	-	Interface LACP
enp3s0f0	Físico	lan	trunk	bond0	-	Interface LACP
enp3s0f1	Físico	lan	trunk	bond0	-	Interface LACP
enp2s0	Físico	-	-	-	192.168.0.3/24	Enlace coa rede do hardware de rede (switches), permite conectarse e xestionar os switches físicos
internet@eth-inet	virtual	-	-	-	192.168.254.1/24	(veth pair) Conexión co contedor LXC que está conectado a rede de saída a internet
eth-inet@internet	virtual	gateway	-	-	-	(veth pair) Parella de "internet", este extremo é o que vai insertado no bridge "gateway"
docencia@eth-doc	virtual	-	-	-	192.168.253.1/24	(veth pair) Conexión co contedor LXC que está conectado a rede do centro (docencia)
eth-doct@docencia	virtual	rodeira	-	-	-	(veth pair) Parella de "docencia", este extremo é o que vai insertado no bridge "rodeira"
informatica@eth-info	virtual	-	-	-	192.168.252.1/24	(veth pair) Conexión co contedor LXC que está conectado a rede do ciclo de informática
eth-info@informatica	virtual	asir	-	-	-	(veth pair) Parella de "informática", este extremo é o que vai insertado no bridge "asir"
vservers@eth-vservers	virtual	-	-	-	192.168.2.1/24	(veth pair) Conexión coa rede de interconexión dos servidores de virtualización. Permite a comunicación entre os distintos servidores.
eth-vservers@vservers	virtual	lan	10	-	-	(veth pair) Parella de "vservers", este extremo é o que vai insertado no bridge "lan" na VLAN 10

Galileo

Configuración da Rede

Interface	Tipo	Ponte OVS	VLAN	Bond	IP	Descrición
enp4s0	Físico	lan	trunk	bond0	-	Interface LACP
enp3s0f0	Físico	lan	trunk	bond0	-	Interface LACP
enp3s0f1	Físico	lan	trunk	bond0	-	Interface LACP
enp2s0	Físico	-	-	-	192.168.0.3/24	Enlace coa rede do hardware de rede (switches), permite conectarse e xestionar os switches físicos
internet@eth-inet	virtual	-	-	-	192.168.254.1/24	(veth pair) Conexión co contedor LXC que está conectado a rede de saída a internet
eth-inet@internet	virtual	gateway	-	-	-	(veth pair) Parella de "internet", este extremo é o que vai insertado no bridge "gateway"
docencia@eth-doc	virtual	-	-	-	192.168.253.1/24	(veth pair) Conexión co contedor LXC que está conectado a rede do centro (docencia)
eth-doct@docencia	virtual	rodeira	-	-	-	(veth pair) Parella de "docencia", este extremo é o que vai insertado no bridge "rodeira"
informatica@eth-info	virtual	-	-	-	192.168.252.1/24	(veth pair) Conexión co contedor LXC que está conectado a rede do ciclo de informática
eth-info@informatica	virtual	asir	-	-	-	(veth pair) Parella de "informática", este extremo é o que vai insertado no bridge "asir"
vservers@eth-vservers	virtual	-	-	-	192.168.2.1/24	(veth pair) Conexión coa rede de interconexión dos servidores de virtualización. Permite a comunicación entre os distintos servidores.
eth-vservers@vservers	virtual	lan	10	-	-	(veth pair) Parella de "vservers", este extremo é o que vai insertado no bridge "lan" na VLAN 10

Máquinas Virtuais

proxyserver

Máquina virtual KVM con 6GB de RAM e 4 cores. Actualmente funcionando baixo o Sistema Operativo Debian Buster (oldstable). Realiza as seguintes funcións:

• Host DMZ para http/https. Todas as peticións chegarán a esta máquina.
• Proxy-cache Squid, que se utiliza tamén para controlar o acceso a internet das redes de informática, electrónica e administrativo
• Firewall para todas as redes, que tamén servirá para controlar o acceso a internet das distintas redes
• Servidor web nginx, que servirá as seguintes aplicacións web:
  • dbase.iesrodeira.com: Panel Adminer de administración de bases de datos, So accesible dende a rede de informática
  • crl.iesrodeira.com: Descarga de certificado da CA iesrodeira.com e da lista de revocación. Accesible dende internet
  • internet.iesrodeira.com: Panel de xestión do acceso a internet. Accesible dende internet
  • correo.iesrodeira.com: Xestor de e-mail web roundcube. Accesible dende internet
  • software.iesrodeira.com: Descarga de software (isos de Windows, de Linux ... etc)
• O servidor nginx tamén servirá de proxy inverso para acceder varias aplicacións funcionando en outros servidores como as seguintes:
  • iaw.iesrodeira.com: Servidor Web para prácticas de IAW. Máquina LXC iaw en webdev
  • inventario.iesrodeira.com: Aplicación de Inventario. Entre outras cousas ten información sobre as IP das redes. Máquina LXC webservices en proxyserver
  • moodle.iesrodeira.com: Aula virtual Moodle para o ciclo. Máquina LXC moodle en proxyserver
  • msdn.iesrodeira.com: Xestor de Licenzas de software de Microsoft. Máquina LXC webservices en proxyserver
  • par.iesrodeira.com: Curso de Planificación e Administración de redes. Máquina LXC webservices en proxyserver.So accesible dende a rede de informática
  • redes.iesrodeira.com: Cursos de redes (PAR e cursos de CISCO). Máquina LXC webservices en proxyserver. So accesible dende a rede de informática
  • sshtunnel.iesrodeira.com: Control de túneis SSH para acceso a os equipos de ASIR.Máquina LXC webservices en proxyserver.
  • trac.iesrodeira.com: Xestor de Proxectos de Software e repositorio Subversion. Máquina LXC repository en proxyserver.
  • asir.iesrodeira.com: Xestor de Usuarios do dominio Samba4 ASIR.Máquina LXC webservices en proxyserver.
  • web.iesrodeira.com: Xestor de contidos mediawiki (esta mesma páxina).Máquina LXC mediawiki en proxyserver.
  • moodle.iesrodeira.com: Xestor de contidos moodle. Aula virtual para o ciclo ASIR.Máquina LXC moodle en proxyserver.

Tarxetas de rede:

• ens4: Tarxeta de acceso a rede de electrónica: 172.16.0.1/16
• ens11: Tarxeta de acceso a rede de administrativo: 172.17.0.1/16
• ens3: Tarxeta de acceso a rede de informática: 172.20.0.1/16
• ens12: Tarxeta de acceso a DMZ de acceso a Internet: 192.168.1.253/24
• lxcbr0: Ponta de conexión dos contedores LXC que albergan as aplicacións web (moodle,mediawiki,webservices e repository): 192.168.123.1/24

O gateway é o router de fibra con IP 192.168.1.1

As políticas establecidas no firewall son as seguintes:

1. Por defecto se impide o tráfico INPUT e FORWARD (políticas a DROP) e se acepta todo o tráfico de saida (OUTPUT)
2. ip ro