Rede do IES de Rodeira
Saltar á navegación
Saltar á procura
Os servidores de virtualización non terán acceso directo a ningunha VLAN salvo a 10, destinada á comunicación entre os distintos servidores de virtualización.
Introducción
A estrutura de comunicación informática do IES de Rodeira está dividida en distintas redes. A principal división é entre as redes dos ciclos, que utilizan unha liña de fibra para a súa conexión con internet e a rede do centro, que sae a través da infraestrutura de rede da Xunta de Galiza. As dúas redes están desconectadas entre sí de xeito que físicamente non é posible acceder dende a rede dos ciclos á rede do centro.
As redes dos ciclos están divididas a súa vez entre a rede dos ciclos de informática, a rede dos ciclos de electrónica e a rede dos ciclos de administrativo que saen hacia internet a través dun proxy que conecta coa rede de saída a internet
A rede do centro a súa vez está dividida (xestionado pola xunta) en dúas redes separadas por VLAN. A rede de docencia e a rede de administración, sen acceso entre elas.
O resumo das redes é o seguinte:
- Rede do centro: 10.65.24.0/23
- Redes dos Ciclos: - Informática: 172.20.0.0/24 - Electrónica: 172.16.0.0/24 - Administrativo: 172.17.0.0/24
- Rede de Internet: 192.168.1.0/24
- Rede de Virtualización: 192.168.2.0/24 (interconexión entre os servidores de virtualización)
- Rede de Hardware: 192.168.0.0/24 (acceso ao hardware de rede (switches) )
As distintas redes están organizadas en VLAN de xeito que a separación sexa completa. Como queremos ofrecer servizos virtualizados á rede de docencia, os servidores de virtualización terán acceso físico á rede do centro (VLAN 6), aínda que non terán configurada ningunha IP.
Polo tanto, os servidores de virtualización terán acceso físico ás seguintes redes:
- VLAN por defecto (default, ou 1): Rede do hardware. A través desta rede é posible comunicar os servidores de virtualización co hardware de rede (switches físicos). Se utilizará a rede 192.168.0.0/24
- VLAN 10: Rede de virtualización. Os servidores de virtualización se comunicarán entre eles a través desta VLAN usando a rede 192.168.2.0/24
- VLAN 2: Rede do ciclo de Electrónica. Os equipos da rede de electrónica utilizarán rangos de IP da dirección de rede 172.16.0.0/16
- VLAN 3: Rede do ciclo de Administrativo. Os equipos da rede de administrativo utilizarán rangos de IP da dirección de rede 172.17.0.0/16
- VLAN 4: Rede do ciclo de Informática. Os equipos da rede de informática utilizarán rangos de IP da dirección de rede 172.20.0.0/16
- VLAN 5: Actualmente non está en uso. Nesta rede se situarían os puntos de acceso inalámbrico públicos
- VLAN 6: Rede do centro, VLAN de docencia. Nesta rede se situarían os equipos da rede de docencia do centro (aulas en xeral e equipamento común do profesorado). Obteñen a súa IP mediante DHCP no rango 10.65.24.0/23
- VLAN 9: Rede de Internet. Esta é a rede con acceso directo ao router de fibra do proveedor de servizos e nela estarán situados os servizos da DMZ. O rango de IP corresponde coa rede 192.168.1.0/24, sendo o router de fibra o equipo 192.168.1.1/24.
Para o acceso a internet das redes de informática, electrónica e administrativo se utilizará unha máquina actuando de proxy con tarxetas de rede nas VLAN 2,3,4 e 9 co proxy squid instalado e o interfaz web de acceso websqusr.
Como xestionaremos nos as redes para os contedores LXC que utilicemso, debemos desactivar lxc-net para que non inicie a ponte lxcbr0 e inicie dnsmasq (systemctl disable lxc-net). configuración de este bridge se fai normalmente en /etc/default/lxc-net, e toma os seus valores de configuración por defecto do script /usr/libexec/lxc/lxc-net
Servidores de Virtualización
Todos os servidores de virtualización xestionan a rede mediante Openvswitch creando as seguintes pontes:
- gateway: Serve como conexión a internet. Conecta cun contedor LXC (rt-internet-xxxx) que terá conexión con internet
- rodeira: Serve como conexión á rede de Docencia do centro. Conecta cun contedor LXC (rt-docencia-xxxx) que estará conectado coa rede do centro
- asir: Serve como conexión á rede dos ciclos de informática. Conecta cun contedor LXC (rt-asir-xxxx) que estará conectado coa rede dos ciclos de informática
- lan: E a ponte que serve para as conexión físicas con todas as VLAN. Aquí estará en bonding as tarxetas de rede físicas do servidor
O bridge lan ten as interfaces físicas do servidor de virtualización en bonding (LACP) e levará todas as VLAN da rede de rodeira (trunk das vlan 2,3,4,5,6,9 e 10). Por aquí chegarán as conexións as distintas máquinas virtuais hospedadas no Host. As máquinas virtuais terán tarxetas de rede que se colocarán na VLAN apropiada no bridge lan.
Para permitir o acceso dende as distintas redes aos servidores de virtualización se proporciona un acceso indirecto utilizando 3 contedores intermedios LXC que se executan nos propios servidores:
- rt-internet: Contedor Firewall-LXC. E o equipo accesible dende internet mediante SSH, e permite acceder logo ao servidor de virtualización ou as máquinas virtuais situadas na DMZ
- rt-asir: Contedor Firewall-LXC. É o equipo que separa o servidor de virtualización da rede de informática. Permite o acceso indirecto dende a rede de informática ao servidor de virtualización e a servizos presentes en oturas redes.
- rt-docencia: Contedor Firewall-LXC. E o equipo que separa o servidor de virtualización da rede de rodeira (docencia). Permite acceder dende o servidor de virtualización aos equipos da rede de docencia e acceder a servizos situados en outras redes.
As máquinas virtuais KVM utilizarán dispositivos LVM como disco. Estes dispositivos poden ser locais (presentes no host de virtualización que está a executar a máquina) ou remotas (dispositivo montado por iSCSI)
Gondor
Descricion do Hardware
Intel(R) Core(TM) i7-8700 CPU @ 3.20GHz, 12 Cores. 64 GB de RAM
No arranque se deben crear os seguintes veth pairs:
- internet@eth-inet
- vservers@eth-vservers
- docencia@eth-doc
- informatica@eth-info
Tamén é necesario cargar a configuración dos targets iSCSI.
Para facer isto, se crean os servicios de systemd network-config.service e targets-iscsi.service en /etc/rodeira-scripts e se activan en /etc/sytemd/system
Espazo de Disco
Configuración da Rede
| Interface | Tipo | Ponte OVS | VLAN | Bond | IP | Descrición |
|---|---|---|---|---|---|---|
| enp4s0 | Físico | lan | trunk | bond0 | - | Interface LACP |
| enp3s0f0 | Físico | lan | trunk | bond0 | - | Interface LACP |
| enp3s0f1 | Físico | lan | trunk | bond0 | - | Interface LACP |
| enp2s0 | Físico | - | - | - | 192.168.0.3/24 | Enlace coa rede do hardware de rede (switches), permite conectarse e xestionar os switches físicosipa |
| internet@eth-inet | virtual | - | - | - | 192.168.254.1/24 | (veth pair) Conexión co contedor LXC que está conectado a rede de saída a internet |
| eth-inet@internet | virtual | gateway | - | - | - | (veth pair) Parella de "internet", este extremo é o que vai insertado no bridge "gateway" |
| docencia@eth-doc | virtual | - | - | - | 192.168.253.1/24 | (veth pair) Conexión co contedor LXC que está conectado a rede do centro (docencia) |
| eth-doct@docencia | virtual | rodeira | - | - | - | (veth pair) Parella de "docencia", este extremo é o que vai insertado no bridge "rodeira" |
| informatica@eth-info | virtual | - | - | - | 192.168.252.1/24 | (veth pair) Conexión co contedor LXC que está conectado a rede do ciclo de informática |
| eth-info@informatica | virtual | asir | - | - | - | (veth pair) Parella de "informática", este extremo é o que vai insertado no bridge "asir" |
| vservers@eth-vservers | virtual | - | - | - | 192.168.2.1/24 | (veth pair) Conexión coa rede de interconexión dos servidores de virtualización. Permite a comunicación entre os distintos servidores. |
| eth-vservers@vservers | virtual | lan | 10 | - | - | (veth pair) Parella de "vservers", este extremo é o que vai insertado no bridge "lan" na VLAN 10 |
Rutas
Os servidores de virtualización teñen acceso a todas as redes, pero precisan de rutas específicas para evitar o NAT. As rutas configuradas son as seguintes:
- Gateway 192.168.254.2 (vía contedor rt-internet)
- 10.65.24.0/23 via docencia (192.168.253.2)
- 172.20.0.0/16 via informatica (192.168.252.2)
- 192.168.123.0/24 via informatica (192.168.252.2) - Acceso aos servizos web en contedores LXC en proxyserver
Firewall
Os servidores de virtualización deben estar protexidos do tráfico externo. Para elo as políticas INPUT e FORWARD do firewall serán DROP e de OUTPUT será ACCEPT. O Firewall debe permitir:
- Entrada (INPUT)
- Se permite todo o tráfico de conexións xa establecidas ou relacionadas
- Se permite o tráfico de entrada do interface lo
- Se permite a entrada SSH (porto 22) dende o contedor LXC rt-informática (informatica)
- Se permite a entrada SSH (porto 22) dende o contedor LXC rt-docencia (docencia)
- Se permite a entrada SSH (porto 22) dende o contedor LXC rt-internet (internet)
- Se permite todo o tráfico da rede de virtualización (192.168.2.0/24) a través da interface vservers
- Se permite o acceso da rede de hardware de comunicacións (192.168.0.0/24, a que están conectados os switches) a través da interface física enp2s0
- Forward (FORWARD)
- Se permite todo o tráfico de conexións xa establecidas ou relacionadas
- Se permite o tráfico orixinado no container rt-informatica a traves da interface informatica (192.168.252.2) dirixido hacia internet
- Se permite o tráfico orixinado no container rt-docencia a traves da interface docencia (192.168.253.2) dirixido hacia internet
- Se permite o tráfico procedente do host 172.20.0.1 (proxyserver) da rede informática que faga consultas ao Controlador de Dominio Samba4 de docencia 10.65.24.55/23 (copernico) e ao Controlador Secundario 10.65.24.54/23 (tycho) no porto 636
- Tradución de direccións (NAT)
- Todo o tráfico que salga hacia a rede informática debe levar como IP de orixe 192.168.2.1
- Todo o tráfico que salga hacia a rede docencia debe levar como IP de orixe 192.168.2.1
- Tdodo o tráfico que salga hacia a rede de hardware (enp2s0) debe levar como IP de orixe 192.168.0.3
Containers LXC
- rt-internet
- Contedor LXC que da conectividade con internet aos servidores de virtualización a través do bridge openvswitch gateway na rede 192.168.254.0/24.
- Equipo na DMZ para acceso remoto por ssh no porto 23 protexido por fail2ban
- IP: eth0: 192.168.1.11/24 e eth1: 192.168.254.2/24
- Gateway 192.168.1.1/24 (Router de Fibra)
- Todo o tráfico que sae pola eth0 se lle fai SNAT a dirección orixe 192.168.1.11
- route 192.168.0.0/24 a través de 192.168.254.1 (acceso a rede do hardware (switches) para podelos xestionar dende o departamento e que teñan acceso a internet.
- route 192.168.2.0/24 a través de 192.168.254.1, para que os servidores de virtualización reciban a resposta dende a DMZ e internet.
- route 192.168.252.0/24 a través de 192.168.254.1, para que rt-asir reciba a resposta dende a DMZ e internet.
- route 192.168.253.0/24 a través de 192.168.254.1, para que rt-docencia reciba a resposta dende a DMZ e internet.
- rt-docencia
- Contedor LXC que da conectividade coa rede de docencia a través do bridge openvswitch rodeira na rede 192.168.253.0/24.
- IP: eth: 10.65.24.53/23 e eth1: 192.168.253.2/24
- Gateway 192.168.253.1
- rt-informatica
- Contedor LXC que da conectividade coa rede de informática a través do bridge openvswitch asir na rede 192.168.252.0/24.
- IP: eth0: 172.20.1.1/16 e eth1: 192.168.252.2/24
- Gateway 192.168.252.1
- route 192.168.123.0/24 a través de 172.20.0.1 (proxyserver) para que as web en proxyserver podan acceder ao controlador de dominio da rede de docencia.
- servicio NFS de compartición de espazo en disco de gondor.iesrodeira.com coa rede de informática.
Barbol
Descricion do Hardware
Espazo de Disco
Configuración da Rede
| Interface | Tipo | Ponte OVS | VLAN | Bond | IP | Descrición |
|---|---|---|---|---|---|---|
| enp4s0 | Físico | lan | trunk | bond0 | - | Interface LACP |
| enp3s0f0 | Físico | lan | trunk | bond0 | - | Interface LACP |
| enp3s0f1 | Físico | lan | trunk | bond0 | - | Interface LACP |
| enp2s0 | Físico | - | - | - | 192.168.0.3/24 | Enlace coa rede do hardware de rede (switches), permite conectarse e xestionar os switches físicos |
| internet@eth-inet | virtual | - | - | - | 192.168.254.1/24 | (veth pair) Conexión co contedor LXC que está conectado a rede de saída a internet |
| eth-inet@internet | virtual | gateway | - | - | - | (veth pair) Parella de "internet", este extremo é o que vai insertado no bridge "gateway" |
| docencia@eth-doc | virtual | - | - | - | 192.168.253.1/24 | (veth pair) Conexión co contedor LXC que está conectado a rede do centro (docencia) |
| eth-doct@docencia | virtual | rodeira | - | - | - | (veth pair) Parella de "docencia", este extremo é o que vai insertado no bridge "rodeira" |
| informatica@eth-info | virtual | - | - | - | 192.168.252.1/24 | (veth pair) Conexión co contedor LXC que está conectado a rede do ciclo de informática |
| eth-info@informatica | virtual | asir | - | - | - | (veth pair) Parella de "informática", este extremo é o que vai insertado no bridge "asir" |
| vservers@eth-vservers | virtual | - | - | - | 192.168.2.1/24 | (veth pair) Conexión coa rede de interconexión dos servidores de virtualización. Permite a comunicación entre os distintos servidores. |
| eth-vservers@vservers | virtual | lan | 10 | - | - | (veth pair) Parella de "vservers", este extremo é o que vai insertado no bridge "lan" na VLAN 10 |
Containers LXC
Numenor
Descricion do Hardware
Dual Xeon E5520 2.27GHZ
4 cores 8 Threads (16 CPU)
32 GB RAM
Espazo de Disco
nvme0 Disco nvme CT1000P2SSD8 931,51 GB
Volume lóxico nvme 800+100
thin-pool pool: 800GB
saruman-dc
radagast-dc
tycho-dc
copernico-dc
...
sda SSD Kingston SA400S3 223,57GB
Volume lóxico sys 100GB + 10.50 Gb
root (50GB)
var (30.25GB)
home (5 GB)
thin-pool pool: 15GB
rt-asir (4GB)
rt-internet (4GB)
rt-docencia (4GB)
sdb SSD Kingston SA400S3 223,57GB
Volume lóxico sys 100GB + 10.50 Gb
thin-pool pool: 100GB
root (50GB)
var (30.25GB)
home (5GB)
rt-asir (4GB)
rt-internet (4GB)
rt-docencia (4GB)
Volume Lóxico data 2.5T + 2.8T
thin-pool: 1.8 TB
radagast-data
copernico-data
proxyserver-data
webdev-data
services-data
sdg / sdf : RAID md0
ST4000DM004-2CV1 - 3.64TB
sdd / sdc : RAID md2
WDC WD20EZRX-00D - 1.82TB
Configuración da Rede
| Interface | Tipo | Ponte OVS | VLAN | Bond | IP | Descrición |
|---|---|---|---|---|---|---|
| enp4s0 | Físico | lan | trunk | bond0 | - | Interface LACP |
| enp3s0f0 | Físico | lan | trunk | bond0 | - | Interface LACP |
| enp3s0f1 | Físico | lan | trunk | bond0 | - | Interface LACP |
| enp2s0 | Físico | - | - | - | 192.168.0.3/24 | Enlace coa rede do hardware de rede (switches), permite conectarse e xestionar os switches físicos |
| internet@eth-inet | virtual | - | - | - | 192.168.254.1/24 | (veth pair) Conexión co contedor LXC que está conectado a rede de saída a internet |
| eth-inet@internet | virtual | gateway | - | - | - | (veth pair) Parella de "internet", este extremo é o que vai insertado no bridge "gateway" |
| docencia@eth-doc | virtual | - | - | - | 192.168.253.1/24 | (veth pair) Conexión co contedor LXC que está conectado a rede do centro (docencia) |
| eth-doct@docencia | virtual | rodeira | - | - | - | (veth pair) Parella de "docencia", este extremo é o que vai insertado no bridge "rodeira" |
| informatica@eth-info | virtual | - | - | - | 192.168.252.1/24 | (veth pair) Conexión co contedor LXC que está conectado a rede do ciclo de informática |
| eth-info@informatica | virtual | asir | - | - | - | (veth pair) Parella de "informática", este extremo é o que vai insertado no bridge "asir" |
| vservers@eth-vservers | virtual | - | - | - | 192.168.2.1/24 | (veth pair) Conexión coa rede de interconexión dos servidores de virtualización. Permite a comunicación entre os distintos servidores. |
| eth-vservers@vservers | virtual | lan | 10 | - | - | (veth pair) Parella de "vservers", este extremo é o que vai insertado no bridge "lan" na VLAN 10 |
Containers LXC
Galileo
Descricion do Hardware
Espazo de Disco
Configuración da Rede
| Interface | Tipo | Ponte OVS | VLAN | Bond | IP | Descrición |
|---|---|---|---|---|---|---|
| enp4s0 | Físico | lan | trunk | bond0 | - | Interface LACP |
| enp3s0f0 | Físico | lan | trunk | bond0 | - | Interface LACP |
| enp3s0f1 | Físico | lan | trunk | bond0 | - | Interface LACP |
| enp2s0 | Físico | - | - | - | 192.168.0.3/24 | Enlace coa rede do hardware de rede (switches), permite conectarse e xestionar os switches físicos |
| internet@eth-inet | virtual | - | - | - | 192.168.254.1/24 | (veth pair) Conexión co contedor LXC que está conectado a rede de saída a internet |
| eth-inet@internet | virtual | gateway | - | - | - | (veth pair) Parella de "internet", este extremo é o que vai insertado no bridge "gateway" |
| docencia@eth-doc | virtual | - | - | - | 192.168.253.1/24 | (veth pair) Conexión co contedor LXC que está conectado a rede do centro (docencia) |
| eth-doct@docencia | virtual | rodeira | - | - | - | (veth pair) Parella de "docencia", este extremo é o que vai insertado no bridge "rodeira" |
| informatica@eth-info | virtual | - | - | - | 192.168.252.1/24 | (veth pair) Conexión co contedor LXC que está conectado a rede do ciclo de informática |
| eth-info@informatica | virtual | asir | - | - | - | (veth pair) Parella de "informática", este extremo é o que vai insertado no bridge "asir" |
| vservers@eth-vservers | virtual | - | - | - | 192.168.2.1/24 | (veth pair) Conexión coa rede de interconexión dos servidores de virtualización. Permite a comunicación entre os distintos servidores. |
| eth-vservers@vservers | virtual | lan | 10 | - | - | (veth pair) Parella de "vservers", este extremo é o que vai insertado no bridge "lan" na VLAN 10 |
Containers LXC
Diskstation
Descricion do Hardware
Espazo de Disco
Configuración da Rede
Gandalf
Descricion do Hardware
Espazo de Disco
Configuración da Rede
Firewalls e Redirección de Portos
O Proxy e a pasarela de acceso a Internet
Máquinas Virtuais
proxyserver
Máquina virtual KVM con 6GB de RAM e 4 cores. Actualmente funcionando baixo o Sistema Operativo Debian Buster (oldstable). Realiza as seguintes funcións:
- Host DMZ para http/https. Todas as peticións chegarán a esta máquina.
- Proxy-cache Squid, que se utiliza tamén para controlar o acceso a internet das redes de informática, electrónica e administrativo
- Firewall para todas as redes, que tamén servirá para controlar o acceso a internet das distintas redes
- Servidor web nginx, que servirá as seguintes aplicacións web:
- dbase.iesrodeira.com: Panel Adminer de administración de bases de datos, So accesible dende a rede de informática
- crl.iesrodeira.com: Descarga de certificado da CA iesrodeira.com e da lista de revocación. Accesible dende internet
- internet.iesrodeira.com: Panel de xestión do acceso a internet. Accesible dende internet
- correo.iesrodeira.com: Xestor de e-mail web roundcube. Accesible dende internet
- software.iesrodeira.com: Descarga de software (isos de Windows, de Linux ... etc)
- O servidor nginx tamén servirá de proxy inverso para acceder varias aplicacións funcionando en outros servidores como as seguintes:
- iaw.iesrodeira.com: Servidor Web para prácticas de IAW. Máquina LXC iaw en webdev
- inventario.iesrodeira.com: Aplicación de Inventario. Entre outras cousas ten información sobre as IP das redes. Máquina LXC webservices en proxyserver
- moodle.iesrodeira.com: Aula virtual Moodle para o ciclo. Máquina LXC moodle en proxyserver
- msdn.iesrodeira.com: Xestor de Licenzas de software de Microsoft. Máquina LXC webservices en proxyserver
- par.iesrodeira.com: Curso de Planificación e Administración de redes. Máquina LXC webservices en proxyserver.So accesible dende a rede de informática
- redes.iesrodeira.com: Cursos de redes (PAR e cursos de CISCO). Máquina LXC webservices en proxyserver. So accesible dende a rede de informática
- sshtunnel.iesrodeira.com: Control de túneis SSH para acceso a os equipos de ASIR.Máquina LXC webservices en proxyserver.
- trac.iesrodeira.com: Xestor de Proxectos de Software e repositorio Subversion. Máquina LXC repository en proxyserver.
- asir.iesrodeira.com: Xestor de Usuarios do dominio Samba4 ASIR.Máquina LXC webservices en proxyserver.
- web.iesrodeira.com: Xestor de contidos mediawiki (esta mesma páxina).Máquina LXC mediawiki en proxyserver.
- moodle.iesrodeira.com: Xestor de contidos moodle. Aula virtual para o ciclo ASIR.Máquina LXC moodle en proxyserver.
Tarxetas de rede:
- ens4: Tarxeta de acceso a rede de electrónica: 172.16.0.1/16
- ens11: Tarxeta de acceso a rede de administrativo: 172.17.0.1/16
- ens3: Tarxeta de acceso a rede de informática: 172.20.0.1/16
- ens12: Tarxeta de acceso a DMZ de acceso a Internet: 192.168.1.253/24
- lxcbr0: Ponta de conexión dos contedores LXC que albergan as aplicacións web (moodle,mediawiki,webservices e repository): 192.168.123.1/24
O gateway é o router de fibra con IP 192.168.1.1
As políticas establecidas no firewall son as seguintes:
- Por defecto se impide o tráfico INPUT e FORWARD (políticas a DROP) e se acepta todo o tráfico de saida (OUTPUT)
- ip ro