Clúster de Supercómputo Xiuhcóatl

Xiuhcoatl (nombre de origen azteca que significa “Serpiente de Fuego”), es la segunda supercomputadora basada en clúster en el Cinvestav, está alojada en el Centro de Datos de la CGSTIC y está integrada actualmente por 253 servidores, es de tecnología Hibrida tiene capacidades de procesamiento INTEL, AMD, NVIDIA-GPU y Coprocesadores INTEL, una red InfiniBand y dos sistemas de almacenamiento basado en Lustre File System, dos Nodos Login y un Nodo Maestro. Inició su operación en enero de 2012.

Cuenta con una capacidad de procesamiento total de 313 Teraflop/s teóricos.

Procesamiento CPU x86 en 213 Nodos de cómputo.

  • 67 Nodos AMD Interlagos 6274.
  • 84 Nodos Intel X5675.
  • 62 Nodos Intel E5-V4.

Procesamiento GPU/Coprocesadores en 40 nodos de cómputo.

  • 5   Nodos GPUs NVIDIA 2070/2075 e Intel X5675.
  • 12 Nodos GPUs NVIDIA K40 e Intel E5-2650L v3.
  • 4   Nodos Xeon-Phi 7120P.
  • 19 Nodos GPUs NVIDIA K80 Intel E5-2660 v3.

Memoria RAM

  • ~21 Terabytes en total.

Red:

  • Voltaire Grid Director 4700 InfiniBand QDR a 40 Gbps.
  • 2 Redes de administración Ethernet a 1 Gbps.

 

Sistema Operativo:

  • Linux CentOS 6.X

Almacenamiento (actualizado en 2017):

  • 103 Terabytes en disco duro (un sistema de 63 TB y uno de 40 TB).
  • Almacenamiento principal distribuido, basado en LUSTRE.

Se utiliza LUSTRE file system como el sistema de almacenamiento principal en el cluster Xiuhcoatl, el cual consiste en un nodo de control llamado MDS y 6 nodos de almacenamiento denominados OSSs. Las operaciones de lectura/escritura de archivos se realizan de forma paralela, utilizando simultáneamente los dispositivos de almacenamiento de cada uno de los RAIDs de cada OSS.

Cada OSS tiene asociado 2 JBODs y  cada uno de ellos cuenta con 9 discos SSD de 960 GB y 10 discos SAS 2.0 de 600 GB formando dos RAID 6 para el home y scratch respectivamente,  cada RAID cuenta con su respectivo disco spare, el sistema de almacenamiento esta integrado por un total de 228 discos.

El sistema de interconexión principal es la red de datos InfiniBand fully non-blocking, compuesta por un switch core Voltaire Grid Director 4700 de 324 puertos, cada puerto es de tecnología InfiniBand QDR a 40 Gbps, para un ancho de banda total teórico de 51.8 Terabits por segundo. A esta red se conectan todos los elementos del clúster.