BigHPC: A Management Framework for Consolidated Big Data and HPC

Em conversa com o COMPETE 2020 Bruno Antunes, Research Manager da Wavecom e responsável do projeto, falou do BigHPC:

 

Síntese

As infraestruturas High-Performance Computing (HPC), anteriormente focadas na computação altamente paralela e distribuída, servem agora também de suporte à análise de grandes volumes de dados (Big Data). Esta é uma mudança expectável considerando a grande quantidade de recursos computacionais disponíveis, permitido alavancar novos estudos e análises em áreas como a saúde, cidades inteligentes, ciências naturais, entre outras.

O projeto BigHPC abordará estes desafios ao desenvolver uma plataforma inovadora de gestão para aplicações de Big Data e computação paralela e distribuída, a qual será integrada com as atuais infraestruturas e software para HPC.

O projeto irá investigar, desenvolver e integrar novos componentes de monitorização, visualização e gestão de armazenamento capazes de lidar com a escala e a heterogeneidade da infraestrutura, assim como com os requisitos de desempenho e resiliência de diferentes aplicações. Estes componentes serão integrados numa solução completa que será validada através de casos reais e de um caso piloto executado nos centros de dados do TACC e do MACC.

Os resultados do projeto vão ser posteriormente explorados comercialmente pela Wavecom, fornecendo esta plataforma como um serviço para empresas e instituições que pretendam que as suas próprias infraestruturas sejam capazes de suportar aplicações de Big Data e HPC. O projeto irá dessa forma melhorar as competências em HPC e Big Data dos investigadores e da indústria em Portugal.

A Wavecom está muito orgulhosa e empenhada com a sua participação no projeto BigHPC, que estabelecerá uma marca na empresa, iniciando uma nova área de negócios nos domínios emergentes de gestão de HPC e Big Data. A Wavecom trará ao projeto sua experiência na gestão remota de infraestruturas sem fio de complexidade elevada, coordenação do projeto e histórico na procura de novas oportunidades de negócios.

Consórcio

O BigHPC é um projeto internacional com foco no desenvolvimento de tecnologias de monitorização e gestão de infraestruturasa HPC. Em concreto, o consórcio é constituído por seis parceiros, dos quais quatro são portugueses (Wavecom, INESC TEC, LIP e MACC - Minho Advanced Computing Center) e dois são americanos (University of Texas Austin e TACC - Texas Advanced Computing Center).

A equipa do BigHPC pode ser consultada aqui.

Atividades

O projeto BigHPC tem a duração de 36 meses e está dividido em sete atividades diferentes:

Atividade 1 - Platform Requirements, Design and APIs

Atividade 2 - Monitoring Framework

Atividade 3 - Virtualization and Application Management

Atividade 4 - Software-Defined Storage

Atividade 5 - Integration, Experimental Validation and Pilot

Atividade 6 - Results Dissemination

Atividade 7 - Project Management

Resultados Esperados

O projeto BigHPC tem os seguintes objetivos principais:

- Melhorar a monitorização de infraestruturas e aplicativos heterogéneos de HPC;

- Melhorar a implementação de aplicativos e a gestão dos recursos computacionais e de armazenamento de HPC;

- Aliviar as limitações atuais do desempenho de armazenamento dos serviços HPC.

O projeto BigHPC abordará estes desafios com uma nova estrutura de gestão para cargas de trabalho de Big Data e computação paralela, que poderá ser integrada às infraestruturas HPC e às pilhas de software existentes.

Neste sentido, o projeto pesquisará, desenvolverá e integrará novos componentes de monitorização, virtualização e gestão de armazenamento definido por software que podem lidar com a escala e a heterogeneidade da infraestrutura, bem como com os diferentes requisitos de carga de trabalho, garantindo o desempenho holístico e o uso de recursos para aplicativos de Big Data e infraestruturas de HPC.

O Apoio do COMPETE 2020

O projeto conta com o apoio do COMPETE 2020 no âmbito do Sistemas de Incentivos à Investigação e Desenvolvimento Tecnológico em Copromoção, Parcerias Internacionais, envolvendo um investimento elegível de 1,2 milhões de euros o que resultou num incentivo FEDER de cerca de 748 mil euros.

Links

Wavecom - Website | Linkedin

INESC TEC - Website | Facebook | Linkedin | Twitter

LIP - >Website | Facebook | Linkedin | Twitter

University of Texas Austin - Website | Facebook | Linkedin | Twitter

MACC - Website

TACC - Website | Facebook | Linkedin | Twitter

15/07/2020 , Por Miguel Freitas
Portugal 2020
COMPETE 2020
Europa