Samsung intègre des capacités de calcul dans sa mémoire HBM

Et si on intégrait des capacités de calcul dans la mémoire HBM ? Samsung travaille sur ce sujet. Il en donnera un aperçu à l'occasion de l'International Solid-State Circuits Conference. La démarche repose sur l'intégration, dans chaque banque, d'un PCU capable d'exécuter des opérations en demi-précision (FP16).

La mise en ouvre de ces unités de calcul ne requiert aucune modification matérielle, ni logicielle. Leur présence diminue toutefois la surface disponible. Les puces qui en embarquent ont une capacité maximale de 4 Gb, contre 8 Gb pour les modules HBM standard de dernière génération.
Samsung a coupé la poire en deux. En combinant quatre dies de 4 Gb et autant de 8 Gb, il obtient des modules de 6 Go.

Des expérimentations sont en cours, notamment avec le laboratoire national d'Argonne (États-Unis). Il est prévu des les finaliser d'ici à la fin du 1^er semestre 2021. En attendant, Samsung livre quelques indicateurs de performances, basés sur des PCU à 20 nm.
À 2,4 Gbps par broche, la bande passante théorique dépasse 300 Go/s sur le bus 1024 bits de la HBM 2^e génération. Dans la pratique, avec le modèle de reconnaissance vocale Deep Speech 2, la latence est divisée par près de 3 sur le jeu de données Librispeech par rapport à la HBM Aquabolt de Samsung. On nous annonce aussi une nette augmentation du rapport performance/watt.

Samsung présente sa technologie sous le nom HBM-PIM (processing-in-memory). Ses chercheurs, eux, parlent de FIMDRAM (function-in-memory).

Illustration principale © Samsung