SK Hynix a clôturé la séance du 15 juillet à Séoul avec une valorisation supérieure à 8%. De plus, les actions de l’entreprise négociées aux États-Unis avaient gagné plus de 27% lors de la séance précédente. Ce mouvement a entraîné Samsung Electronics, Seoul Semiconductor, Advantest, Tokyo Electron et TSMC, dans l’impulsion. Autrement dit, tout le secteur a réagi le même jour.
Pour ceux qui écrivent du code, une séance boursière asiatique peut sembler appartenir à une tribu différente. Pourtant, la mémoire est l’entrée brute de tout ce que vous mettez en production. Il vaut donc comprendre ce que ce graphique raconte sur votre prochaine facture cloud.
SK Hynix est devenu le thermomètre le plus fiable du coût de faire tourner l’IA
L’entreprise est l’un des plus grands fabricants de puces mémoire au monde. Dès lors, elle occupe le goulet d’étranglement le plus réel de la course actuelle vers une infrastructure d’IA. Lundi, l’action a connu sa plus importante chute journalière à la bourse sud-coréenne. Puis, elle a rebondi de 8%.
Cette bascule a une raison simple. D’abord, les investisseurs doutaient du rythme des dépenses en IA. Ensuite, ils ont changé d’avis en 48 heures. Entre-temps, la demande pour le HBM est restée exactement stable.
Pourquoi une séance à Séoul apparaît sur votre facture de cloud
Un GPU dépourvu de mémoire rapide est une sculpture coûteuse. En effet, ce qui limite aujourd’hui l’entraînement et l’inférence, c’est la largeur de bande, et pas seulement les FLOPS. Le HBM empile la DRAM et offre un débit que la GDDR n’atteint jamais. C’est pourquoi chaque nouvel accélérateur porte une part importante de la production mondiale de mémoire.
Concrètement, la chaîne se déroule ainsi. Les fabricants de mémoire vendent de la capacité plusieurs mois à l’avance. Ensuite, les fournisseurs de cloud achètent des lots entiers. Enfin, il vous revient le prix de l’instance dans le tableau de bord.
Ce que les investisseurs perçoivent avant vous
Jordan Cvetanovski, président et directeur des investissements chez Pella Funds, a pris la parole sur CNBC dans Squawk Box Asia. Selon lui, la demande d’infrastructures IA demeure élevée. Cependant, des signes d’un comportement spéculatif ont commencé à apparaître sur le marché.
Il a décrit le moment comme une guerre d’armement pour la capacité informatique. De plus, il a indiqué que le matériel concentre la majeure partie des gains de ce cycle. En conséquence, la pénurie de composants revient sur le radar, exactement comme cela s’est produit avec les puces mémoire.
Ce qui change dans votre code lorsque la mémoire devient coûteuse
La mémoire coûteuse transforme la décision d’architecture en décision budgétaire. Ainsi, certaines habitudes commencent à peser lourd à la fin du mois.
Tout d’abord, la taille du cache KV détermine quel contexte vous pouvez servir. Par conséquent, les fenêtres gigantesques facturent un loyer par token. Ensuite, la taille du batch devient une négociation entre la latence et l’occupation de la VRAM. Puis, la quantisation cesse d’être une expérience et devient une ligne de coût.
D’un autre côté, il existe des marges faciles dans presque toute la pile. Beaucoup de services en production nécessitent une instance de 128 Go et n’utilisent que 30 Go. De plus, ce gaspillage est souvent supérieur à tout gain issu de micro-optimisations dans le code.
Checklist pour traverser des mois de pénurie
Commencez par mesurer avant d’acheter. Ainsi, vous remplacez l’intuition par des chiffres.
- Mesurez l’utilisation réelle de RAM et de VRAM par service pendant sept jours.
- Réduisez l’instance au percentile 95 observé, et non au pic historique.
- Testez la quantification en 8 bits et 4 bits sur les modèles que vous servez.
- Appliquez le cache de prompts et la réutilisation du KV cache sur les itinéraires répétitifs.
- Séparez entraînement et inférence en familles de machines différentes.
- Fixez un contrat réservé uniquement lorsque la charge est prévisible.
Chacun des éléments ci-dessus rend de l’argent en quelques semaines. De plus, ils restent pertinents lorsque le prix de la mémoire chute.
La lecture qui vaut la peine d’être retenue
Le cycle actuel récompense ceux qui fabriquent du matériel. En revanche, il pénalise ceux qui conçoivent des logiciels comme si la mémoire était infinie. Par conséquent, considérez la capacité mémoire comme une ressource rare dès la conception.
SK Hynix a gagné 8% en une seule journée et a chuté fortement la veille. Pendant ce temps, votre cluster continue d’utiliser la même DRAM. En résumé, le graphique oscille et la facture finit par arriver.
Aimez suivre notre profil sur Instagram !
