Dimanche 8 novembre, le serveur qui héberge les piges ne répondait presque plus. L'interface d'administration mettait plus d'une minute à s'ouvrir, les sites aussi.
01Ce qui se passait
Les disques étaient occupés à cent pour cent. Le coupable n'était pas une panne, mais un visiteur : le robot d'indexation d'une grande plateforme, qui téléchargeait les enregistrements depuis une quarantaine d'adresses à la fois, à près de 30 Mo par seconde.
Ce n'est pas le réseau qui a cédé. Ce sont les disques, obligés d'aller lire des milliers de fichiers différents en même temps.
02Ce que j'ai mis en place
- La plage d'adresses du robot est bloquée, sur le pare-feu et sur le serveur web.
- Les téléchargements de fichiers audio sont limités par visiteur. Les pages, elles, ne le sont pas.
- Le débit total du site est plafonné.
03Ce que j'ai appris en route
La première version de ces limites était trop sévère, et c'est le site lui-même qui en a fait les frais.
- La page d'accueil charge près de 250 logos d'un coup. Limitée à dix requêtes par seconde, elle perdait des logos.
- Chaque page de radio ouvrait vingt-quatre lecteurs. Limitée à quatre connexions audio, elle n'en laissait fonctionner que quatre.
La bonne réponse a été double : ne limiter que les téléchargements audio, et faire en sorte que les lecteurs ne demandent rien tant qu'on n'a pas cliqué sur lecture.
04Depuis
Le serveur est revenu à une charge normale, et un relevé de l'état des disques tombe chaque lundi.