Goed nieuws van onze ontwikkelafdeling! Onze techneuten zijn bezig om de laatste hand te leggen aan een nieuw storageplatform. Voor de nabije toekomst is gekozen voor een zelfgebouwde oplossing op basis van OpenSolaris en ZFS.

Hardware

Ons nieuwe storageplatform wordt opgebouwd uit hardware uit de stal van IBM. Als front-end server is gekozen voor de IBM X3650-M3, die ondersteuning biedt voor snelle processoren, en, erg belangrijk, heel veel intern geheugen. Voor de opslag zelf wordt gebruik gemaakt van IBM EXP3000 enclosures, waarin 12 schijven passen. Om ervoor te zorgen dat gegevens heel snel weggeschreven kunnen worden, wordt de front-end server uitgerust met twee Solid State Drives, van de allersnelste (SLC) soort.

Software

Byte ZFS

Byte ZFS

Als filesysteem waarop de data wordt opgeslagen, is gekozen voor ZFS. Dit filesysteem is door Sun ontwikkeld, en houdt rekening met de capaciteiten van hedendaagse hardware. Het kan bijvoorbeeld erg goed en slim omgaan met SATA-drives en maakt slim gebruik van grote hoeveelheden snel intern geheugen.

Door de keus voor ZFS beperken we de keuze voor het besturingssysteem helaas wel. ZFS is ontwikkeld als onderdeel van Sun Solaris, en is inmiddels ook native geimplementeerd op een aantal BSD-varianten, zoals NetBSD en FreeBSD, en verder in Mac OSX. Helaas kent het ons zo vertrouwde Linux (nog) geen goede native ZFS-implementatie.

Uiteindelijk is onze keus gevallen op OpenSolaris, ondanks de strubbelingen die het besturingssysteem op dit moment ondergaat door de overname van Sun door Oracle. We wijden hier binnenkort een ander blogje aan.

Onze setup

Omdat we bij Byte redundantie bijzonder belangrijk vinden, zijn we momenteel bezig om een redundante ZFS-opstelling te bouwen. We hebben daarvoor een tweetal IBM X3650’s en EXP3000’s aangeschaft.

Deze twee machines zullen elkaar met behulp van ZFS-snapshots gaan repliceren, zodat we bij uitval van de ene machine vrijwel naadloos over kunnen schakelen op de andere. Deze snapshots gebruiken we ook om u via FTP en mogelijk via de shellserver toegang te geven tot uw backups.

ZFS biedt verder ontelbaar veel gave nieuwe features. Zo gebruiken we bijvoorbeeld deduplication om ZFS uit te laten zoeken welke data dubbel opgeslagen wordt. In een hostingomgeving worden veel dezelfde bestanden opgeslagen, zoals 3000 installaties van Joomla. ZFS kan herkennen als het data al een keer eerder opgeslagen heeft, en hoeft het dan niet nogmaals op te slaan. Dit kan enorm schelen in het diskgebruik.

Daarnaast kan ZFS on-the-fly compressie uitvoeren op bestanden die opgeslagen worden. Dat wil zeggen dat bestanden die u via FTP bij ons uploadt gecomprimeerd (‘gezipt’) opgeslagen worden. Deze compressie telt direct mee in uw quota waardoor u straks dus meer op kunt slaan in minder ruimte!

Stappenplan

We zijn momenteel de laatste tests aan het uitvoeren om ervoor te zorgen dat we naadloos over kunnen schakelen tussen de twee machines. Als dat uitgewerkt is, zullen we deze week beginnen met het overzetten van de mail. U zult hier niets van merken. Daarna gaan we langzamerhand hostingpakketten overzetten.

Stay tuned voor meer informatie! 🙂

Scan je eigen Magento shop op veiligheidslekken