Řadu let jsem uživatelem virtuálních serverů společnosti WEDOS. Podotýkám, že k naprosté spokojenosti. Impulzem k provedení reálných testů pro mě bylo až zřízení virtuálního serveru u FORPSI za 25 Kč bez DPH měsíčně. Bral jsem jej pouze jako kuriozitu nebo vtip. Předpokládal jsem, že výkon bude odpovídat ceně. Při prvním testování jsem, abych měl reálné srovnání, použil VPS server WEDOSu za 220 Kč bez DPH měsíčně, který využívám několik roků. Výsledky byly šokující.

Začnu ale od samotného začátku. Od partnera jsem se někdy na začátku září minulého roku dozvěděl o virtuálních serverech FORPSI (INTERNET CZ, a.s.) za 25 Kč bez DPH měsíčně. První moje reakce byla ze všeho nejvíce pobavená. Ptal jsem se, jestli ten server vůbec funguje, kolik má operační paměti jestli alespoň 128 MB, a vůbec jsem kladl spoustu podobně rýpavých otázek.

Dostal jsem ale odpověď typu: „Ne, server má 1 GB operační paměti, a je použitelný.“

Rozhodl jsem se tedy, že tento server objednám a vyzkouším. Nějakou dobu jsem se ale věnoval úplně jiným úkolům, a skoro jsem na celou věc zapomněl. Až na začátku letošního února jsem potřeboval servery pro testování nového projektu. A proto, místo abych hned objednal nové servery u WEDOSu, jsem začal tuto nabídku od FORPSI hledat. Našel jsem na https://www.forpsicloud.cz/cloud-computing/cenik.aspx a objednal jsem VPS Smart, variantu Small. Za legračních 25 Kč bez DPH měsíčně.

Příprava testů

Pro jeho jednoduché otestování v prostředí Linuxu jsem se rozhodl pro sysbench. Bylo mi jasné, že aby výsledek bylo s čím porovnávat, musím mít alespoň dva testované servery, případně více. Připravil jsem proto několik jednoduchých playbooků v Ansible, které na testovaných serverech instalují potřebný software, a připraví prostředí pro produktivní testování. Playbook main.yml poté instaluje sysbench, nakopíruje skript s vlastními testy, provede je a nazpět zkopíruje záznamy s výsledky testů. Jednoduché.

Jako cílové virtuální servery jsem nejprve nastavil dva servery, nový forpsi01 a už roky používaný wedos01. Tento server mi slouží jako záložní, a testovací server pro preprodukci. První výsledky byly ale natolik překvapivé, že jsem test rozšířil o další server, wedos02.

Testování jsem poté prováděl s třemi virtuálními servery.   Jejich parametry najdete v následující tabulce:

Název serveru	Operační paměť	Procesorových jader	Diskový prostor	Cena Kč/měsíc bez DPH
wedos01	2 GB	1	30 GB	220 Kč
wedos02	2 GB	1	15 GB	122 Kč
forpsi01	1 GB	1	20 GB	25 Kč

K objednávce dalšího serveru wedos02  mě přiměly zejména následující důvody:

• První výsledky serveru wedos01 byly i o stovky procent horší, než serveru forpsi01
• Wedos01 provozuji už od roku 2014. Hardware je snad někdy z dubna roku 2013. Není ještě vybaven SSD disky a paměti zřejmě také nepatří ke špičce
• Wedos02 je z řady VPS SSD, která byla uvedena cca v polovině roku 2014. Běží tedy na modernějším hardware, a měl by být více než rovnocenným soupeřem
• Wedos01 je preprodukční server, na kterém běží MySQL, Bind a Apache. Při prvním testu jsem to neřešil, ale v  době běhu zaznamenaných a zde publikovaných testů jsem tyto služby musel zastavovat z důvodu maximální objektivity měření

Výsledky testů

Testování jsem prováděl na těchto serverech 4-krát. Snažil jsem se, aby čas, kdy jsem test spouštěl, byl pokud možno různý. Testy byly spouštěny na serverech najednou pomocí playbooku pro Ansible, jak jsem už uvedl. Už v průběhu testů tedy bylo z pořadí, jak servery končily a doby, jakou jim testy zabraly, patrný jednoznačný vítěz testů.

V následující tabulce si prohlédněte výsledek hned prvního testu z 22.4.2017, prováděného v cca 02:30 hod.

		Wedos01	Wedos02	Forpsi01
Typ test, podtyp testu	Popis výsledku testu				Poměr výkonu poražený / vítěz	Lepší o %
CPU, 1 vlákno	Výsledný čas testu, menší je lepší	48.50	49.24	30.85	0,63	59,65
CPU, 16 vláken	Výsledný čas testu, menší je lepší	48.46	49.75	30.44	0,61	63,44
I/O, náhodné čtení	IOPS, větší je lepší	124.84	2051.18	2734.67	0,05	2090,54
I/O, náhodný zápis	IOPS, větší je lepší	475.65	468.88	4596.10	0,10	880,23
I/O, náhodné čtení+zápis	IOPS, větší je lepší	1137.52	1661.19	8612.33	0,13	657,11
I/O, sekvenční čtení	IOPS, větší je lepší	7253.24	27093.16	27192.63	0,27	274,90
I/O, sekvenční zápis	IOPS, větší je lepší	9013.61	3937.02	42510.56	0,09	979,76
I/O, sekvenční čtení+zápis	IOPS, větší je lepší	9105.47	3131.20	44824.88	0,07	1331,56
Paměť, čtení sekvenční	Výsledný čas testu, menší je lepší	120.21	48.89	29.65	0,25	305,47
Paměť, zápis sekvenční	Výsledný čas testu, menší je lepší	137.63	67.20	53.86	0,39	155,54
Paměť, čtení náhodné	Výsledný čas testu, menší je lepší	120.25	49.75	31.17	0,26	285,77
Paměť, zápis náhodný	Výsledný čas testu, menší je lepší	123.56	53.08	33.69	0,27	266,74
	Vítěz v testu
	Poražený v testu

Výsledky dalších testů jsou obdobné. Výsledky všech čtyř testů najdete zpracované v následujících souborech – ve formátu ODS (Calc) a XLS (Excel).

Kdo mě chcete zkontrolovat, stáhněte si výstupy testů programu sysbench. Ty najdete zde. Pokud budete mít někdo zájem o playbooky, a samotný testovací skript pro spouštění testů, pošlu na vyžádání odkaz.

Zhodnocení testů

Výsledky pro mě byly velkým překvapením, a musím také napsat – zklamáním. Server forpsi01 za 25 Kč bez DPH měsíčně zcela jednoznačně zvítězil nad servery znatelně dražšími.

Pouze v jednom měření, při testu sekvenčního čtení, byl server wedos02 nejrychlejší. To je ale velice slabý výsledek. Kromě tohoto jediného případu bylo vítězství forpsi01 naprosto jednoznačné.

Výkon procesoru

Tyto testy server forpsi01 končil za cca 60 % času serverů WEDOS. Mezi servery wedos01 a wedos02 jsou rozdíly ve výkonu procesorů prakticky zanedbatelné. Modernější server wedos02 má ale většinou výsledky dokonce o trochu slabší.

To pro mě bylo dalším zklamáním, protože jsem předpokládal, že v novější řadě serverů WEDOS zákazníkům poskytuje přece jen lepší procesorový výkon, než na staré serverové řadě.

Testy vstupu/výstupu

U těchto testů zvítězil server forpsi01 o desítky až stovky procent, podle typu testu. Pouze v testu sekvenčního čtení byl server wedos02 relativně rovnocenný. Dokonce byl i jednou lepší.

Na těchto testech je viditelná velká diverzita mezi výsledky testů wedos02. U testů sekvenčního zápisu a sekvenčního čtení a zápisu byl rozdíl mezi výsledky testů téměř 300 %. Důvod pro takovéto rozdíly je otázkou. Jde o vadný hardware nebo se mi povedlo trefit se do chvíle, kdy byl fyzický server, případně diskové pole extrémně zatíženy? Nebyl to však jediný extrém, ze 4 byly takto slabé 2 testy.

Ostatní servery takovou míry diverzity nikdy nevykazovaly. Maximální rozdíly byly do cca 20 %.

Testy paměti

V testech paměti opět jednoznačně zvítězil server forpsi01. Oproti nejslabšímu serveru v testech paměti wedos01 byl rozdíl ve stovkách procent. Oproti modernějšímu serveru wedos02 byl rozdíl v rychlosti mezi 30 a 60 %.

Shrnutí výsledků testů

Jednoznačné vítězství serveru forpsi01 mě přimělo pokusit se se o zjištění důvodů, které k tomu vedly.

Nezanedbatelný vliv má zřejmě i špičkový hardware použitý FORPSI, viz. https://www.forpsicloud.cz/proc-zvolit-forpsi.aspx#hardware, body 4 a 5. Jsou to informace, které považuji obvykle za čistě marketingové.

Vždyť kdo věří prohlášení poskytovatele cloudových služeb, že využívají nejlepší hardware a mají nejlepší výsledky výkonnostních testů? Já moc ne. Zde jsem ale nucen uznat, že na tom asi něco bude.

Zejména u testů vstupu/výstupu má použitý hardware rozhodující vliv.

Samozřejmě, procesorový výkon je naopak spíše záležitostí nastavení provozovatele. Toho, jak nastaví alokaci fyzická jádra (nebo HT vlákna) : virtuální procesory. Podle informací od obou poskytovatelů by tento poměr měl být zhruba 1 : 4.

Porovnání výkonu fyzických procesorů (upraveno 6.6.2017)

Vzhledem ke značnému rozdílu ve výkonu (60%) mají u FORPSI znatelně výkonnější procesory, znatelně méně zatížený hardware nebo možná obojí. Jasnější by to bylo, pokud by mi byly známé přesné typy použitých procesorů.

Na základě připomínek čtenářů jsem poslal dotaz oběma poskytovatelům. Zajímaly mě typy použitých procesorů ve fyzických serverech (hypervizorech).

U serverů WEDOS jsou to jsou procesory Intel XEON E5-2650L. U serverů FORPSI potom procesory Intel XEON E5-2650L v4.

Odstup tří generací procesoru je opravdu hodně znát. Při našem syntetickém testu, výpočtu prvočísel, byl poměr výkonu virtuálních procesorů zhruba 1 : 1,6.

A jak vidíte v následující tabulce, výkon novějšího procesoru při operacích s pevnou řádovou čárkou je více, než dvojnásobný. Při operacích s plovoucí řádovou čárkou je téměř dvojnásobný.

Typ procesoru	SPECfp_rate_base2006	SPECint_rate_base2006
Intel XEON E5-2650L	380	444
Intel XEON E5-2650L v4	756	958

Výrazně slabší výpočetní výkon VPS a VPS SSD WEDOSu je důsledkem použití staršího procesoru. Tím je zodpovězena i otázka, jestli slabý výpočetní výkon VPS WEDOSu je způsoben přetěžováním hypervizorů. Není.

A vzhledem k tabulkovým hodnotám výkonu procesorů si myslím, že ve výpočetním testu mohly VPS WEDOSu dopadnout i hůř.

Závěrem

WEDOS aktuálně testuje novou platformu pro plnohodnotné cloudové služby. Snad se tato nová generace u WEDOSu posune k příznivějšímu poměru cena/výkon.

Já u tohoto testování, samozřejmě, nemohu chybět. Výsledky vás určitě budou zajímat. Ale nebojte se, nebudu je před vámi tajit. 🙂

Těším se na vaše podněty a připomínky.