Porovnání výkonu virtuálních serverů WEDOS a FORPSI

Řadu let jsem uživatelem virtuálních serverů společnosti WEDOS. Podotýkám, že k naprosté spokojenosti. Impulzem k provedení reálných testů pro mě bylo až zřízení virtuálního serveru u FORPSI za 25 Kč bez DPH měsíčně. Bral jsem jej pouze jako kuriozitu nebo vtip. Předpokládal jsem, že výkon bude odpovídat ceně. Při prvním testování jsem, abych měl reálné srovnání, použil VPS server WEDOSu za 220 Kč bez DPH měsíčně, který využívám několik roků. Výsledky byly šokující.

Začnu ale od samotného začátku. Od partnera jsem se někdy na začátku září minulého roku dozvěděl o virtuálních serverech FORPSI (INTERNET CZ, a.s.) za 25 Kč bez DPH měsíčně. První moje reakce byla ze všeho nejvíce pobavená. Ptal jsem se, jestli ten server vůbec funguje, kolik má operační paměti jestli alespoň 128 MB, a vůbec jsem kladl spoustu podobně rýpavých otázek.

Dostal jsem ale odpověď typu: „Ne, server má 1 GB operační paměti, a je použitelný.“

Rozhodl jsem se tedy, že tento server objednám a vyzkouším. Nějakou dobu jsem se ale věnoval úplně jiným úkolům, a skoro jsem na celou věc zapomněl. Až na začátku letošního února jsem potřeboval servery pro testování nového projektu. A proto, místo abych hned objednal nové servery u WEDOSu, jsem začal tuto nabídku od FORPSI hledat. Našel jsem na https://www.forpsicloud.cz/cloud-computing/cenik.aspx a objednal jsem VPS Smart, variantu Small. Za legračních 25 Kč bez DPH měsíčně.

Příprava testů

Pro jeho jednoduché otestování v prostředí Linuxu jsem se rozhodl pro sysbench. Bylo mi jasné, že aby výsledek bylo s čím porovnávat, musím mít alespoň dva testované servery, případně více. Připravil jsem proto několik jednoduchých playbooků v Ansible, které na testovaných serverech instalují potřebný software, a připraví prostředí pro produktivní testování. Playbook main.yml poté instaluje sysbench, nakopíruje skript s vlastními testy, provede je a nazpět zkopíruje záznamy s výsledky testů. Jednoduché.

Jako cílové virtuální servery jsem nejprve nastavil dva servery, nový forpsi01 a už roky používaný wedos01. Tento server mi slouží jako záložní, a testovací server pro preprodukci. První výsledky byly ale natolik překvapivé, že jsem test rozšířil o další server, wedos02.

Testování jsem poté prováděl s třemi virtuálními servery.   Jejich parametry najdete v následující tabulce:

Název serveru Operační paměť Procesorových jader Diskový prostor Cena Kč/měsíc bez DPH
wedos01 2 GB 1 30 GB 220 Kč
wedos02 2 GB 1 15 GB 122 Kč
forpsi01 1 GB 1 20 GB 25 Kč

K objednávce dalšího serveru wedos02  mě přiměly zejména následující důvody:

  • První výsledky serveru wedos01 byly i o stovky procent horší, než serveru forpsi01
  • Wedos01 provozuji už od roku 2014. Hardware je snad někdy z dubna roku 2013. Není ještě vybaven SSD disky a paměti zřejmě také nepatří ke špičce
  • Wedos02 je z řady VPS SSD, která byla uvedena cca v polovině roku 2014. Běží tedy na modernějším hardware, a měl by být více než rovnocenným soupeřem
  • Wedos01 je preprodukční server, na kterém běží MySQL, Bind a Apache. Při prvním testu jsem to neřešil, ale v  době běhu zaznamenaných a zde publikovaných testů jsem tyto služby musel zastavovat z důvodu maximální objektivity měření

Výsledky testů

Testování jsem prováděl na těchto serverech 4-krát. Snažil jsem se, aby čas, kdy jsem test spouštěl, byl pokud možno různý. Testy byly spouštěny na serverech najednou pomocí playbooku pro Ansible, jak jsem už uvedl. Už v průběhu testů tedy bylo z pořadí, jak servery končily a doby, jakou jim testy zabraly, patrný jednoznačný vítěz testů.

V následující tabulce si prohlédněte výsledek hned prvního testu z 22.4.2017, prováděného v cca 02:30 hod.

Wedos01 Wedos02 Forpsi01
Typ test, podtyp testu Popis výsledku testu Poměr výkonu poražený / vítěz Lepší o %
CPU, 1 vlákno Výsledný čas testu, menší je lepší 48.50 49.24 30.85 0,63 59,65
CPU, 16 vláken Výsledný čas testu, menší je lepší 48.46 49.75 30.44 0,61 63,44
I/O, náhodné čtení IOPS, větší je lepší 124.84 2051.18 2734.67 0,05 2090,54
I/O, náhodný zápis IOPS, větší je lepší 475.65 468.88 4596.10 0,10 880,23
I/O, náhodné čtení+zápis IOPS, větší je lepší 1137.52 1661.19 8612.33 0,13 657,11
I/O, sekvenční čtení IOPS, větší je lepší 7253.24 27093.16 27192.63 0,27 274,90
I/O, sekvenční zápis IOPS, větší je lepší 9013.61 3937.02 42510.56 0,09 979,76
I/O, sekvenční čtení+zápis IOPS, větší je lepší 9105.47 3131.20 44824.88 0,07 1331,56
Paměť, čtení sekvenční Výsledný čas testu, menší je lepší 120.21 48.89 29.65 0,25 305,47
Paměť, zápis sekvenční Výsledný čas testu, menší je lepší 137.63 67.20 53.86 0,39 155,54
Paměť, čtení náhodné Výsledný čas testu, menší je lepší 120.25 49.75 31.17 0,26 285,77
Paměť, zápis náhodný Výsledný čas testu, menší je lepší 123.56 53.08 33.69 0,27 266,74
Vítěz v testu
Poražený v testu

Výsledky dalších testů jsou obdobné. Výsledky všech čtyř testů najdete zpracované v následujících souborech – ve formátu ODS (Calc) a XLS (Excel).

Kdo mě chcete zkontrolovat, stáhněte si výstupy testů programu sysbench. Ty najdete zde. Pokud budete mít někdo zájem o playbooky, a samotný testovací skript pro spouštění testů, pošlu na vyžádání odkaz.

Zhodnocení testů

Výsledky pro mě byly velkým překvapením, a musím také napsat – zklamáním. Server forpsi01 za 25 Kč bez DPH měsíčně zcela jednoznačně zvítězil nad servery znatelně dražšími.

Pouze v jednom měření, při testu sekvenčního čtení, byl server wedos02 nejrychlejší. To je ale velice slabý výsledek. Kromě tohoto jediného případu bylo vítězství forpsi01 naprosto jednoznačné.

Výkon procesoru

Tyto testy server forpsi01 končil za cca 60 % času serverů WEDOS. Mezi servery wedos01 a wedos02 jsou rozdíly ve výkonu procesorů prakticky zanedbatelné. Modernější server wedos02 má ale většinou výsledky dokonce o trochu slabší.

To pro mě bylo dalším zklamáním, protože jsem předpokládal, že v novější řadě serverů WEDOS zákazníkům poskytuje přece jen lepší procesorový výkon, než na staré serverové řadě.

Testy vstupu/výstupu

U těchto testů zvítězil server forpsi01 o desítky až stovky procent, podle typu testu. Pouze v testu sekvenčního čtení byl server wedos02 relativně rovnocenný. Dokonce byl i jednou lepší.

Na těchto testech je viditelná velká diverzita mezi výsledky testů wedos02. U testů sekvenčního zápisu a sekvenčního čtení a zápisu byl rozdíl mezi výsledky testů téměř 300 %. Důvod pro takovéto rozdíly je otázkou. Jde o vadný hardware nebo se mi povedlo trefit se do chvíle, kdy byl fyzický server, případně diskové pole extrémně zatíženy? Nebyl to však jediný extrém, ze 4 byly takto slabé 2 testy.

Ostatní servery takovou míry diverzity nikdy nevykazovaly. Maximální rozdíly byly do cca 20 %.

Testy paměti

V testech paměti opět jednoznačně zvítězil server forpsi01. Oproti nejslabšímu serveru v testech paměti wedos01 byl rozdíl ve stovkách procent. Oproti modernějšímu serveru wedos02 byl rozdíl v rychlosti mezi 30 a 60 %.

Shrnutí výsledků testů

Jednoznačné vítězství serveru forpsi01 mě přimělo pokusit se se o zjištění důvodů, které k tomu vedly.

Nezanedbatelný vliv má zřejmě i špičkový hardware použitý FORPSI, viz. https://www.forpsicloud.cz/proc-zvolit-forpsi.aspx#hardware, body 4 a 5. Jsou to informace, které považuji obvykle za čistě marketingové.

Vždyť kdo věří prohlášení poskytovatele cloudových služeb, že využívají nejlepší hardware a mají nejlepší výsledky výkonnostních testů? Já moc ne. Zde jsem ale nucen uznat, že na tom asi něco bude.

Zejména u testů vstupu/výstupu má použitý hardware rozhodující vliv.

Samozřejmě, procesorový výkon je naopak spíše záležitostí nastavení provozovatele. Toho, jak nastaví alokaci fyzická jádra (nebo HT vlákna) : virtuální procesory. Podle informací od obou poskytovatelů by tento poměr měl být zhruba 1 : 4.

Porovnání výkonu fyzických procesorů (upraveno 6.6.2017)

Vzhledem ke značnému rozdílu ve výkonu (60%) mají u FORPSI znatelně výkonnější procesory, znatelně méně zatížený hardware nebo možná obojí. Jasnější by to bylo, pokud by mi byly známé přesné typy použitých procesorů.

Na základě připomínek čtenářů jsem poslal dotaz oběma poskytovatelům. Zajímaly mě typy použitých procesorů ve fyzických serverech (hypervizorech).

U serverů WEDOS jsou to jsou procesory Intel XEON E5-2650L. U serverů FORPSI potom procesory Intel XEON E5-2650L v4.

Odstup tří generací procesoru je opravdu hodně znát. Při našem syntetickém testu, výpočtu prvočísel, byl poměr výkonu virtuálních procesorů zhruba 1 : 1,6.

A jak vidíte v následující tabulce, výkon novějšího procesoru při operacích s pevnou řádovou čárkou je více, než dvojnásobný. Při operacích s plovoucí řádovou čárkou je téměř dvojnásobný.

Typ procesoru SPECfp_rate_base2006 SPECint_rate_base2006
Intel XEON E5-2650L 380 444
Intel XEON E5-2650L v4 756 958

Výrazně slabší výpočetní výkon VPS a VPS SSD WEDOSu je důsledkem použití staršího procesoru. Tím je zodpovězena i otázka, jestli slabý výpočetní výkon VPS WEDOSu je způsoben přetěžováním hypervizorů. Není.

A vzhledem k tabulkovým hodnotám výkonu procesorů si myslím, že ve výpočetním testu mohly VPS WEDOSu dopadnout i hůř.

Závěrem

WEDOS aktuálně testuje novou platformu pro plnohodnotné cloudové služby. Snad se tato nová generace u WEDOSu posune k příznivějšímu poměru cena/výkon.

Já u tohoto testování, samozřejmě, nemohu chybět. Výsledky vás určitě budou zajímat. Ale nebojte se, nebudu je před vámi tajit. 🙂

Těším se na vaše podněty a připomínky.

5 odpovědí na “Porovnání výkonu virtuálních serverů WEDOS a FORPSI”

  1. U forpsi rika lscpu nasledujici:

    lscpu
    Architecture: x86_64
    CPU op-mode(s): 32-bit, 64-bit
    Byte Order: Little Endian
    CPU(s): 1
    On-line CPU(s) list: 0
    Thread(s) per core: 1
    Core(s) per socket: 1
    Socket(s): 1
    NUMA node(s): 1
    Vendor ID: GenuineIntel
    CPU family: 6
    Model: 63
    Model name: Intel(R) Xeon(R) CPU E5-2650L v3 @ 1.80GHz
    Stepping: 2
    CPU MHz: 1799.998
    BogoMIPS: 3599.99
    Hypervisor vendor: VMware
    Virtualization type: full
    L1d cache: 32K
    L1i cache: 32K
    L2 cache: 256K
    L3 cache: 30720K
    NUMA node0 CPU(s): 0

    To stejne by melo byt pouzitelne i u wedosu, pripadne v /proc/cpuinfo

    1. Článek ještě v brzké době doplním. Od obou poskytotovatelů jsem získal informace o použitých typech procesorů ve fyzických serverech. Přímou informaci o fyzickém procesoru z lscpu, přípradně /proc/cpuinfo totiž nezískáme. Informace jsou o virtuálním procesoru. Viz výpisy níže:

      U WEDOSu

      Architecture: x86_64
      CPU op-mode(s): 32-bit, 64-bit
      Byte Order: Little Endian
      CPU(s): 1
      On-line CPU(s) list: 0
      Thread(s) per core: 1
      Core(s) per socket: 1
      Socket(s): 1
      NUMA node(s): 1
      Vendor ID: GenuineIntel
      CPU family: 6
      Model: 13
      Model name: QEMU Virtual CPU version (cpu64-rhel6)
      Stepping: 3
      CPU MHz: 1799.999
      BogoMIPS: 3599.99
      Hypervisor vendor: KVM
      Virtualization type: full
      L1d cache: 32K
      L1i cache: 32K
      L2 cache: 4096K
      NUMA node0 CPU(s): 0

      A u FORPSI:

      Architecture: x86_64
      CPU op-mode(s): 32-bit, 64-bit
      Byte Order: Little Endian
      CPU(s): 1
      On-line CPU(s) list: 0
      Thread(s) per core: 1
      Core(s) per socket: 1
      Socket(s): 1
      NUMA node(s): 1
      Vendor ID: GenuineIntel
      CPU family: 6
      Model: 44
      Model name: Intel(R) Xeon(R) CPU L5640 @ 2.27GHz
      Stepping: 2
      CPU MHz: 2260.057
      BogoMIPS: 4522.00
      Hypervisor vendor: VMware
      Virtualization type: full
      L1d cache: 32K
      L1i cache: 32K
      L2 cache: 256K
      L3 cache: 12288K
      NUMA node0 CPU(s): 0

        1. Musím se WEDOSu zastat.
          KVM typ fyzického procesoru nevypisuje. Je to jiná virtualizační technologie. A podle parametrů ani VMware nevypisuje fyzické parametry, snad jen správný typ procesoru.

  2. Tak tento ‚eurovy‘ forpsi VPS je takmer neuveritelny. K tejto recenzii som sa dostal cez google, lebo som hladal aka tam je agregacia. Neviem, ci zatial nemaju zakaznikov, takze mam sam pre seba server, alebo je to nieco ako reklama (teda dotovane), ale vsetko bezi svizne. Jediny zadrhel je datovy limit, ale na moje potreby bohato staci.

Napsat komentář

Vaše e-mailová adresa nebude zveřejněna.