Kolme hotfixia kolmessa viikossa, eikä yksikään niistä koskenut pelattavuutta. Offworld Industries julkaisi 20. elokuuta ja 10. syyskuuta välillä Squad 10.5.3:n, 10.5.4:n ja 10.5.5:n, ja kaikki kolme ovat olemassa samasta syystä: joku oli löytänyt tapoja kaataa käynnissä olevia palvelimia ja jumittaa liittymässä olevien pelaajien jonoja. Jos vuokraat Squad-palvelinta, tämä oli se patch-sykli jolla oikeasti oli merkitystä, vaikka mikään siinä ei muuta sitä miltä tulitaistelu tuntuu.
Kolme hotfixia, kolme viikkoa, yksi ongelma
Sarja jää helposti huomaamatta, jos lukee vain isot päivitykset:
- 10.5.3 (20. elokuuta): mod checksum- ja allekirjoituskorjauksia, kohteena kaatumiset ja yhteyskatkot modatuilla palvelimilla.
- 10.5.4 (3. syyskuuta): haavoittuvuuksia, joilla häirittiin palvelimia, aiheutettiin kaatumisia ja luotiin loputtomia jonotusaikoja.
- 10.5.5 (10. syyskuuta): lisää palvelinpuolen exploitteja, jotka kaatoivat palvelimia.
Lue kahden viimeisen sanamuodot, niin kuvio on selvä. Offworld kuvasi 10.5.5:tä niin, että se kohdistuu "additional vulnerabilities being used to crash servers and disrupt player queues", ja kirjoitti 10.5.4:n yhteydessä tekevänsä yhteistyötä "both our hosts and community partners to counteract malicious behaviors". Patch notes, joissa mainitaan hosting-kumppanit ja pyydetään pelaajia ottamaan yhteyttä server leadseihin, ei kuvaa teoreettista bugia. Se kuvaa operatiivista ongelmaa, joka osui eläviin yhteisöihin.
Mitä palvelinpuolen exploit tarkoittaa tässä
Offworld ei ole julkaissut yksityiskohtia, ja niin kauan kuin korjaukset ovat vielä leviämässä se on oikea ratkaisu: tarkka kuvaus kaatumisvektorista on käyttöohje. Muistiinpanot tekevät ongelman muodon silti selväksi, ja se on sama kaikissa kolmessa julkaisussa.
Kyse ei ollut huijausohjelmasta, joka jauhaa tappoja ottelussa. Kohteena oli itse palvelinprosessi. Se tarkoittaa, että yksi tekijä pystyi kaatamaan 100 pelaajan ottelun kaikilta sen osallistujilta tai jättämään liittymisjonon tilaan, joka ei koskaan ratkea.
Ero merkitsee paljon kenelle tahansa yhteisön ylläpitäjälle. Huijari pilaa yhden erän ja saa bannin. Kaatoexploit pilaa pelaajakunnan, koska vakiokävijät, jotka istuivat saman illan aikana kahdesti 40 hengen jonossa, lopettavat hiljaa torstaisin tulemisen.
Tämä selittää myös julkaisutahdin. Kolme korjausta kolmessa viikossa ei ole merkki huolimattomuudesta vaan siitä, että ongelmaa korjattiin samalla kun sitä yritettiin yhä aktiivisesti käyttää hyväksi. Jokainen tukittu reitti paljasti seuraavan, ja jokainen julkaisu piti saada ulos ennen kuin seuraava ilta alkoi.
Mod checksum -bugi joka pohjusti kaiken
10.5.3 on kolmikon teknisin, ja se kannattaa lukea tarkasti jos pyörität modattua palvelinta.
Offworldin oma selitys kannattaa lainata: "Our transition to Unreal Engine 5 introduced a new storage format that caused checksum calculation errors to go undetected." Selkokielellä peli lakkasi luotettavasti huomaamasta, milloin pelaajan Steam Workshop -modtiedostot olivat vanhentuneet. Asiakkaita päästettiin modatuille palvelimille modtiedostoilla, jotka eivät vastanneet palvelimen omia, mikä näkyi "Network object failure" -virheinä ja tiheinä yhteyskatkoina.
Hotfix tukki kolme konkreettista aukkoa: kaatumiset pelin käynnistyksessä modeilla, joissa on mukana precompiled shader cache, asiakkaiden pääsyn modatuille palvelimille väärillä modtiedostoilla, ja signature verification -säännön, jota sovellettiin virheellisesti modeihin ja joka kaatoi kaiken missä oli PSO cache -tiedostoja.
Kaikki tämä istuu itse Update 10.5:n muutoksen päällä, joka siirsi Mod SDK:n versioon 10.5 ja vaati jokaisen olemassa olevan modin recook-käsittelyn. Offworldin silloinen neuvo pätee yhä: jos päivityksen jälkeen jäät loputtomaan latausluuppiin, poista Workshop-modien tilaukset kunnes tekijät ovat recookanneet ne.
Loputtomat jonot olivat se oire jonka pelaajat oikeasti huomasivat
Kaatumiset raportoidaan. Jonot ärsyttävät. 10.5.4 nimesi jälkimmäisen suoraan ja listasi haavoittuvuuksia, joilla luotiin "infinite queue times for players attempting to join servers".
Yhteisön ylläpidon näkökulmasta se on huonompi lopputulos. Kaatuminen on yksiselitteinen: kaikki tippuvat, kaikki tietävät liittyä uudelleen, kukaan ei syytä ylläpitäjää. Jonolaskuri joka seisoo lukemassa 12 eikä liiku koskaan näyttää vain huonosti hoidetulta palvelimelta, eikä sitä katsova pelaaja pysty erottamaan hyökkäystä osaamattomuudesta. Muutama viikko sellaista vahingoittaa palvelimen mainetta toden teolla.
Squadissa tämä korostuu vielä tavallista enemmän. Ottelut ovat pitkiä ja 100 pelaajan kentät täyttyvät iltaisin, joten jonottaminen on normaali osa illan aloitusta. Juuri siksi jumittunut jono ei heti näytä vialta: pelaaja olettaa odottavansa vuoroaan, ja vasta kymmenen minuutin jälkeen hänelle valkenee, ettei jono liiku lainkaan. Siinä vaiheessa hän on jo siirtynyt toiselle palvelimelle.
Mitä tehdä jos ylläpidät Squad-palvelinta
Viisi asiaa, tärkeysjärjestyksessä:
- Aja 10.5.5:tä. Tämä on koko julkaisun pointti. Vanhempaan buildiin lukittu palvelin kantaa yhä ne haavoittuvuudet, jotka nämä kolme hotfixia tukkivat.
- Käy modilistasi läpi. Kaikki mitä ei ole recookattu Update 10.5:n jälkeen on epäilyttävää. Tarkista jokaisen Workshop-kohteen viimeisin päivityspäivä sen sijaan että oletat.
- Opettele oirekuvio. Toistuvat "Network object failure" -virheet, heti yhdistämisen jälkeen tippuvat asiakkaat ja jumittunut jonolaskuri ovat ne signaalit joita kannattaa seurata, ei pelkkä kova kaatuminen.
- Tee uudelleenkäynnistyksistä tylsiä. Ajastettu uudelleenkäynnistyssykli ja mahdollisuus pakottaa sellainen nopeasti muuttaa kaatumisen pilatusta illasta kahden minuutin katkoksi.
- Puhu palveluntarjoajasi kanssa. Offworld ohjasi pelaajat server hosting leadsien puoleen kahdessa peräkkäisessä patch notesissa syystä.
Squad-palvelimesi DoomHostingilla
Ajan tasalla pysyminen on tässä suurin osa puolustusta, joten käytännön kysymys on kuinka nopeasti pystyt toimimaan. Squad-palvelin DoomHostingilta antaa välittömän käyttöönoton, yhden klikkauksen uudelleenkäynnistykset ja täydet FTP-oikeudet hallintapaneelista, plus DDoS-suojan ja tuen ympärivuorokautisesti kun jokin menee pieleen lauantaina yhdeksältä illalla.
Jos pystytät palvelinta ensimmäistä kertaa, Squad-palvelimen aloitusopas käy läpi ensimmäisen käynnistyksen ja asetukset, ja näin liityt Squad-palvelimelle auttaa vakikävijäsi sisään. Voit myös tarkistaa vastaako palvelin juuri nyt työkalulla Squad server status checker.
Kolme hotfixia kolmessa viikossa ei näytä paperilla hyvältä, mutta reaktioaika oli oikea. Nopein asia jonka kuka tahansa ylläpitäjä voi tehdä on varmistaa, että oma palvelin todella pyörii sillä buildilla joka korjaa asian.
