Szevasztok!

A mai nap folyamán (kedd) kiélesítjük az új frontendet. Ez elvileg nem jár hosszabb leállással, viszont kisebb katasztrófák történhetnek, kommentekben lehet jelezni, ha valami nagyon nem megy.

Hogy ne nézz teljesen hülyén, ha bloggerekkel kell beszélgetned. Hogy valaki fel merje tenni helyetted a legegyszerűbb kérdéseket. Hogy tudd, mi a téma. Ez itt a technofóbok kiskátéja, a Blog.hu Szájbarágó, ami majdnem olyan, mint az Index Szájbarágó.

Mi a túró az a frontend?

A frontend a szoftvernek az a része, ami kapcsolatba kerül a felhasználóval, összeköti őt a backenddel (ami a mélyben dolgozik, a júzertől távol). Ez persze egyrészt pongyola, másrészt a blog.hu esetében nem pont ezt értjük frontend alatt. A mi esetünkben a frontend a blogok megjelenítését és a normál felhasználói inputok feldolgozását (pl. kommentek) végzi, de nem értjük bele pl. az admin felületet, pedig az a definíció szerint a blogger típusú júzerek frontendje. Beleértjük viszont a rendszer több olyan alapelemét, ami klasszikusan inkább a backendhez tartozik.

A túró ugyanakkor az a tejtermék, melyet ugy nyerünk, hogy a magától megaludt vagy ojtó segélyével megaltatott tejet ritkásan szőtt vászonzacskóba öntvén, a savót ki hagyjuk belőle csurogni. A zacskóban visszamaradó gömböt gomolyának mondjuk. (Pallas)

Ettől nem lettem sokkal okosabb.

Fogalmazzunk úgy, hogy a blog.hu-nak három része van: egy adatkezelő és üzleti logikai réteg a mélyben (nevezzük ezt magnak), egy adminfelület, amin keresztül a blogger piszkálja a magot, és egy megjelenítő réteg, ami a mag alapján legenerálja a blog.hu oldalait az olvasóknak. Ez utóbbi és a mag nagy része került újraírásra.

Miért kell lecserélni? Nem jó a régi?

A blog.hu egy öreg rendszer, a webes szoftvereknél pedig nagyobb az évszorzó, mint a kutyáknál. A blog.hu fejlesztése 2005-ben kezdődött, egy akkor már létező rendszer átíárásával. Ez a rendszer ma már elavult, legalábbis nem felel meg a mi céljainknak. Elsősorban azért, mert nem skálázható, másodsorban azért, mert nehezen bővíthető.

Mit jelent az, hogy nem skálázható? Nem lehet egy gyorsabb gépet venni alá?

Egy kétszer olyan gyors gép ára nem duplája, hanem többszöröse egy egyszeres sebességű gépnek, és nem is kapható bármilyen gyors gép. A skálázhatóság itt azt jelenti, hogy a frontendet több gép is képes legyen futtatni elosztva egymás között a terhelést - egy új gépet egyszerűbb beállítani, mint a meglévőt gyorsabbra cserélni. A régi rendszer sajnos csak egy gépen tudott futni, ez volt a baj.

Miért pont most jöttetek rá, hogy nem jó a régi?

Ezt már régen tudtuk, de elég nagy meló újraírni a frontendet, nehéz volt időt találni neki. A blog.hu-nak nincs végtelen fejlesztője, viszont a lehetséges és igényelt új funkciók száma majdnem az, funkciókban sokat fejlődtünk az elmúlt években, muszáj volt. Sokáig megpróbáltuk optimalizálásokkal, konfigurálásokkal javítani a teljesítményt, de a folyamatos növekedés miatt - aminek egyébként persze örülünk - tavaly ez a kérdés már nagyon égetővé vált, így nekiálltunk az újratervezésnek.

Egy évig készült az új frontend?

Igen, bár ez nem tisztán egy év, hiszen közben a blog.hu normál fejlesztései is haladtak, nem beszélve a szupportról. Szóval a frontend sokáig ilyen maradékidőkben készült. Ez év elején kezdtünk el komolyabb erőforrásokat elkülöníteni, magyarul dedikálni a fejlesztéshez.

Ennek a baromi hosszú projektnek az eredménye akkor a felhasználók számára végülis észrevehetetlen?

Jó esetben igen, illetve az persze egy észrevehető javulás, hogy kevesebbet lassul be, hal meg illetve mutat sünt a blog.hu.

Szóval az új frontend mindössze ezt a skálázhatóságdolgot tudja?

Nemcsak ezt, pl. az okosabb felépítésnek, hatékonyabb adatkezelésnek köszönhetőn eleve gyorsabban szolgálja ki az oldalakat, mint a régi.

Tehát skálázható és gyorsabb és kész?

Nagyon fontos szempont az is, hogy az újratervezett architektúra sokkal átláthatóbb, mint a régi.

Skálázhatóság, gyorsaság, átlátható kód, ennyi lenne az új frontend?

Igen, plusz sokkal egyszerűbb lett a bővíthetőség, sok olyan új funkciót tudunk most megcsinálni, amit a régivel nagy szívás lett volna.

Tehát az új frontend, amin egy évig dolgoztatok, összesen csak a skálázhatóságot, gyorsaságot, átlátható kódot és a bővíthetőséget tudja?

Igen, de tegyük hozzá, hogy az elosztott működés miatt a rendszer sokkal megbízhatóbb is lett - ha valamelyik géppel baj van, nem állunk meg rögtön, ha pedig ki akarjuk cserélni, egyszerűen - leállás nélkül - kivesszük és berakunk egy másikat.

És mit ad nekünk az új frontend a skálázhatóságon, gyorsaságon, átlátható kódon, bővíthetőségen és megbízhatóságon kívül?

Jobb közérzetet. Boldogabb, gondtalan fejlesztőkkel egyszerűbb lesz nekiesni ősszel a következő nagy projektnek, az adminfelület átírásának.

Elég a demagógiából, mikor lesz készen az új frontend?

Már teszteljük, hamarosan élesedik, napok kérdése. (Kopp, kopp.)

Kell valamit tennem, hogy a blogom az új frontendet használja?

Nem, de ha akarsz nekünk segíteni a tesztidőszakban, vagy csak ki akarod próbálni, már most megteheted: egyszerűen a blog.hu helyett nublog.hu domain alatt nézd meg a blogodat (pl. szevasztok.nublog.hu). Erről több infót itt találsz.

Ez most komoly, hogy ezentúl nublog.hu alatt lesz a blogom blog.hu helyett?

Dehogy, ez csak a tesztverzió domainje, ha minden jól megy, és úgy döntünk, eljött az élesítés ideje, az új rendszer természetesen a blog.hu címről érhető majd el, a megszokott címekkel.

Jó egy éves munka után megérkeztünk az újraírt blog.hu frontend - tehát a blog.hu megjelenítője - átadásához. Hurrá! (Bővebb háttér itt.) Mivel a teljes frontend kódbázisát lecseréltük, nem hübelebalázs módjára, hanem több lépcsőben nyitjuk ki az új rendszert, hogy ki tudjátok próbálni:

1. első lépésben minden blogger meg tudja nézni a saját blogját az új rendszerben (ami a régivel párhuzamosan működik)
2. második lépésben mindenki ki tudja próbálni az új rendszert
3. harmadik lépésben felülírjuk a régi rendszert az újjal.

Az első lépést még ma megtesszük, tehát minden blogger megnézheti a saját blogját az új frontenddel a következők szerint:

• az url ugyanaz, mint a blog.hu-n, de a blog.hu helyett mindenhova nublog.hu-t kell írni (tehát szevasztok.blog.hu helyett szevasztok.nublog.hu) - ez a domain csak a tesztelések idejére fog élni
• a két frontend ugyanazt az adatbázist használja, tehát amit az egyikben csináltok, látszani fog a másikban is
• belépve kell lennetek, különben nem tudjátok kipróbálni
• az adminfelületet nem kell tesztelnetek, csak a blogotok külső oldalait, a főoldalt, posztoldalt, aloldalakat, stb.

A tesztelésnél egyszerűen az számít hibának, ami nem pont ugyanolyan, mint a blog.hu alatt. Az új frontend a mélyben van, csak minimális változtatást jelent a felszínen. Ez alól kivételt képez:

• a kommentformon lévő "Radar" beállítás (még nincs kint)
• a trackbackek/pingbackek megjelenítése (még nincs kint)
• az utolsó kommentek listázásának megjelenítése (megújult)
• a Flame-O meter doboz (könnyes szemmel, de búcsút intettünk neki)

Ezeket tehát ne jelezzétek hibának!

Ha hibát találtok, kérjük küldjétek el a nu kukac blog.hu címre a saját blogotok címével, a hiba pontos helyével és leírásával! A 10 leghasznosabb hibagyűjtőt a hamarosan elkészülő blog.hu póló első példányaival jutalmazzuk! 

Ha a közös tesztelés és a közben háttérben zajló terhelési teszt - sikeres, jövő héten átlépünk a második lépcsőbe.

A tesztelőknek előre is köszönjük a segítséget, kommentekben jöhet bármilyen ide tartozó kérdés, megjegyzés (de a hibákat levélben jelezzétek, mert különben szétfolynak a dolgok).

Mint azt észrevettétek, az utóbbi hónapokban a blog.hu-n sajnos gyakran lehetett találkozni belassulásokkal, néhány perces lehalásokkal. Ehhez jött hozzá az is, hogy mostanában több éjszakai tervezett leállás volt a rendszer finomítása, további optimalizálása érdekében.

A probléma oka az, hogy a blog.hu a elmúlt három évben nagyjából folyamatosan, törések nélkül növekedett, ma már napi 300ezer egyedi felhasználónk van és több mint egymilliós napi oldalletöltésünk.

Ezt a forgalmat ugyanakkor a mai napig egy frontend szolgálta ki. A blog.hu fejlesztése ugyan folyamatos volt, de főleg új funkciókra koncentráltunk, az architektúra nem változott, így egy relatív rugalmatlan és skálázhatatlan rendszert toldozunk foltozunk egy ideje. Megpróbáltuk pl. az adatbázist több gépre szétdobni, leválasztani a médiaszervert, de a szűk keresztmetszeten, az egy darab frontenden nem tudtunk változtatni. 

Sokáig optimalizáltunk, elemeztünk, de kb. egy éve jött el a pillanat, amikor nem volt mese, az optimalizálásba fektetett idő már túlsúlyba került az elért javuláshoz képest. Egy látványosabb példa a rengetegből: készítettünk egy külön elemzést arra nézve, hogy viselkednek a különböző php szálak a belassulások közelében:

A grafikonon egy vízszintes vonal egy php szálat jelöl, a színeket adott oldaltípusok megkülönböztetésére használjuk.  A felbontás másodperces. Bíztunk benne, hogy olyan jelenségre bukkanunk, ami magyarázatot adhat a problémáinkra, de a gyönyörű legóvárosok azt mutatták, hogy nincsenek már olyan egypontos optimalizálási pontok a régi rendszerben, amin érdemes lenne javítani. 

Szóval neki kellett állnunk a blog.hu architekturális átalakításának. Egészen magyarul ez egy teljes újraírást jelent. A blog.hu majdnem teljes kódbázisa lecsérélésre kerül, két lépésben:

• először a frontend (a megjelenítő réteg) kerül újratervezésre és újraírásra,
• ezt követi a backend (admin) újratervezése és újraírása.

A frontend projekt tavaly nyáron indult, addigra állt össze a blog.hu új fejlesztőcsapata,  szociológussal projektmenedzserrel együtt. A munka meglehetősen lassan haladt, mivel párhuzamosan a blog.hu-nak rengeteg új funkciót kellett kapnia az elmúlt évben, ráadásul a szupport jelentős részét is a fejlesztők látják el, nem beszélve a folyamatos optimalizálásról és kríziselhárításról.

De végre eljött a nagy pillanat. Az új rendszer egy év után lassan indulásra készen áll. A géppark is bővítésen esik át, így minden reményünk szerint a következő 1-2 hétben végre egy jóval stabilabb, skálázhatóbb és nagyobb rugalmassággal rendelkező rendszert adhatunk át nektek - amit ráadásul a tisztább struktúra miatt jóval egyszerűbb lesz továbbfejleszteni. Az indulási lépcsőkről hamarosan további infót kaptok.

Ilyen azért nincs minden nap:

Dr. Hiller István oktatási és kulturális miniszter A MŰEMLÉKVÉDELEMÉRT FORSTER GYULA-EMLÉKÉRMET adományozza Lánczi Andrásnak a magyarországi víztornyok védelme, felmérése, dokumentálása és széles körben történő ismertté tétele érdekében kifejtett alapos és kitartó munkájának elismeréseként.

1998 óta foglalkozik a hazai víztornyok módszeres feltérképezésével, állapotuk rögzítésével azért, hogy ez az emlékcsoport építészeti örökségünk részévé válhasson. Ezzel párhuzamosan létrehozott egy tematikus honlapot is (http://viztorony.blog.hu), amely mára a víztornyokkal kapcsolatos információszerzés legfőbb bázisává vált. Innen gyűjtik be az alapadatokat az egyetemisták diplomamunkájuk összeállításához, a tervező mérnökök a felújítások és az újrahasznosítás megtervezéséhez, de élénk figyelemmel kísérik a laikusok is.

Az általa létrehozott Víztorony Baráti Kör a hazai víztornyok pusztulástól való megóvását, állapotuk megőrzését, digitális dokumentálásukat, katalogizálásukat és az újrahasznosítási lehetőségek feltárását tűzte ki célul, szorgalmazva a kiemelt emlékek műemlékké nyilvánítását. Emellett kiadványokkal, dokumentum- és fotókiállítások szervezésével irányítják a figyelmet a víztornyok helyzetére.

forrás: http://www.koh.hu/tartalom.php?idt=20090417102123

Gratulálunk!

Nem csinálunk rendszert egy ilyen olcsó poszttémából, de ha már ennyit szívtam vele a héten, itten van a blog.hu alatt (tehát nem gugliból) keresett kifejezések toplistája:

(Csak remélni tudom, hogy az iwiw ezúttal nem fog perelni azért, mert leírtuk a nevét.)

(Utóbbi pár nap, és igen, nem lehet kiszűrni könnyen a botokat és más torzításokat.)

Ma történt egy-két érdekes dolog a blog.hu háza táján. Kezdődött azzal, hogy biztonsági okokból megváltoztattuk az adatbázis elérést, ez élesítés körül okozott egy szűk félórás fennakadást, amely időszakban nem lehetett pl kommentelni, de gyors hegesztésekkel sikerült úrrá lenni a helyzeten. Robi ekkor közölte, hogy az igazi lehalás még csak ezután jön, mert élesít még mást is.

Azt hittük, viccel. Utóbb kiderült, nagyon is igaza lett.

A helyzet ugyanis az, hogy a blog.hu jelenleg elég intenzíven használ file cache-t. Robi szeretett volna betenni egy kivételt, tehát hogy legyen egy blog, ami sosem cachelődik. Megcsinálta, élesítette, két óráig látszólag minden rendben volt. Aztán elkezdett feltűnni hogy a frontend a terminálban egyre kevésbé reagál a billentyűleütésekre. Sikerült fellőni egy topot, ebből megtudtuk hogy a load meredeken nő. Eljutott az akkor all-time rekordnak számító 1000-es értékig, mire sikerült leállítani az apacheot. Ekkor lőttem ezt:

Rövidesen visszaált normális értékre minden, azt hittük, valami csak beakadt, ezután már jó lesz. Újraindítottuk az apacheot, újra elszállt, ezúttal meg se állt 1300-ig, mire sikerült megint lelőni.

Eddigre már körülbelül nyolcan (rendszergazdák, fejlesztők vegyesen) mással sem foglalkoztunk mint a hiba keresésével, röpködtek az ötletek, ráfogtuk logfeldolgozó scriptre, nfs-re, mysql watchdogra, mindenre. Végül kimerítettünk minden ötletet, elkezdtük nézegetni az elmúlt időszak svn changesetjeit, ekkor lettünk figyelmesek Robi commitjában arra, hogy a file cache-t meghatározó if-ben sikeresen == szerepel != helyett. Azaz Robi egy röpke mozdulattal kikapcsolta a file cache-t a blog.hu-n úgy ahogy van. Innen nézve viszont meglepő, hogy két óráig minden gond nélkül mentünk.

A tanulság tömören, képi formában összefoglalva Bandesz által:

És végül hogy ez milyen kihatással volt a rendelkezésreállásunkra:

(a nagy sárga csík az amikor először elvesztette a fonalat, a rózsaszín csíkok azok amikor leállítottuk az apache-ot)

Figyeljetek az egyenlőségjelekre!

Írtunk a gépházba Új posztajánló a blog.hu címlapon címmel, onnan idézem blogíró kommentjét:

Kódot ajánló gombhoz nem csináltok, amit az ember kirakhatna a bejegyzése mellé a blogjába, és így a usernek csak egy gombot kelljen megnyomnia az ajánláshoz?

Most, hogy csak a címlapról lehet, csak az fog ott ajánlani, aki elmegy ezért külön a blog.hu címlapjára, vagyis elsősorban önpromócióra fogják használni az emberek szerintem, mert a többség csak olvassa a blogokat, de nem megy el a blog.hu-ra, hogy szavazzon is.

Ezért lenne jó egy gomb, hogy aki elolvasta a bejegyzést és tetszett neki, az egyből ajánlhassa.

Pontosan így van: a blogajánló elsősorban önpromóciós eszköz. Nem azért, mert utáljuk a social bookmarking megoldásokat, csak az egy külön projekt, mivel sokkal több - és más - buktatója van. Itthon egyébként eddig minden diggszerű projekt megbukott, mert egyszerűen kicsi a szavazásra vagy ajánlásra hajlamos olvasótábor, ami azzal jár, hogy nem a statisztika dönt, hanem pillanatnyi felhorgadások, 4 szavazattal már lehet vezetni a toplistát, a szpemmerek (és pofátlan önpromózók) ellen szinte lehetetlen védekezni.

Szóval első körben ez egy főleg bloggereknek szóló megoldás, tökéletesítgetjük, és közben gondolkodunk egy olvasószavazós megoldáson és persze a kihelyezhető kódokon is, addig is itt már láttam erre egy népi kezdeményezést.

A promót persze nem lehet jól keverni sajnos az olvasói kattintásokkal, mert erős önkorlátozó mecha dolgozik benne, ami nem enged pl. egy blogból sok posztot egyszerre megjelenni - az a cél, hogy minél több blog szerepeljen egyszerre az ajánlóban, nem pedig az, hogy egy lelkes blogger tíz ajánlója kinyomja a többit. (Todo: erről kéne írni valami szöveget a formhoz, mert sokan nem jönnek rá maguktól.)

Szóval röviden: a mostani promó az inkább a sokszínűségre optimalizál, egy jövőbeni olvasói szavazós rendszer meg népszerűségre fog - más eszközök kellenek.

Ez itt a blog.hu közvetlen hangvételű (igen, ha úgy adódik, el fogunk küldeni oda) kommunikációs blogja. Tehát kevésbé hivatalos hangvételben, de relatív gyakran értesülhettek arról, hogy mi zajlik a gépház alatt, kérdezhettek (erre mindjárt csinálok is egy külön oldalt), és nem utolsósorban anyázhattok, ha valami nem tetszik.

Vágjunk is bele rögtön, barátaim!

Szevasztok!