Skip to main content

Digilasku osa 2


Keskustelimme asiakkaan kanssa, mitä mieltä he ovat Googlen pilvipalvelun käytöstä. Heillä ei ollut ongelmaa sielunsa myymisessä kansainväliselle yhtiölle. Asiakkaan tulevaisuudensuunnitelmiin ei kuulu oman hakukonepalvelun aloittamista, joten päätimme luottaa Googleen. Tietokanta on toki kryptattu, mutta kryptausavain on koodissa, joka on Googlen hallussa.

Käytimme tietokantaratkaisuna App Enginen omaa NoSQL tietokantaa. App Enginen datastore tarjoaa JDO standardoidun DataNucleus merkintöjä syövän ORM tallennustilan. Päädyimme ratkaisuun, koska se nopeuttaa tietokannan suunnittelua. Toisena perusteena on helppo datan integraatio Vaatimeen, koska pystymme käyttämään POJOja sekä tallennukseen, että itse applikaation komponenteissa.

Tietokannasta tuli melko "ei-relaatiomainen" ja lopulta aika huono. Suurta hämmennystä aluksi herätti App Enginen indeksointiquota. Kun testailimme aplikaatiota ensimmäisiä kertoja varsinaisella alustalla, ihmettelimme miksi indeksointioperaatiota tapahtuu, vaikka aplikaation ei pitäisi tehdä minkäänlaisia tietokantaoperaatioita.

Syyksi paljastui ehkä suurin haittapuoli App Enginessä Vaadin alustana. Vaadin tallentaa istuntodataa tietokantaan. Tässä on muutama haittapuoli. Vaadin tallentaa istuntodatan yhtenä entitynä, jonka maksimikoko on 1MB App Enginessä. Jokainen uusi luku ja tallennusoperaatio vie myös indeksointioperaatioquotaa, jonka huomasimme kuluvan nopeimmin. Myös App Engine itsessään tallentaa istuntodataa, kylläkin pienemmissä osissa, mutta aiheuttaa sitäkin enemmän indeksointioperaatioita.

Vaadin onneksi osaa hyödyntää memcachea istuntodatan tallennuksessa, mikä vähentää ainakin lukuoperaatioita. Ongelmana on kuitenkin istunnon koon kasvaminen, lähinnä PDF ikkunoiden takia. Tilapäisenä ratkaisuna zippaan istuntodatan ennen tallennusta. Tämä kutisti istuntodatan koon jopa yhdeksäsosaan alkuperäisestä.

Istuntodataa alkaa aikaa myöten kertyä jonkun verran. Putsaaminen on helppo suorittaa cronilla, joka kutsuu Vaatimen servletin /CLEAN urlia, joka poistaa sekä App Enginen että Vaatimen istuntodatan. Tässä voi hyödyntää backendiä, jonka suoritusaikaquota on erillinen frontend suoritusajasta.

App Engine tarjoaa kohtuullisen monipuolisen hallintapaneelin, josta näkee statistiikkaa erilasista rajoituksista, tietokannasta ja logit. Loggaus onnistuu Javan omalla JRE-kirjastolla, ja logitilaa on 1GB. Hallintapaneelista pääsee tarkastelemaan instansseja ja säätää näille maksimimäärän tai minimimäärän, tosin vain jos laskutus on päällä.

Comments

Post a Comment

Popular posts from this blog

I'm not a passionate developer

A family friend of mine is an airlane pilot. A dream job for most, right? As a child, I certainly thought so. Now that I can have grown-up talks with him, I have discovered a more accurate description of his profession. He says that the truth about the job is that it is boring. To me, that is not that surprising. Airplanes are cool and all, but when you are in the middle of the Atlantic sitting next to the colleague you have been talking to past five years, how stimulating can that be? When he says the job is boring, it is not a bad kind of boring. It is a very specific boring. The "boring" you would want as a passenger. Uneventful.  Yet, he loves his job. According to him, an experienced pilot is most pleased when each and every tiny thing in the flight plan - goes according to plan. Passengers in the cabin of an expert pilot sit in the comfort of not even noticing who is flying. As someone employed in a field where being boring is not exactly in high demand, this sounds pro...
Post a Comment
Read more

Careful with externalTrafficPolicy

On a project I am working on is hosted in an EKS cluster with the NGINX ingress controller (the one maintained by Kubernetes). It is deployed using it's official official Helm chart, which I realized, after a lengthy debugging session, was a mistake. The initial setup I aimed to improve had several flaws. Firstly, we were using the AWS Classic Load Balancer in front of the nginx ingress in the cluster, which has been deprecated for some time (years?). Continuing to use it makes little sense to us. The second issue was that we were only running one(!) nginx pod, which is quite sketchy since the exposed web services had essentially no high availability.  I switched to the Network Load Balancer (NLB), which was straightforward - I just needed to change the ingress-nginx service annotation to specify the load balancer type as NLB: service.beta.kubernetes.io/aws-load-balancer-type: nlb However, increasing the replica count turned out to be tricky. When I bumped it up to two, I began to ...
Post a Comment
Read more

Emit structured Postgres data change events with wal2json

A common thing I see in an enterprise system is that when an end-user does some action, say add a user, the underlying web of subsystems adds the user to multiple databases in separate transactions. Each of these transactions may happen in varying order and, even worse, can fail, leaving the system in an inconsistent state. A better way could be to write the user data to some main database and then other subsystems like search indexes, pull/push the data to other interested parties, thus eliminating the need for multiple end-user originating boundary transactions. That's the theory part; how about a technical solution. The idea of this post came from the koodia pinnan alla podcast about event-driven systems and CDC . One of the discussion topics in the show is emitting events from Postgres transaction logs.  I built an utterly simple change emitter and reader using Postgres with the wal2json transaction decoding plugin and a custom go event parser. I'll stick to the boring ...
Post a Comment
Read more