Datförberedelse för analys: Hur förfrågningar om kundanalys blir till infrastrukturprojekt

Så här misslyckas inbyggd analys i det tysta. Produktteamen lovar analysfunktioner som kunderna faktiskt vill ha, men när utvecklingen väl sätter igång går den mesta tiden åt till att förbereda data. Det som slutligen levereras lever inte upp till löftet i den planerade analysplanen. Istället blir det helt enkelt det som teamet hann bygga.

Även om det är viktigt att tillgodose kundernas önskemål kan anpassade funktioner som är avsedda att särskilja din produkt lätt bli en belastning för supporten. Dataskiktet är nästan alltid den dolda orsaken. Här diskuterar vi datförberedelser inför analys och hur kundernas önskemål snabbt kan utvecklas till komplexa infrastrukturprojekt.

Varför databehandlingen hela tiden bromsar upp teamen

ETL-processer är stabila till sin natur. De fastställer hur data förbereds och omvandlas genom strukturerade flöden som vanligtvis ändras sällan. Denna stabilitet är värdefull och bör bevaras.

Analyslagret i en produkt fungerar på ett helt annat sätt, och kundernas frågor förändras ständigt när de väl har fått tillgång till funktionen. Utan rätt mellanled blir varje sådan förfrågan en utvecklingscykel. Till exempel tar en produktchef emot förfrågan, utvecklingsavdelningen utvärderar datamodellen, någon anpassar ETL-processen, därefter följer validering och till slut lanseras ändringen. Vid det laget har kundens intresse ofta redan gått vidare.

De flesta organisationer investerar i datalager för att göra data mer tillgängliga. Datalagren centraliserar data och standardiserar scheman, vilket är verkligt värdefulla funktioner. Utmaningen ligger i att datalagren arbetar i infrastrukturens takt, medan de kundinriktade produkterna arbetar i funktionshastighet.

När en kund ställer en fråga som lagret inte är utformat för att besvara, flyttas arbetet uppströms. Det är då ett backlog-ärende skapas, logiken i arbetsflödet ändras och datamodellerna justeras. När ditt team väl har löst ärendet ser handläggningstiden inte alls ut som vid en vanlig produktiteration.

Det som teamen inom inbyggd analys behöver är ett mellanlager som placeras mellan den stabila ETL-pipeline och den analys som levereras till kunderna. Detta lager hanterar det arbete med utformning och förberedelse som ofta förändras, utan att tvinga teamen att ändra den underliggande infrastrukturen. En ny kundförfrågan förblir ett produktbeslut istället för att bli ett arkitekturprojekt.

Svaret med molnet – och varför det inte alltid gäller

När organisationer stöter på utmaningar när det gäller prestanda eller förberedelser rekommenderar analysleverantörer ofta samma tillvägagångssätt, nämligen att flytta verksamheten till molnet.

Molnbaserade analysplattformar har skapat verkliga fördelar i den miljön.

• Snabbare sökmotorer

• Automatiserad modellering

• AI-stödd förberedelse

Allt detta kan minska den arbetsinsats som krävs för att förbereda data inför analys. Haken är att många av dessa funktioner endast finns inom leverantörens egen molninfrastruktur. När leverantörer rekommenderar att man flyttar analysarbetsbelastningar till molnet, rekommenderar de ofta att kunderna flyttar sina data till leverantörens miljö för att kunna använda dessa verktyg.

Undvik leverantörsberoende med molnneutralt BI

Gå till nu

För organisationer som integrerar inbyggda analysfunktioner i sina produkter blir detta en fråga om produktarkitektur. Var analysen körs är nu direkt kopplat till var själva produkten kan köras. För många branscher fungerar den avvägningen helt enkelt inte.

Vårdorganisationer kan inte vidarebefordra patientdata via tredjeparts molninfrastruktur utan att stöta på byråkrati. Finansföretag verkar inom strikta ramverk som begränsar var data får behandlas, medan tillverkare och reglerade teknikföretag ofta inte kan flytta känslig driftsdata utanför sin egen miljö.

I Europa medför regelverket ytterligare påtryckningar. GDPR, DORA, EU:s AI-lag och NIS2 inför efterlevnadskrav som direkt påverkar var analyssystem får användas och vart data får överföras.

Denna förändring speglar en växande klyfta mellan de funktioner som leverantörerna bygger in i sina egna molnplattformar och de miljöer där många organisationer faktiskt måste använda sin programvara.

En annan väg framåt

Logi Symphony från insightsoftware Data + Analytics är utvecklat för organisationer som vill ha moderna analysfunktioner utan att behöva flytta sina produktdata till någon annans infrastruktur. Lösningen placeras mellan befintliga datapipelines och det analyslager som levereras till kunderna, vilket innebär att ETL kan fortsätta att göra det den är bäst på. Det förberedande arbetet, som anpassas efter kundernas frågor, sker i analyslagret istället för inuti pipelines.

För produktteam innebär det att en ny analysförfrågan inte omedelbart blir ett datatekniskt projekt. Uppgifterna kan omformas och förberedas direkt i själva analysmiljön, vilket gör att teamen kan bemöta kundförfrågningar enligt den normala produkttidsplanen.

Förberedelselagret är visuellt för de flesta användare. När du behöver ytterligare flexibilitet finns programmerbara transformationer tillgängliga i C#, Python och R. Hierarkier, inklusive oregelbundna och obalanserade strukturer som många plattformar har svårt att hantera, kan modelleras direkt i analyslagret istället för att kodas in uppströms. Styrningen följer med data genom en säkerhetsmodell som definierar åtkomsten en gång och tillämpar den konsekvent i alla analysmiljöer.

Logi Symphony hanterar prestandan på flera olika sätt beroende på situationen:

• Direktanslutning fungerar när källsystemet redan är snabbt

• Resultaten kan lagras i cache i Logi Symphony när uppkopplingen är instabil eller när data ändras sällan

• För komplexa självbetjäningsuppgifter lagras förberäknade resultat i minnet (in-memory caching) i RAM-minnet på organisationens egna servrar

Två patenterade tekniker ligger till grund för dessa funktioner:

ta Sharpening överför sökresultaten direkt till visualiseringarna så att användarna kan börja interagera redan innan hela sökningen är klar.

Cachelagring i minnet ser till att resultat som används ofta finns nära användaren, så att filtrering, detaljgranskning och pivottabellering förblir snabba även vid hög belastning.

ShapeDe funktioner som användarna förväntar sig av modern analys behöver inte finnas i någon annans molnmiljö. Med Logi Symphony:

• Din ETL-process förblir oförändrad.

• Er infrastruktur förblir oförändrad

• Er efterlevnadsstatus förblir oförändrad

Det som förändras är hur snabbt produktteamen kan svara på kundernas önskemål om analysfunktioner. Istället för att vänta i veckor på ändringar i utvecklingsprocessen kan teamen anpassa analysfunktionerna på några minuter.

Vill du veta mer? Titta på vårt webbinarium som du kan se när det passar dig om hur du får data som är redo för analys utan att behöva vänta på att data ska förberedas.