Re: MATCHaus-kikkoja

[vastaus aiempaan viestiin]

Kirjoittaja: Reijo Sund
Sähköposti:    -
Päiväys: 7.12.2007 21:18

>Massiivisilla aineistoilla - paljon yksilö-aikahavaintoja -
>tällä tavalla useiden tuntien mätsäys näyttäisi kutistuvan muutamaan
>hassuun minuuttiin. Onkohan joku muu käyttänyt aiemmin
>samaa kikkaa? Vai löytyykö vielä parempi tapa?

Kiitoksia kiintoisan kikkailusi "aukikirjoittamisesta". Olen
itsekin käyttänyt antamasi esimerkin tapaisia ratkaisuja
vastaavanlaisiin ongelmiin. Todettakoon lisäyksenä esimerkkiisi,
että usein myös FILE SELECTistä on apua, kun silloin voi
linkattavasta tiedostosta poimia päädatasta löytyvät tapaukset
heti alkuvaiheessa (ja myös päinvastoin). Tällöin kannattaa
tehdä alkuperäiseen tiedostoon havaintonumero-muuttuja, jota
käyttämällä saa lopuksi koottua paloittaisesti matchatut
osaset alkuperäiseen järjestykseen.

Yksi hyväksi havaittu kikka MODE=3 matchauksissä, joissa
"kohdetiedosto" on iso suhteessa "lähtötiedostoon", on tehdä
havaintonumero-muuttuja kohdetiedostoon, sortata
matchausmuuttujan mukaan, luoda myös järjestettyyn aineistoon
oma erillinen havaintonumero-muuttuja, määrätä FILE AGGRilla
erilaiset matchausmuuttujan arvot, FILE SELECTillä poimia
vastaavat (sortatusta) "lähdetiedostosta", hoitaa varsinainen
matchaus nopeasti MATCH=#:lla, poimia FILE SELECTin KEYS!
täsmennystä hyödyntäen loput kohdetiedoston havainnot, palauttaa
havaintonumeromuuttujan mukaisesti matchausmuuttujan mukainen
järjestys, viedä VAR if(mactchmuuttuja=matchmuuttuja[-1])then(
matchmuuttuja[-1]else(matchmuuttuja) komennolla muuttujan
arvot muihinkin havaintoihin ja palauttaa lopuksi alkuperäinen
järjestys sorttaamalla alkuperäisen aineiston havaintonumero-
muuttujan suhteen. Tämä voi ehkä kuulostaa monimutkaiselta,
mutta on käytännössä vain suoraviivainen tapa tiputtaa
radikaalisti MODE=3 matchauksiin isojen aineistojen kanssa kuluvaa
aikaa.

Tässä yhteydessä on varmaan hyvä palauttaa mieleen, että matchausta
tehostavista kikkailuista löytyy materiaalia keskusteluryhmän
arkistostakin: http://www.survo.fi/arkisto/000270.html 

terv.
Reijo

Vastaukset:

Survo-keskustelupalstan (2001-2013) viestit arkistoitiin aika ajoin sukrolla, joka automaattisesti rakensi viesteistä (yli 1600 kpl) HTML-muotoisen sivukokonaisuuden. Vuoden 2013 alusta Survo-keskustelua on jatkettu entistäkin aktiivisemmin osoitteessa forum.survo.fi. Tervetuloa mukaan!

Etusivu  |  Keskustelu
Copyright © Survo Systems 2001-2013. All rights reserved.
Updated 2013-06-15.