Re: FILE RENAME,FILE CHANGE,FILE DROP,FILE EXPAND

[vastaus aiempaan viestiin]

Kirjoittaja: Petri Palmu
Sähköposti:    petri.palmu'at'helsinki.fi
Päiväys: 11.12.2003 12:52

Terve, tässä vielä pari lisuketta soppaan hämmennettäväksi...

Reijon mielestäni käytännössä tosi hyödyllisiin ehdotuksiin lisäisin jo
palstalla aiemmin käyty keskustelu tekstimuotoisen aineiston tuonnista
ja konvertoinnista .SVO tiedostoksi. Ainakin datalla: yli 100 saraketta,
mukana pitkiä string-muuttujia ja noin 15 desimaalin tarkkuudella olevat
muuttujat, tuonti sarkainerotettuna tekstitiedostona (Excelissä) Survoon
toiminnolla FILE SAVE DATA.TXT TO DATA2 / DELIMITER=TAB, onnistui
sinänsä moitteettomasti. Jostain syystä aiemmalla Survon versiolla 1.24
en tuonnissa aina onnistunut, vaan osa tiedoista oli FILE SHOWssa
tähdellä merkittyjä, osa taas puuttuvia. Nykyinen versio on 2.01. Voi
tietenkin olla, että tein aiemmin jotain väärin...

Tuonnissa .SVO:ksi ainoat ongelmat ovat ääkkösten katoaminen ja pitkien
muuttujanimien menettäminen. Joissakin ohjelmissa sallitaan pitempiä (>8
merkkiä) muuttujanimiä, mutta esim. R:ssä ei sitten ole selkeästi sijaa
muuttujan pidemmälle, erilliselle selitteelle. Lyhyt nimi (tai sen
vaatiminen) on käytössä parempi, mutta aineistoa Survoon tuodessa olisi
hyödyllisistä, jos pitempi nimi siirtyisi automaattisesti vaikkapa
nähtäväksi FILE STATUKSEN muuttujien selittämiseen varatussa kentässä
(muuttujatyypin perässä). Vielä jos lyhyt nimi olisi katkaistu jotenkin
älykkäästi, ei välttämättä niin että raa'asti vain 8 ensimmäistä merkkiä
pitkästä nimestä. Nyt voi olla tilanteita, että useamman muuttujan nimi
alkaa samoilla 8:lla ensimmäisellä merkillä. tällöin tekstitiedoston
tuonti ei onnistu lainkaan (Survo antaa virheilmoituksen). Muuttujan
kuvaaminen 8:lla merkillä ei ainakaan minulta onnistu aina kovin hyvin.

Juha Valtosen aiemmin (10.3.2003) ehdottama lisätäsmennys desimaalien
erottelulle: NUMFILTER_DECIMAL=, olisi varmasti hyödyllinen, koska
ainakin mulla Excel tekee omia temppujaan, kuten lukee muuttujan arvoja
päivämäärinä, kun yritän vain korvata pilkut pisteiksi. Ehkä nämä
ongelmat olisi vältettävissä asetusten kautta (Excel), mutta olisi
tyylikästä, jos tekstitiedostoa tarvitsisi manipuloida käsin mahd. vähän
etukäteen.

Toinen hyvä? täsmennys liittyisi puuttuviin havaintoihin. Joissakin
ohjelmissa puuttuvia tietoja merkitään esim. "NA":lla tai tyhjällä.
Tekstitiedoston muunnossa .SVO-tiedostoksi voisi täsmentää esim.
MISSING_VALUES="NA", jolloin Survo muuntaa tekstitiedostossa "NA":lla
merkityt havainnot "-":ksi. Näin saataisiin jälleen yksi vaihe enemmän
Survosta käsin tehtäväksi, mikä muuten täytyy tehdä esim. excelin
puolella. "Ylimääräinen" Excel-vaihe voitaisiin välttää monessa
tapauksessa melkein kokonaan, nyt on tehtävä esityötä ääkkösten,
desimaalipilkkujen ja puuttuvien tietojen kanssa. Luulen, että tämä
osaltaan madaltaisi kynnystä Survon käyttöön, koska aineiston sisäänluku
on joskus tuntunut yhtä hankalalta kuin itse analysointi ;)

Myös toiseen suuntaan (.SVO -> .TXT) tulisivat vastaavat täsmennykset
kyseeseen, mikäli joku nyt haluaa Survosta poies ;-( Samalla "lyhyet"
muuttujanimet voisi niin halutessaan korvata pitkillä nimillä, jotka nyt
ovat nähtävissä FILE STATUKSESSA.

Eli tällaisia ajatuksia tuli mieleen aineiston käsittelyyn liittyen.
Olisi kiva kuulla, ovatko muut painineet samojen, harvemmin itse asiaan
(analyysit) liittymättömien vaiheiden kanssa. Kenties teillä (tai
Survolla jo itsellään) on myös patenttivarmat ratkaisut ongelmiin :)

Petri

Vastaukset:

Survo-keskustelupalstan (2001-2013) viestit arkistoitiin aika ajoin sukrolla, joka automaattisesti rakensi viesteistä (yli 1600 kpl) HTML-muotoisen sivukokonaisuuden. Vuoden 2013 alusta Survo-keskustelua on jatkettu entistäkin aktiivisemmin osoitteessa forum.survo.fi. Tervetuloa mukaan!

Etusivu  |  Keskustelu
Copyright © Survo Systems 2001-2013. All rights reserved.
Updated 2013-06-15.