Comparing 3 R-packages for data load speed

Posted on by

 

When your data sits in hundreds of files of identical structure, you depend on some kind of automation to load the files for analysis. Using a set of 332 csv files, I am demonstrating how the load time is hugely different depending on if you are using:

In a 7-minute video, I’m going over my R scripts step by step, allowing R-users of all skills levels to follow along, showing how the three different approaches differ. In the examples, I am moving from a 45-seconds load time down to no more than 0.08 seconds (80 ms), when using a disk cache for data already loaded once.

For me, the end goal was to make the data available for analysis in a dashboard built with Datawatch Panopticon Designer. The connector for Rserve in Datawatch Panopticon is an integration that brings all the possibilities of R straight into your dashboards. Datawatch relies on the standard CRAN distribution of R, which means that you have all the thousands of R packages on CRAN and Bioconductor at your disposal. As I will show you in this video, your choice of packages to use will matter: when loading data, you’ll get very different load times depending on how you use R.

VIDEO: Speed Matters When Loading Data

Förhastad kommentar från Claes Borgström 2008

Posted on by

Claes Borgström i den allra sista minuten av del 2 av Hannes Råstams dokumentär om Thomas Quick:

“Om polisen tillsammans med en psykolog har riggat ett antal berättelser i syfte att lura svenska domstolar att döma en oskyldig, det kan jag säga har aldrig förekommit i rättshistorien någonstans. Utan den som kan visa det har funnit världens största scoop när det gäller att manipulera rättvisan. Det är självklart säger jag – utan att darra på rösten – att så är det inte.”

“Nu är det 2008, han sitter där, han kommer aldrig bli utsläppt. Vare sig han begär resning eller inte.”

http://www.svtplay.se/video/321579/thomas-quick-del-2

Ebooks – Return borrowed item LMAO

Posted on by

image

I had an e-book downloaded from the public library for which the Adobe powered DRM control had kicked in since the “lease time” had been exceeded. I could hardly believe it when I saw an option next to Delete saying “Return borrowed item”.

Can we stop living by hardware laws for electronic bits please?

Judge: You are facing charges for illegal downloading and violation of IP rights. How do you plead?

Defendant: Not guilty. I have returned all of it to the owners. With interest too: I returned double copies.

Posted from my phone

Sture Bergwall och ansvaret

Posted on by

Komikern Peter Wahlbeck förklarade en gång att det han tycker är allra roligast, det är sånt som inte var avsett att vara roligt. “Det är inte meningen att det ska vara roligt, men det blir jävligt roligt”, sa han. Då och då råkar jag på precis den typen av situationer och händelser.

En sådan situation såg jag idag igen, när Yrsa Stenius skriver om “Sture Bergwalls eget ansvar” i DN Kultur. Det som blir roligt är då Yrsa Stenius skriver en välformulerad och ambitiös artikel i syfte att bidra till den pågående debatten och upplysa om att vi dels inte får glömma bort att Sture Bergwall var den som ljög och lurades, dels inte får lägga skuld på dem som faktiskt försökte hjälpa patienten Sture, istället för att som vi hävdas göra idag “hoppas på tabletters undergörande verkan”. När Yrsa Stenius skrev den sist citerade meningen glömde hon nog bort att det är fastställt att Sture Bergwall under flera års tid hade tillgång till enorma doser mediciner, som just hans terapeuter ordinerade…

Yrsa Stenius menar att vi bör ha förståelse för att Sture Bergwalls terapeuter trodde på vad han sa eftersom “den Thomas Quick psykiatrikerna hade framför sig på 1990-talet framstod som en psykiskt svårt störd person”. Yrsa Stenius skriver också att “Inför sina terapeuter fick Thomas Quick förfärliga anfall av olika slag. Han fick ticks, han fick kramper och okontrollerad motorik, han skrek, han morrade, han grät, han damp i golvet och blev liggande och mycket annat.” Låt mig fråga: På vilket sätt gör dessa förhållanden att Sture Bergwalls terapeuter hade anledning att förhålla sig okritiska till vad han hävdade att han varit utsatt för som barn och själv förövat som vuxen? På intet sätt. Skulle vi acceptera denna logik, sådana ursäkter och bevekelsegrunder, så skulle det innebära att man bör tro bokstavligt på allt som varje psykotisk eller schizofren psykiatripatient berättar. Men det gör vi inte. Föreställ er hur det skulle låta: “Patienten lider svårt av radiovågorna som säpo använder för att avlyssna hans hjärna. Säpo förnekar detta, men det tänker vi inte fästa något avseende vid. Patienten har också rövat bort flera numera förvunna personer och sålt dem till besökare från yttre rymden. Tyvärr kommer han inte ihåg hur han gjorde för att kalla hit rymdvarelserna eftersom det var så hemskt. Dock är vi övertygade om att det patienten berättar är sant, eftersom han är heltokig.”

Vidare visar Yrsa Stenius en tendens till samma “guilt by association” resonemang som samtliga debattörer som fortsätter att hävda att Sture Bergwall skulle ha mördat. Hos skriver “Han hade begått ett galet bankrån i samband med vilket han påstod sig ha uppvisat sexualsadistiska tendenser mot en pojke.” Sture Bergwall är lagförd för ett antal brott: sexuella övergrepp mot minderåriga pojkar, bankrån och ett knivöverfall mot en annan man. Så långt fakta. Men det är helt ohållbart och oacceptabelt att åberopa dessa brott som skäl till, eller bevis för, eller anledning att misstänka att Sture Bergwall  skulle ha begått ett till åtta mord.

Yrsa Stenius, som 2005 för övrigt gav ut boken med den i sammanhanget passande titeln “Lögnens Olidliga Lätthet”, avslutar sin artikel med “Det var Sture Bergwall som kom på idén och genomförde den med allvar och övertygelse.” Jo, precis. I tisdags var Sture Bergwall på TV. Han medverkade i Veckans Brott i Sveriges Television Kanal 1. Så här säger Sture Bergwall i teverutan:

“Jag har ju naturligtvis ett stort ansvar. Min historia på Säter börjar när jag säger att ‘jag kanske har begått ett svårt brott’.”

Någon borde köpa en TV till Yrsa Stenius så slipper hon slösa tid på att argumentera för självklarheter.

Med andra ord, vi vet att Sture Bergwall var den som lurades först. Vad är poängen? Ska vi säga “Fy Sture, du var klassad som psykiskt sjuk och svårt drogberoende, men ändå klarade du att hålla på i åratal med att ljuga och lura minst ett halvdussin professionella personer, som studerat på högskola och praktiserat i många år i syfte att bli riktigt bra på att förstå sig på människors psyke.” Nej, det ska vi verkligen inte säga. Möjligen skulle karln ha medalj för denna bedrift.

Professor Sven Åke Christiansson och Argumentum Ad Hominem

Posted on by

Sture Bergwall, tidigare känd som Thomas Quick, är numera frikänd för samtliga av de åtta mord han tidigare dömts för. De journalistiska insatserna av Hannes Råstam och Jenny Küttim (@jennykuttim) i form av dokumentärfilmer och boken Fallet Thomas Quick: Att skapa en seriemördare (2010) kan sägas vara helt avgörande för att dessa mål blev överklagade och överprövade i hovrätt.

Nyligen har ytterligare pusselbitar lagts till förklaringen av detta totala haveri, i form av Dan Josefssons (Josefssons blogg) bok Mannen som slutade ljuga (2013). I denna bok klargörs den roll som så kallade minnesexperten, psykologen och professorn i psykologi Sven Åke Christiansson spelat, under dåvarande inflytande av Margit Norell.

2010 gav Christiansson ut sin bok I huvudet på en seriemördare. Den gjorde han till kurslitteratur på vissa av de delkurser han ger vid Stockholms Universitet, från och med 2011. I november 2013 beslutade Stockholm Universitet att denna bok inte längre får användas som kurslitteratur, eftersom den argumenterar för att en namngiven, i domstol frikänd man är seriemördare. Svenska Dagbladet publicerade igår ett webb-TV-inslag där Ann-Charlotte Smedler, prefekt på Psykologiska institutionen vid Stockholms universitet, säger att Christianson på arbetstid inte får beskriva Sture Bergwall som en seriemördare. I intervjun öppnar Smedler för att boken eventuellt aldrig borde ha blivit godkänd som kurslitteratur, eftersom Sture Bergwall redan var friad för 2 av 8 mord då boken började användas.

http://www.svd.se/kultur/kursbok-om-sture-bergwall-dras-tillbaka_8749790.svd

http://www.svd.se/nyheter/inrikes/professor-kritiseras-for-sin-roll-i-quick-fallet_8749920.svd

Tankarna kring att Thomas Quick skulle vara oskyldig till morden han dömts för, men skyldig till falska erkännanden och enorma mängder lögner, var inte nya när Hannes Råstam skrev sin bok. Ett flertal poliser som deltagit i utredningarna av de olika morden som Sture Bergwall dömdes för valde att lämna utredningarna på grund av vad de såg i form av ignorerade fakta, fabricerade fakta och obefintliga bevis – bland andra Jan Olsson, som framförde sin ståndpunkt i en debattartikel i Dagens Nyheter 2001. Jan Guillou och Leif GW Persson hade länge argumenterat för att Thomas Quick var en mytoman, inte en seriemördare. Thomas Quick slutade samarbeta med polisen 2002 och slutade berätta.

Dessa tankar var kända även för mig då jag våren 2004 började på en grundkurs i rättspsykologi vid Stockholms Universitet, på kvällstid. Jag var välbekant med Thomas Quick såsom dömd seriemördare genom media och böcker jag läst. Kursledare och huvudföreläsare på kursen var Sven Åke Christiansson. Vid ett kurstillfälle passade jag på att fråga om Thomas Quick. Kursdeltagarna hade sedan tidigare fått klart för sig att Sven Åke Christiansson arbetat mycket med en välkände och skrämmande Thomas Quick.

Jag räckte upp handen, och påpekade att det ju finns de som menar att Thomas Quick är en mytoman och inte har mördat någon.

Sven Åke Christiansson tittade på mig över föreläsningssalen. “Ja”, svarade han, “- säger vem då?”

Jag kände mig lite ställd. Hans motfråga insinuerade att uppfattningen om Thomas Quick som mytoman var felaktig, och att det dessutom var något fel på dem som argumenterade för detta alternativ. Eftersom jag inte hade perfekt ordning på vem som stod för detta argument, utan primärt var intresserad av Sven Åke Christianssons kommentar på denna ståndpunkt, förblev jag tyst. Jag var aldrig ute efter debatt, utan var genuint intresserad av vad Christiansson hade att säga i egenskap av etablerad expert och professor, med massor av förstahandskunskaper om Thomas Quick. Men professor Christiansson hade inget att säga.

Sven Åke Christansson lämnade aldrig något svar i den här frågan till sina studenter i kursen i rättspsykologi, våren 2004. Men, i efterhand har jag lärt mig att hans motfråga som svar på min fråga har ett namn: Argumentum Ad Hominem: “ett osakligt argument och därmed ett argumentationsfel eller felslut inom retoriken som handlar om en argumentatörs karaktär, förmåga eller avsikter i stället för själva sakfrågan. […] Personangrepp har ofta syftet att nå psykologiskt övertag över motståndaren och få denne på defensiven i debatten.” (Wikipedia)

Idag skulle jag ha lättare att svara på professor Christianssons retoriska motfråga. Mitt svar skulle nog bli “De som tänker istället för att tro”.