notebooks/01 Importere data til Pandas.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# 01 Importere data til Pandas\n",
    "\n",
    "Slik importerer du fra vanlige filformater eller andre datakilder til Pandas DataFrame\n",
    "\n",
    "Her bruker vi offentlige norske datasett som eksempler. Datasettene bruker [Norsk lisens for offentlige data](http://data.norge.no/nlod/)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "metadata": {
    "collapsed": true,
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "outputs": [],
   "source": [
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Excel-filer\n",
    "Vi bruker her en oversikt over lakselus per oppdrettsanlegg som kan lastes ned fra [fiskehelse.no](https://www.barentswatch.no/nedlasting/fiskehelse/lice\n",
    "). Vi valgte alle lokaliteter fra uke 1 2016 til uke 42 uke 2017 og formatet XLS."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 60,
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style>\n",
       "    .dataframe thead tr:only-child th {\n",
       "        text-align: right;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: left;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Uke</th>\n",
       "      <th>År</th>\n",
       "      <th>Lokalitetsnummer</th>\n",
       "      <th>Lokalitetsnavn</th>\n",
       "      <th>Voksne hunnlus</th>\n",
       "      <th>Lus i bevegelige stadier</th>\n",
       "      <th>Fastsittende lus</th>\n",
       "      <th>Brakklagt</th>\n",
       "      <th>Kommune</th>\n",
       "      <th>Fylkesnummer</th>\n",
       "      <th>Fylke</th>\n",
       "      <th>Lat</th>\n",
       "      <th>Lon</th>\n",
       "      <th>Lusegrense uke</th>\n",
       "      <th>Over lusegrense uke</th>\n",
       "      <th>Sjøtemperatur</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>42</td>\n",
       "      <td>2017</td>\n",
       "      <td>15196</td>\n",
       "      <td>AGA Ø</td>\n",
       "      <td>0.00</td>\n",
       "      <td>0.58</td>\n",
       "      <td>0.1</td>\n",
       "      <td>Nei</td>\n",
       "      <td>BØMLO</td>\n",
       "      <td>12.0</td>\n",
       "      <td>Hordaland</td>\n",
       "      <td>59.84510</td>\n",
       "      <td>5.261367</td>\n",
       "      <td>0.5</td>\n",
       "      <td>Nei</td>\n",
       "      <td>13.1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>42</td>\n",
       "      <td>2017</td>\n",
       "      <td>12067</td>\n",
       "      <td>ALDALEN</td>\n",
       "      <td>0.19</td>\n",
       "      <td>0.33</td>\n",
       "      <td>0.0</td>\n",
       "      <td>Nei</td>\n",
       "      <td>OS I HORDALAND</td>\n",
       "      <td>12.0</td>\n",
       "      <td>Hordaland</td>\n",
       "      <td>60.24995</td>\n",
       "      <td>5.571917</td>\n",
       "      <td>0.5</td>\n",
       "      <td>Nei</td>\n",
       "      <td>10.0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   Uke    År  Lokalitetsnummer Lokalitetsnavn  Voksne hunnlus  \\\n",
       "0   42  2017             15196          AGA Ø            0.00   \n",
       "1   42  2017             12067        ALDALEN            0.19   \n",
       "\n",
       "   Lus i bevegelige stadier  Fastsittende lus Brakklagt         Kommune  \\\n",
       "0                      0.58               0.1       Nei           BØMLO   \n",
       "1                      0.33               0.0       Nei  OS I HORDALAND   \n",
       "\n",
       "   Fylkesnummer      Fylke       Lat       Lon Lusegrense uke  \\\n",
       "0          12.0  Hordaland  59.84510  5.261367            0.5   \n",
       "1          12.0  Hordaland  60.24995  5.571917            0.5   \n",
       "\n",
       "  Over lusegrense uke  Sjøtemperatur  \n",
       "0                 Nei           13.1  \n",
       "1                 Nei           10.0  "
      ]
     },
     "execution_count": 60,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df = pd.read_excel('data/fiskehelse_2017-10-27-lakselus_per_fisk.xlsx', \n",
    "                   sheetname='Lakselus per fisk')\n",
    "\n",
    "#Funksjonen under viser oss de to første radene av filen\n",
    "df.head(n=2) "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## CSV-filer\n",
    "Her bruker vi CSV-versjonen av dataene vi hentet inn fra Excel over. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style>\n",
       "    .dataframe thead tr:only-child th {\n",
       "        text-align: right;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: left;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Uke</th>\n",
       "      <th>År</th>\n",
       "      <th>Lokalitetsnummer</th>\n",
       "      <th>Lokalitetsnavn</th>\n",
       "      <th>Voksne hunnlus</th>\n",
       "      <th>Lus i bevegelige stadier</th>\n",
       "      <th>Fastsittende lus</th>\n",
       "      <th>Kommune</th>\n",
       "      <th>Lat</th>\n",
       "      <th>Lon</th>\n",
       "      <th>Sjøtemperatur</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>42</td>\n",
       "      <td>2017</td>\n",
       "      <td>33437</td>\n",
       "      <td>ÅDNAHOLMEN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>FINNØY</td>\n",
       "      <td>59.27807</td>\n",
       "      <td>5.777617</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>42</td>\n",
       "      <td>2017</td>\n",
       "      <td>30196</td>\n",
       "      <td>ÅDNEKVAMME</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>MASFJORDEN</td>\n",
       "      <td>60.83117</td>\n",
       "      <td>5.353233</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   Uke    År  Lokalitetsnummer Lokalitetsnavn  Voksne hunnlus  \\\n",
       "0   42  2017             33437     ÅDNAHOLMEN             NaN   \n",
       "1   42  2017             30196     ÅDNEKVAMME             NaN   \n",
       "\n",
       "   Lus i bevegelige stadier  Fastsittende lus     Kommune       Lat       Lon  \\\n",
       "0                       NaN               NaN      FINNØY  59.27807  5.777617   \n",
       "1                       NaN               NaN  MASFJORDEN  60.83117  5.353233   \n",
       "\n",
       "   Sjøtemperatur  \n",
       "0            NaN  \n",
       "1            NaN  "
      ]
     },
     "execution_count": 49,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df = pd.read_csv('data/fiskehelse_2017-10-27-lakselus_per_fisk.csv')\n",
    "df.head(n=2)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## JSON-filer via API\n",
    "Her bruker vi et [API fra NVE](http://api.nve.no/doc/elsertifikater/) for å hente ut liste over kraftselskaper som har søkt om såkalte elsertifikater. Her har vi ikke lastet ned filen først, men henter direkte fra NVEs sider."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 55,
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style>\n",
       "    .dataframe thead tr:only-child th {\n",
       "        text-align: right;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: left;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Fylke</th>\n",
       "      <th>GWh</th>\n",
       "      <th>IMalet</th>\n",
       "      <th>Idrift</th>\n",
       "      <th>Kommune</th>\n",
       "      <th>KraftverkEierNavn</th>\n",
       "      <th>KraftverkEierOrgNr</th>\n",
       "      <th>KraftverksNavn</th>\n",
       "      <th>MW</th>\n",
       "      <th>OU</th>\n",
       "      <th>Omraade</th>\n",
       "      <th>ProduksjonGWhForventetElsertifikatberettiget</th>\n",
       "      <th>ProduksjonGWhMaalet</th>\n",
       "      <th>ProduksjonGWhOvergangsordn</th>\n",
       "      <th>Sluttdato</th>\n",
       "      <th>Startdato</th>\n",
       "      <th>Status</th>\n",
       "      <th>StatusDato</th>\n",
       "      <th>StatusID</th>\n",
       "      <th>TypeAnlegg</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Sør-Trøndelag</td>\n",
       "      <td>10.9</td>\n",
       "      <td>Ja</td>\n",
       "      <td>2012-08-01T00:00:00</td>\n",
       "      <td>Bjugn</td>\n",
       "      <td>BLAASTER VALSNESET AS</td>\n",
       "      <td>995726149</td>\n",
       "      <td>Valsneset testpark</td>\n",
       "      <td>3.00</td>\n",
       "      <td>True</td>\n",
       "      <td>EL 3</td>\n",
       "      <td>10.9</td>\n",
       "      <td>10.9</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2027-12-10T00:00:00</td>\n",
       "      <td>2012-12-10T00:00:00</td>\n",
       "      <td>Godkjent</td>\n",
       "      <td>2012-11-30T00:00:00</td>\n",
       "      <td>4</td>\n",
       "      <td>Vindkraft</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Hordaland</td>\n",
       "      <td>13.8</td>\n",
       "      <td>Ja</td>\n",
       "      <td>2016-09-01T00:00:00</td>\n",
       "      <td>Odda</td>\n",
       "      <td>Norsk Hydro ASA</td>\n",
       "      <td>914778271</td>\n",
       "      <td>Midtlæger</td>\n",
       "      <td>3.47</td>\n",
       "      <td>True</td>\n",
       "      <td>EL 2</td>\n",
       "      <td>13.8</td>\n",
       "      <td>13.8</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2032-05-01T00:00:00</td>\n",
       "      <td>2017-05-01T00:00:00</td>\n",
       "      <td>Godkjent</td>\n",
       "      <td>2017-04-20T00:00:00</td>\n",
       "      <td>4</td>\n",
       "      <td>Vannkraft</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "           Fylke   GWh IMalet               Idrift Kommune  \\\n",
       "0  Sør-Trøndelag  10.9     Ja  2012-08-01T00:00:00   Bjugn   \n",
       "1      Hordaland  13.8     Ja  2016-09-01T00:00:00    Odda   \n",
       "\n",
       "       KraftverkEierNavn KraftverkEierOrgNr      KraftverksNavn    MW    OU  \\\n",
       "0  BLAASTER VALSNESET AS          995726149  Valsneset testpark  3.00  True   \n",
       "1        Norsk Hydro ASA          914778271           Midtlæger  3.47  True   \n",
       "\n",
       "  Omraade  ProduksjonGWhForventetElsertifikatberettiget  ProduksjonGWhMaalet  \\\n",
       "0    EL 3                                          10.9                 10.9   \n",
       "1    EL 2                                          13.8                 13.8   \n",
       "\n",
       "   ProduksjonGWhOvergangsordn            Sluttdato            Startdato  \\\n",
       "0                         NaN  2027-12-10T00:00:00  2012-12-10T00:00:00   \n",
       "1                         NaN  2032-05-01T00:00:00  2017-05-01T00:00:00   \n",
       "\n",
       "     Status           StatusDato  StatusID TypeAnlegg  \n",
       "0  Godkjent  2012-11-30T00:00:00         4  Vindkraft  \n",
       "1  Godkjent  2017-04-20T00:00:00         4  Vannkraft  "
      ]
     },
     "execution_count": 55,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df = pd.read_json('https://api.nve.no/web/ElCert/GetApplications')\n",
    "df.head(n=2)"
   ]
  },
  {
   "cell_type": "raw",
   "metadata": {
    "collapsed": true
   },
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "celltoolbar": "Slideshow",
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.1"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}