210624 test.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "c0c63974",
   "metadata": {},
   "outputs": [],
   "source": [
    "from pyspark.sql import SparkSession, functions as F\n",
    "\n",
    "# 1. PySpark SQL의 API는 SparSession을 entry point로 접근할 수 있습니다.\n",
    "spark: SparkSession = SparkSession.builder.getOrCreate()\n",
    "\n",
    "# 2. SparkSession을 통하여 AWS S3에 Parquet 포맷으로 저장된 로그를\n",
    "#    DataFrame으로 로드합니다.\n",
    "economy_log: DataFrame = spark.read.parquet(\"s3a://logging-test-game/log/partition=economy\")\n",
    "\n",
    "# 3. DataFrame을 temp table로 등록해서 SQL로 쿼리합니다.\n",
    "economy_log.registerTempTable(\"economy_log\")\n",
    "economy_table: DataFrame = spark.sql(\"\"\"\n",
    "      SELECT mid, sum(properties.amountDelta) AS amount\n",
    "        FROM economy_log\n",
    "    GROUP BY mid\n",
    "\"\"\")\n",
    "\n",
    "# 3-1. 또는 DataFrame API를 통하여 쿼리할 수도 있습니다.\n",
    "economy_table: DataFrame = (\n",
    "    economy_log\n",
    "      .groupBy(\"mid\")\n",
    "      .agg(F.sum(F.col(\"properties.amountDelta\")).alias(\"amount\"))\n",
    "      .select(\"mid\", \"amount\")\n",
    ")\n",
    "\n",
    "# 4. 결과물을 S3로 다시 저장합니다.\n",
    "economy_table.write.parquet(\"s3a://analytics-test-game/dw/f_economy\")"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}