find_raw.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "from pathlib import Path\n",
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "mbdu_bids_root = Path('/data/MBDU/ABCD/BIDS/NKI_script/MID')\n",
    "dsst_bids_root = Path('/data/ABCD_DSST/bids_20190215/')\n",
    "mbdu_raw_root = Path('/data/MBDU/ABCDraw')\n",
    "mriqc_outdir = Path('/data/ABCD_DSST/bids_20190215/derivatives/mriqc')\n",
    "\n",
    "rsync_script = Path('raw_rsync.sh')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "dsst_subs = sorted(list(dsst_bids_root.glob('sub-*')))\n",
    "dsst_pls = set([ss.parts[-1][4:] for ss in dsst_subs])\n",
    "dsst_subs = set([ss.parts[-1] for ss in dsst_subs])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Get a list of all the jsons that have been produced by MRIQC\n",
    "jsons = sorted(list(mriqc_outdir.glob('**/*.json')))\n",
    "\n",
    "json_df = []\n",
    "for sub_json in jsons:\n",
    "    row = {}\n",
    "    row['scan_name'] = sub_json.parts[-1].split('.')[0]\n",
    "    row['path'] = sub_json\n",
    "    json_df.append(row)\n",
    "json_df = pd.DataFrame(json_df)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "json_df['pl'] = json_df.scan_name.str.split('_').str[0].str.split('-').str[-1]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "mbdu_raw_subs = sorted(list((mbdu_raw_root / 'T1').glob('*.tgz')))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "mbdu_raw_pls = set([ss.parts[-1].split('_')[0] for ss in mbdu_raw_subs])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "no_bids = mbdu_raw_pls.difference(dsst_pls)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [],
   "source": [
    "cmds = ['#! /bin/bash']\n",
    "for nb in no_bids:\n",
    "    cmds.append(f'rsync -achR {mbdu_raw_root}/./*/{nb}*.tgz abcdqc_backend_user:/abcdqc_data/ABCDraw/')\n",
    "for nb in json_df.pl.values[:100]:\n",
    "    cmds.append(f'rsync -achR {mbdu_raw_root}/./*/{nb}*.tgz abcdqc_backend_user:/abcdqc_data/ABCDraw/')\n",
    "cmds.append('')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "33823"
      ]
     },
     "execution_count": 27,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "rsync_script.write_text('\\n'.join(cmds))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'NDARINV04BFG4JM',\n",
       " 'NDARINV0AU5R8NA',\n",
       " 'NDARINV0AUBJJJ4',\n",
       " 'NDARINV0AZFZ65C',\n",
       " 'NDARINV0J2UAG61',\n",
       " 'NDARINV0YGRZTUF',\n",
       " 'NDARINV0YLJKU2J',\n",
       " 'NDARINV14AFR5D4',\n",
       " 'NDARINV1CV6NNKT',\n",
       " 'NDARINV1KAEAHY9',\n",
       " 'NDARINV1TFVYFMB',\n",
       " 'NDARINV1TP6LCDF',\n",
       " 'NDARINV1XKLCFDR',\n",
       " 'NDARINV20CZ5PTX',\n",
       " 'NDARINV233UX0N5',\n",
       " 'NDARINV2XGC3LN5',\n",
       " 'NDARINV33FEYMMB',\n",
       " 'NDARINV36TXKJEW',\n",
       " 'NDARINV38BUHW31',\n",
       " 'NDARINV3BVCVP02',\n",
       " 'NDARINV3F2UEE7D',\n",
       " 'NDARINV3RFU7ZRP',\n",
       " 'NDARINV3RTWYZX5',\n",
       " 'NDARINV3UUD5J8C',\n",
       " 'NDARINV3YJA47GG',\n",
       " 'NDARINV3YVFTTE6',\n",
       " 'NDARINV4BRAVBYU',\n",
       " 'NDARINV4P9B9PGN',\n",
       " 'NDARINV4RX5LRX2',\n",
       " 'NDARINV4W3GW9WL',\n",
       " 'NDARINV4XEMVP0N',\n",
       " 'NDARINV4Z38T1RY',\n",
       " 'NDARINV55HCZHHV',\n",
       " 'NDARINV56KML05T',\n",
       " 'NDARINV5DJB8FFX',\n",
       " 'NDARINV5FUBUX54',\n",
       " 'NDARINV5UJ0L2AV',\n",
       " 'NDARINV5UJ10BMU',\n",
       " 'NDARINV5V1FEEAW',\n",
       " 'NDARINV5VP4RK9P',\n",
       " 'NDARINV62VXCMPT',\n",
       " 'NDARINV6CNL0TLZ',\n",
       " 'NDARINV6CZ8A7P2',\n",
       " 'NDARINV6DYLLUU6',\n",
       " 'NDARINV6E7NETJT',\n",
       " 'NDARINV6LNW0KV6',\n",
       " 'NDARINV6MB1G78W',\n",
       " 'NDARINV6PK3TH3F',\n",
       " 'NDARINV6RWCZUXZ',\n",
       " 'NDARINV747ZXA8Y',\n",
       " 'NDARINV7E36P23G',\n",
       " 'NDARINV7GCR03MF',\n",
       " 'NDARINV7LNN715D',\n",
       " 'NDARINV7LWNRC3F',\n",
       " 'NDARINV7MR18DLV',\n",
       " 'NDARINV7XER6781',\n",
       " 'NDARINV7YFTLJBG',\n",
       " 'NDARINV84EPJRY1',\n",
       " 'NDARINV88V8C4GJ',\n",
       " 'NDARINV8JFP0XXH',\n",
       " 'NDARINV8MXA9EYV',\n",
       " 'NDARINV8P62FV1D',\n",
       " 'NDARINV8P7ZETEX',\n",
       " 'NDARINV91BAHLL2',\n",
       " 'NDARINV91P92GNW',\n",
       " 'NDARINV93WX6071',\n",
       " 'NDARINV97A3711A',\n",
       " 'NDARINV9H4U1DHY',\n",
       " 'NDARINV9Y43MGV3',\n",
       " 'NDARINVA7CLY4PL',\n",
       " 'NDARINVA7PB1MWM',\n",
       " 'NDARINVA940A4NE',\n",
       " 'NDARINVA9H3WMHD',\n",
       " 'NDARINVAH92KG8X',\n",
       " 'NDARINVAKLPG0GB',\n",
       " 'NDARINVAN0BA3ZM',\n",
       " 'NDARINVAU7FW44R',\n",
       " 'NDARINVAWG2NZC4',\n",
       " 'NDARINVAX2MYFH9',\n",
       " 'NDARINVAZ2THFRK',\n",
       " 'NDARINVAZ3DJH9K',\n",
       " 'NDARINVB15ECXNF',\n",
       " 'NDARINVB68067CD',\n",
       " 'NDARINVB7PW7GZA',\n",
       " 'NDARINVBK3K7AN8',\n",
       " 'NDARINVBKW33JVR',\n",
       " 'NDARINVBLYFK2HJ',\n",
       " 'NDARINVBWT96BWH',\n",
       " 'NDARINVC0BDYBKD',\n",
       " 'NDARINVC4EAMHZ7',\n",
       " 'NDARINVC9N11UXX',\n",
       " 'NDARINVCBVP6BDH',\n",
       " 'NDARINVCCL8MNW4',\n",
       " 'NDARINVCKA8AFM8',\n",
       " 'NDARINVCKDU4DXE',\n",
       " 'NDARINVCL18941F',\n",
       " 'NDARINVCLAFAT0D',\n",
       " 'NDARINVCPAB62JD',\n",
       " 'NDARINVCPYE49R9',\n",
       " 'NDARINVD32LCBUY',\n",
       " 'NDARINVD76PJ8X7',\n",
       " 'NDARINVDBF7Z5CL',\n",
       " 'NDARINVDE17JJG5',\n",
       " 'NDARINVDHJNAJ5Y',\n",
       " 'NDARINVDLXJMXAG',\n",
       " 'NDARINVDU50FZ05',\n",
       " 'NDARINVDWJKX2YR',\n",
       " 'NDARINVE4NE0L80',\n",
       " 'NDARINVED51W527',\n",
       " 'NDARINVEJHM574R',\n",
       " 'NDARINVEL7GGP0Y',\n",
       " 'NDARINVENKLYX1L',\n",
       " 'NDARINVEY3GRANZ',\n",
       " 'NDARINVF1B8U3G5',\n",
       " 'NDARINVF4G76BRL',\n",
       " 'NDARINVF6BJCNW6',\n",
       " 'NDARINVF71CL4P2',\n",
       " 'NDARINVFCVZ66WZ',\n",
       " 'NDARINVFJVMZ2D6',\n",
       " 'NDARINVFM186DJL',\n",
       " 'NDARINVFRW3A0M2',\n",
       " 'NDARINVFV0NBDHW',\n",
       " 'NDARINVG2RXUFF1',\n",
       " 'NDARINVG2ZHGAWM',\n",
       " 'NDARINVG4HBU1Y0',\n",
       " 'NDARINVG91T2JF8',\n",
       " 'NDARINVGCDY2UAK',\n",
       " 'NDARINVGV5N5P10',\n",
       " 'NDARINVH2CGXAAN',\n",
       " 'NDARINVH2Z1AXE3',\n",
       " 'NDARINVHAD1KFV7',\n",
       " 'NDARINVHBGX2W56',\n",
       " 'NDARINVHLKBLZ33',\n",
       " 'NDARINVHPVL425U',\n",
       " 'NDARINVHXHUVGJG',\n",
       " 'NDARINVJ1XKYGP9',\n",
       " 'NDARINVJ22VD7L7',\n",
       " 'NDARINVJ2CBCRYX',\n",
       " 'NDARINVJGFBY8J1',\n",
       " 'NDARINVJGJVLK16',\n",
       " 'NDARINVJLXMB8LP',\n",
       " 'NDARINVK36E1PEB',\n",
       " 'NDARINVKFZM65LP',\n",
       " 'NDARINVKHDHWB2T',\n",
       " 'NDARINVKNHT54VZ',\n",
       " 'NDARINVKPLUBC73',\n",
       " 'NDARINVKV1CFR99',\n",
       " 'NDARINVKV9CRFTM',\n",
       " 'NDARINVKVMU7J2K',\n",
       " 'NDARINVL124KUNM',\n",
       " 'NDARINVL1GA12Y1',\n",
       " 'NDARINVL5KEXX4Y',\n",
       " 'NDARINVLABWKL63',\n",
       " 'NDARINVLEXJMGJ6',\n",
       " 'NDARINVM15U5KMV',\n",
       " 'NDARINVM2JLZJJ1',\n",
       " 'NDARINVM8HMUPN5',\n",
       " 'NDARINVM8LL41UF',\n",
       " 'NDARINVMAXZDNVW',\n",
       " 'NDARINVMKWH6RED',\n",
       " 'NDARINVML1A2JFY',\n",
       " 'NDARINVMMZP7T96',\n",
       " 'NDARINVMN7K3JN0',\n",
       " 'NDARINVMUG529LW',\n",
       " 'NDARINVMYUP1YJ7',\n",
       " 'NDARINVN0JV7RUL',\n",
       " 'NDARINVN1HATRZN',\n",
       " 'NDARINVNBU3UA23',\n",
       " 'NDARINVNC2BCXWR',\n",
       " 'NDARINVNF2BWTVU',\n",
       " 'NDARINVNFWYZZJR',\n",
       " 'NDARINVNGAXVYPV',\n",
       " 'NDARINVNKBLG2AL',\n",
       " 'NDARINVNW8TFAV3',\n",
       " 'NDARINVNZ2C50P3',\n",
       " 'NDARINVP5J0UJXG',\n",
       " 'NDARINVP7PFH5GK',\n",
       " 'NDARINVP9NTMNTN',\n",
       " 'NDARINVPB7TWVGE',\n",
       " 'NDARINVPCV7FMWH',\n",
       " 'NDARINVPFC26GTC',\n",
       " 'NDARINVR6FAP3A7',\n",
       " 'NDARINVR7E6XG5K',\n",
       " 'NDARINVR7WBBFTB',\n",
       " 'NDARINVRFGCXLTN',\n",
       " 'NDARINVRL1GM16T',\n",
       " 'NDARINVRREA9RBW',\n",
       " 'NDARINVT1C2GBHB',\n",
       " 'NDARINVT9E1CUGM',\n",
       " 'NDARINVTABF5AC1',\n",
       " 'NDARINVTEB0VDTW',\n",
       " 'NDARINVTFRBC95E',\n",
       " 'NDARINVTM4YT5UD',\n",
       " 'NDARINVTY5H5PHZ',\n",
       " 'NDARINVTZ5XBL2L',\n",
       " 'NDARINVU697JENW',\n",
       " 'NDARINVU9H7T90F',\n",
       " 'NDARINVUCXEZB27',\n",
       " 'NDARINVV1UUN23J',\n",
       " 'NDARINVV5Y81HT9',\n",
       " 'NDARINVVCAHYYKD',\n",
       " 'NDARINVVN1L8JD3',\n",
       " 'NDARINVW1EJC2L6',\n",
       " 'NDARINVW3FWG7L0',\n",
       " 'NDARINVW5T73BJ9',\n",
       " 'NDARINVW7YX6WG3',\n",
       " 'NDARINVW8W3GAH9',\n",
       " 'NDARINVWB0RVAGY',\n",
       " 'NDARINVWK84XHKV',\n",
       " 'NDARINVWM0HJKFC',\n",
       " 'NDARINVWT60P58U',\n",
       " 'NDARINVWVFZTJX6',\n",
       " 'NDARINVWW5E3PXX',\n",
       " 'NDARINVX40BPRMT',\n",
       " 'NDARINVXGPKHPUV',\n",
       " 'NDARINVXLYDYTLX',\n",
       " 'NDARINVXNKDAEH6',\n",
       " 'NDARINVXNVL1783',\n",
       " 'NDARINVY064R00W',\n",
       " 'NDARINVY0YM6R2T',\n",
       " 'NDARINVY19N2XDD',\n",
       " 'NDARINVY51F4FMX',\n",
       " 'NDARINVY9DCYBXW',\n",
       " 'NDARINVYBC941EU',\n",
       " 'NDARINVYH8W7XH2',\n",
       " 'NDARINVYJ7PYHV7',\n",
       " 'NDARINVYK2J75TH',\n",
       " 'NDARINVYKPWRXF2',\n",
       " 'NDARINVYRRPGLF4',\n",
       " 'NDARINVYT2MVJEZ',\n",
       " 'NDARINVYUPPEV2G',\n",
       " 'NDARINVYW440F27',\n",
       " 'NDARINVYXMFACD7',\n",
       " 'NDARINVZ5BHJRP7',\n",
       " 'NDARINVZ5G203VB',\n",
       " 'NDARINVZ6950R7M',\n",
       " 'NDARINVZ6FGXNPH',\n",
       " 'NDARINVZ730VLUZ',\n",
       " 'NDARINVZJD4XU1U',\n",
       " 'NDARINVZU422XFY',\n",
       " 'NDARINVZVW3HKWN',\n",
       " 'NDARINVZW88GN71',\n",
       " 'NDARINVZWP490TG',\n",
       " 'NDARINVZZ05KY5J',\n",
       " 'NDARINVZZZP87KR'}"
      ]
     },
     "execution_count": 31,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "no_bids"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.2"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}