-
Notifications
You must be signed in to change notification settings - Fork 47
/
Copy pathcommon.py
190 lines (154 loc) · 6.33 KB
/
common.py
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
"""
@file common.py
@brief Commonly used script
@author Toshiki Nakamura, Yuki Nikaido, and Yohei Kawaguchi (Hitachi Ltd.)
Copyright (C) 2020 Hitachi, Ltd. All right reserved.
"""
########################################################################
# import python-library
########################################################################
# default
import glob
import argparse
import sys
import os
# additional
import numpy
import librosa
import librosa.core
import librosa.feature
import yaml
########################################################################
########################################################################
# setup STD I/O
########################################################################
"""
Standard output is logged in "baseline.log".
"""
import logging
logging.basicConfig(level=logging.DEBUG, filename="baseline.log")
logger = logging.getLogger(' ')
handler = logging.StreamHandler()
formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(message)s')
handler.setFormatter(formatter)
logger.addHandler(handler)
########################################################################
########################################################################
# version
########################################################################
__versions__ = "1.0.0"
########################################################################
########################################################################
# argparse
########################################################################
def command_line_chk():
parser = argparse.ArgumentParser(description='Without option argument, it will not run properly.')
parser.add_argument('-v', '--version', action='store_true', help="show application version")
parser.add_argument('-e', '--eval', action='store_true', help="run mode Evaluation")
parser.add_argument('-d', '--dev', action='store_true', help="run mode Development")
args = parser.parse_args()
if args.version:
print("===============================")
print("DCASE 2020 task 2 baseline\nversion {}".format(__versions__))
print("===============================\n")
if args.eval ^ args.dev:
if args.dev:
flag = True
else:
flag = False
else:
flag = None
print("incorrect argument")
print("please set option argument '--dev' or '--eval'")
return flag
########################################################################
########################################################################
# load parameter.yaml
########################################################################
def yaml_load():
with open("baseline.yaml") as stream:
param = yaml.safe_load(stream)
return param
########################################################################
########################################################################
# file I/O
########################################################################
# wav file Input
def file_load(wav_name, mono=False):
"""
load .wav file.
wav_name : str
target .wav file
sampling_rate : int
audio file sampling_rate
mono : boolean
When load a multi channels file and this param True, the returned data will be merged for mono data
return : numpy.array( float )
"""
try:
return librosa.load(wav_name, sr=None, mono=mono)
except:
logger.error("file_broken or not exists!! : {}".format(wav_name))
########################################################################
########################################################################
# feature extractor
########################################################################
def file_to_vector_array(file_name,
n_mels=64,
frames=5,
n_fft=1024,
hop_length=512,
power=2.0):
"""
convert file_name to a vector array.
file_name : str
target .wav file
return : numpy.array( numpy.array( float ) )
vector array
* dataset.shape = (dataset_size, feature_vector_length)
"""
# 01 calculate the number of dimensions
dims = n_mels * frames
# 02 generate melspectrogram using librosa
y, sr = file_load(file_name)
mel_spectrogram = librosa.feature.melspectrogram(y=y,
sr=sr,
n_fft=n_fft,
hop_length=hop_length,
n_mels=n_mels,
power=power)
# 03 convert melspectrogram to log mel energy
log_mel_spectrogram = 20.0 / power * numpy.log10(mel_spectrogram + sys.float_info.epsilon)
# 04 calculate total vector size
vector_array_size = len(log_mel_spectrogram[0, :]) - frames + 1
# 05 skip too short clips
if vector_array_size < 1:
return numpy.empty((0, dims))
# 06 generate feature vectors by concatenating multiframes
vector_array = numpy.zeros((vector_array_size, dims))
for t in range(frames):
vector_array[:, n_mels * t: n_mels * (t + 1)] = log_mel_spectrogram[:, t: t + vector_array_size].T
return vector_array
# load dataset
def select_dirs(param, mode):
"""
param : dict
baseline.yaml data
return :
if active type the development :
dirs : list [ str ]
load base directory list of dev_data
if active type the evaluation :
dirs : list [ str ]
load base directory list of eval_data
"""
if mode:
logger.info("load_directory <- development")
dir_path = os.path.abspath("{base}/*".format(base=param["dev_directory"]))
dirs = sorted(glob.glob(dir_path))
else:
logger.info("load_directory <- evaluation")
dir_path = os.path.abspath("{base}/*".format(base=param["eval_directory"]))
dirs = sorted(glob.glob(dir_path))
return dirs
########################################################################