본문 바로가기

Coding

(9)
엑셀 파일 칼럼 너비를 자동으로 조절해주는 코드 (Python) https://stackoverflow.com/questions/17326973/is-there-a-way-to-auto-adjust-excel-column-widths-with-pandas-excelwriter Is there a way to auto-adjust Excel column widths with pandas.ExcelWriter? I am being asked to generate some Excel reports. I am currently using pandas quite heavily for my data, so naturally I would like to use the pandas.ExcelWriter method to generate these reports. Ho... stac..
Linux 쓰다보니 유용했던 bashrc 설정들 *사용자 ID는 soy로 예를 들겠습니다. 1. alias 예시) ### username = soy # 작업 폴더로 이동, 터미널에 prd만 입력하면 자동으로 아래 폴더로 이동한다. alias prd="cd /home/user/soy/workspace/project1" # conda 가상환경 활성화 비활성화 alias pe="conda activate project1_env" alias da="conda deactivate" # PBS 사용시에 현재 본인의 잡 보기, 혹은 삭제하기 alias mj="qstat -n1 -u soy" alias dmj="qselect -u soy | xargs qdel" 2. bash function 예시) # less로 csv보기 (빠르게 확인용) # 사용시에는 lcsv ..
Example : Multiprocessing with shared large numpy array in Jupyter, Windows 10 In mmd.py: def pool_init(image_base, image_shape): global image image = np.ctypeslib.as_array(image_base.get_obj()) image = image.reshape(*image_shape) def pool_job(row_number): image[row_number, :] = row_number In notebook: import numpy as np from mmd import pool_init, pool_job from multiprocessing import Array, cpu_count, Pool, freeze_support if __name__ == "__main__": freeze_support() image =..
An example of custom loss using model internals - Tensorflow version : 2.4.0 rc1 - Colab notebook: colab.research.google.com/drive/1Hwi6auz2meKvD0ogdDSywb2E4_J1F9S_?usp=sharing import tensorflow as tf from tensorflow import keras • Create a custom layer calculating and adding custom loss: class ReconLoss(keras.layers.Layer): def __init__(self, **kwargs): super().__init__(**kwargs) def call(self, inputs): x, reconstruction = inputs recon_loss ..
Implementation of Guided Grad-CAM with Tensorflow 2 Full example : github.com/Crispy13/crispy/blob/master/examples/guided_grad_cam.ipynb Crispy13/crispy Contribute to Crispy13/crispy development by creating an account on GitHub. github.com def make_gradcam_heatmap( img_array, model, last_conv_layer_name, classifier_layer_names ): """ Makes grad cam heatmap. Parameters ---------- img_array : an input image model : a keras model object last_conv_la..
Jupyter Lab 설치 및 작업 환경 설정 방법 (feat. anaconda3) * 이 글은 github.com/Anaconda-Platform/nb_conda를 참고하여 작성하였습니다. 다른 가상환경을 Jupyter에서 사용하기 위해서는 아래와 같은 조건이 필요합니다. ● Jupyter가 설치되어 있는 가상환경에 nb_conda 패키지가 설치되어 있을 것 ● Jupyter에 등록시킬 가상환경은 ipykernel 패키지가 설치되어 있을 것 위 조건만 충족시키면 자동으로 다른 가상환경을 Jupyter에서 사용할 수 있습니다. 예시로 직접 해보겠습니다. Jupyter Lab 설치 및 작업 환경 설정 방법 1. Jupyter용 가상환경을 만듭니다. Jupyter 가상환경에는 nb_conda 패키지가 포함되어야 합니다. conda create -n jupyter jupyterlab nb_c..
It seems that RTX 3080 has a issue with CUDA 10.1 * 영작 연습 및 정보 기록용으로 올린 포스팅입니다. I bought GIGABYTE RTX 3080 gaming oc 10GB for deep learning and used it to train a model. But the validation loss was nan but training loss was fine. I tested the same script with 4 environments(OS : Windows 10 x64): 1. 3700x + RTX 3080 (CUDA 10.1) 2. 3700x only (no GPU) 3. Other laptop (i7 8750H + GTX 1050ti) 4. 3700x + RTX 3080 (CUDA 11.0 + cudnn 8.0.3) The valida..
Ubuntu에 Anaconda 설치하기 Ubuntu에 Anaconda를 설치하는 방법을 간략히 소개드리겠습니다. - 테스트 환경: Ubuntu 20.04 LTS (WSL) 따라하기 영상이 있으니 영상 보고 하실분은 아래 유튜브 링크를 보시면 됩니다. youtu.be/PzifhvtMplw 1. Anaconda 다운로드 링크 복사하기 구글에 아나콘다를 검색하거나 혹은 www.anaconda.com에 접속합니다. 다운로드 페이지로 들어갑니다. 아래 그림처럼 링크를 복사합니다. 2. 아나콘다 설치파일 다운로드 복사한 링크를 이용해 wget으로 다운로드합니다. 큰따옴표는 실제로 넣으시면 안됩니다. wget "다운로드 링크" 3. 아나콘다 설치파일 실행 아래 명령으로 아나콘다를 설치파일을 실행합니다. bash "다운로드한 설치파일" 안내사항에 맞춰 진행..