CURATING CURIOSITY

문제: 접속해야 할 ec2인스턴스 갯수가 너무 많네.. 평소에 AWS EC2에 접속할 기회가 적었고 접속해 봐야 인스턴스 갯수가 많지 않았을 때는 터미널 창에 ssh 명령어를 입력하여 해결 했습니다. ssh -i [키페어 파일 경로]/[키페어 파일명] [UserName]@[ec2 인스턴스 주소] 그런데, 당연하지만 여러 개가 되니 주소가 여러 개라서 이걸 메모장에 두고 관리하는 것도 그렇고 비슷비슷한 인스턴스 주소명을 구분하는 것도 혼동되고 무엇보다 접속해서 관리하는 업무가 코드 작업까지 들어가 있으면 갑자기 리눅스 cmd명령어를 가지고 작업해야 하는 불편이 더 커지더군요. 해결 방향: VS Code에서 키페어 기반으로 접속하는 방법을 관리하는 방법이 있을까? 평소에 개발 서버 접속을 위해서 VS Cod..

문제 현상 Visual Studio Code를 통해 외부 원격 서버에 remote-ssh플러그인을 통해 접속하여 코드 접근을 하고 실행하는 환경에서 코드를 작성하고 디버그 모드로 실행 시키는데 코드내 기술된 파일/폴더 경로가 코드파일이 존재하는 경로 기준이 아니라 접속 시 루트 폴더 기준으로 경로명이 잡혀 오류가 발생함 사례 중에 하나로 다음과 같이 pytorch 코드를 실행하는 경우 데이터 폴더(data)가 없는 경우 데이터를 다운로드 받고 폴더가 생성되고 있는 경우 해당 데이터 폴더를 이용하는 식으로 코드 구성이 되어 있다. ... training_data = datasets.FashionMNIST( root="data", train=True, download=True, transform=ToTens..

구글 드라이브에 있는 파일들이 여러 개인 경우 한꺼번에 선택해서 다운로드를 선택하면 하나의 압축파일로 만들어져 다운로드되는 과정을 기다려야 하거나 너무 오래 걸려서 포기한 적이 있다. 파일 몇 개 정도는 클릭을 몇번하면 별도의 파일로 다운로드할 수 있으나 이게 수백개가 되니 먼가 대안을 찾기 시작했다. 프로그래밍으로 자동화 해결책으로 파이썬 라이브러리 gdown을 이용한 예제가 몇 개 보였고 이를 시도해 보았는데 여러가지 문제로 원하는 결과를 얻을 수 없었다. 시도 끝에 성공한 방법을 여기에 적어두고자 한다. 성공한 방법은 google cloud의 drive api를 이용하여 폴더의 id를 기준으로 위치한 파일들을 다운로드 하는 방법이다. 사용한 언어는 파이썬 기반이다. 구글 클라우드 drive api ..

AWS EC2 리눅스 인스턴스를 만들고 ssh로 접근하는 방법입니다. 외부에 서버에 ssh로 접근해서 여러가지 일을 하는 것처럼 AWS 인스턴스도 같은 방식으로 할 수 있습니다. 관련 문서는 아래와 같습니다. https://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/AccessingInstancesLinux.html SSH를 사용하여 Linux 인스턴스에 연결 - Amazon Elastic Compute Cloud auto 연결 유형의 동작은 향후 변경될 수도 있습니다. 원하는 연결 유형이 사용되도록 --connection-type을 direct 또는 eice로 명시적으로 설정하는 것이 좋습니다. docs.aws.amazon.com 사전에 준비되어야 할 것은..

Tensorflow.js는 텐서플로를 자바스크립트 환경(브라우저)에서 사용할 수 있도록 개발된 라이브러이다. 브라우저에서 여러 자바스크립트 라이브러를 불러서 쓰는 방식으로 간단하게 개발 및 활용이 가능하지만 node.js 상에서 개발하기 위해서 관련 라이브러리를 설치하고 사용하는 방식도 많이 쓰인다. 이글은 node.js 상에서 tensorflow.js를 설치하고 이를 활용하기 위한 설정 방법을 따라해보고 샘플 코드를 돌려보는 내용을 소개한다. node 프로젝트 만들기 다음과 같이 node 프로젝트를 만들기 위해 폴더를 생성하고 폴더 안에서 프로젝트를 세팅(npm init)을 시작한다. 프로젝트 이름이나 기타 세팅은 테스트용이므로 다 무시하였다. $ mkdir tfjs-sample $ cd tfjs-sa..

현상 우분투에서 화면 왼쪽이나 아래에 놓고 많이 쓰는 프로그램 아이콘들을 두고 사용하는 독(dock)이 얼마전부터 사라져서 프로그램을 선택하거나 세팅을 GUI로 바꾸고 싶을 때 불편함이 많았다. 물론 리부팅을 하면 현상이 사라지는데 뭔가 제대로된 방법은 아닌 것 같다 첫번째 시도: dock 세팅 메뉴 시도 하기 당연히 세팅(settings) 패널에서 Dock 메뉴를 찾아보았다. (나는 Command 버튼을 누르고 텍스트 입력으로 'dock'을 입력하고 엔터키를 눌러 다음과 같은 Dock관련 패널을 찾아 보았다. 메뉴에는 사라진 dock을 살리는 메뉴는 없었다. 자동으로 dock이 사라졌다가 마우스를 근처로 대면 나타나는 기능이나 위치, 아이콘 크기를 조절하는 메뉴가 있을 뿐이었다. 해결책: gnome s..

Streamlit은 머신러닝, 딥러닝 프로젝트나 데이터 분석 결과를 간단한 앱 형태로 제시하기 좋게 핵심 기능을 잘 정리한 앱 프레임워크이다. www.streamlit.io/ Streamlit — The fastest way to create data apps Streamlit is an open-source app framework for Machine Learning and Data Science teams. Create beautiful data apps in hours, not weeks. All in pure Python. All for free. www.streamlit.io 파이썬 코드로 작성한 알고리듬이나 모델을 앱 형태로 간단하게 연결해서 결과를 사용자들이 조작하면서 볼 수 있는 기능을 ..

Streamlit 소개 파이썬기반 프로젝트를 소개하는 간단한 웹어플리케이션을 만드는 라이브러이이다. 최근 많은 딥러닝, 머신러닝 기반의 프로젝트 데모를 간단하게 보여주기 위해 flask같은 웹 프레임워크를 사용하기도 하는데 사실 웹서버 클라이언트 개념을 알아야 하는 진입장벽이 있다. 좀 더 간단하고 데이터에 특화된 결과를 보여주기 쉽게 구성된 라이브러리가 바로 streamlit 이고 간단한 인터액션이나 pandas나 numpy같은 데이터를 다루는 라이브러리와 무리없이 연결하여 쓸 수 있어 정말 간단한 결과를 공유하는데에는 아주 좋은 라이브러리도 보여진다. 설치: pip를 이용해 완전 간단함 설치는 다음 한줄을 터미널 창에 입력하면 끝난다. 도커나 가상환경(conda 같은)에서 python3 버전을 설치하..