CUDA programming 책이네. CUDA 는 먼옛날 Caffe 사용할 때 일부는 C 로 일부는 CUDA 로 짜여져 있어서 잠깐 살펴볼 일만 있었음.

메인은 BLAS 인데 image 는 224x224 처럼 행렬이므로 이를 더했다 뻈다 하는 연산을 해주는 것. 원래 Atlas / OpenBlas / Mkl 등으로 했는데 CUDA 에서는 cuBLAS. 이를 neural network 에 쓰기 좋게 만든게 cuDNN. 여기에 상응하는 것을 intel 에서 자기들의 mkl 을 이용해서 mkldnn 을 만들고 이게 onednn 으로 현재까지 이어짐.

NVIDIA 가 AI 를 꽉잡고 있는 이유는 CUDA 와 CUDNN 등 소프트웨어적인 요소가 큼. 더 빠르다고 되는게 아니고 cudnn, cufft 등 여러 CUDA 산하의 library 로 만들어 놓은게 많아서 NVIDIA 것 아니면 다 새로 만들어야 함. 추가적으로 GPU driver 가 이제는 정말 복잡해졌는지, NVIDIA 것만 해도 이것저것 버그가 많았다. 새로 만든 것이 안정적으로 돌아가기를 기대하기 힘듬.

 


https://www.facebook.com/Bjpublic.co.kr/posts/pfbid023RPCbXjDSk9s5cCzGuVhAq7PP2y87n2ZxKw52gQwqhmpcRgRrHwUZ7HP7DAyXsQbl

'컴퓨터 이야기~ > 소프트웨어' 카테고리의 다른 글

Bard AI V2  (0) 2023.06.13
ChatGPT 통계  (0) 2023.06.06
AutoDerm 연구  (0) 2023.03.19
GPT-4 의 시험 성적  (0) 2023.03.16
NFS 상에서 많은 파일을 다룰때 느려지는 현상  (0) 2023.02.11
,

https://www.nature.com/articles/s41598-023-31340-1

스웨덴 그룹이고 유서 깊은 telemedicine platform 인 FirstDerm 의 study. 44 class 이고 55,364 images 로 학습되었고, test set (retrospective result) 에서는 Top-1 은 49.3%. 그러나 real-world setting 에서 AI 의 Top-1 이 39% 이고 이에 반해 GP 는 64%, DER 은 72% 라고. 


이 결과를 보면 mult-class algorithm 만드는 것이 얼마나 어려운 것인지를 보여준다. 사실 몇만 케이스는 algorithm 을 만들기에 턱없이 부족. 요즘 언어모델이나 multimodal model 처럼 제대로 작동하려면 엄청나게 많은 data 가 필요하다. 
이러니 26 class 로 Top-1 이 66% 나왔다는 구글의 Nature Medicine 결과를 믿을 수 없다는 것임. 거의 유사하게 16,530 cases, 대략 5~6만장이 사용되었음. 아직까지도 결과물 테스트 불가.

 

결론적으로 #AI model 을 직접 서빙해서 정확도를 보기 전에는 retrospective study 의 결과는 믿을 수 없음.

'컴퓨터 이야기~ > 소프트웨어' 카테고리의 다른 글

ChatGPT 통계  (0) 2023.06.06
CUDA programming 책  (0) 2023.05.28
GPT-4 의 시험 성적  (0) 2023.03.16
NFS 상에서 많은 파일을 다룰때 느려지는 현상  (0) 2023.02.11
Model Derm - Skin Lesion 개발 계획  (0) 2022.01.02
,

GPT 의 시험성적이 낮게 나오게 출제하는 것이 창의적으로 문제를 출제한 것으로 평가될듯. 

,

천만개 이상의 많은 수의 file 을 NFS 서버를 이용해서 copy 하면 엄청나게 느린 문제가 있다. 단순히 파일 개수를 세는 작업도 엄청나게 느리다. ls 나 find 도 느리다.

Cause

The above problems happen mainly due to the NFS v4.0 limitation as described below. If the client uses NFS v4.0 to read and write a lot of files at the same time, the large number of OPEN/CLOSE requests in parallel may result in a bottleneck on the client because the OPEN/CLOSE operations are serialized in NFS v4.0.

https://www.tencentcloud.com/document/product/582/37491

 

Client Use Bottleneck due to Large Number of Small Files or Parallel Requests | Tencent Cloud

Background CFS supports both NFS v3.0 and NFS v4.0 (later version). NFS v3.0 is compatible with Windows clients while NFS v4.0 provides file locking and other features. Client Problem In cases that involve a large number of small files or mixed use of larg

www.tencentcloud.com

 

async, nfsvers=3 옵션을 줄 때 가장 빠르다.

https://www.linux.com/news/benchmarking-nfsv3-vs-nfsv4-file-operation-performance/

,

ASTRO II GD 1650W 80PLUS GOLD 풀모듈러 ATX 3.0 (PCIE5)
https://prod.danawa.com/info/?pcode=18005060#bookmark_product_information마이크로닉스

GIGABYTE X570S AERO G 피씨디렉트
https://prod.danawa.com/info/?pcode=15466466&cate=1131249#bookmark_product_information

ASUS ROG STRIX X570-E GAMING WIFI II 대원씨티에스
https://prod.danawa.com/info/?pcode=15467201&cate=1131249

PNY 지포스 RTX 4090 VERTO D6X 24GB Triple 마이크로닉스 (2개)
https://prod.danawa.com/info/?pcode=17973338

AMD 라이젠7-4세대 5800X3D (버미어) (정품)
https://prod.danawa.com/info/?pcode=16872089&cate=11339002

Fractal Design Meshify 2 XL Dark 강화유리
https://prod.danawa.com/info/?pcode=12681023&cate=112775#bookmark_product_information

,

https://www.facebook.com/permalink.php?story_fbid=4848809888531852&id=100002086674208
 
Html5 (WWW) 기반으로 새로운 DEMO ("Model Derm - Skin Lesion") 를 만들어 보기로... 일단 기존의 APP 이 사진 저장 기능이 없는데, 병변을 추출해 주고, 가능하다면 tracing 할 수 있는 mobile 프로그램. 이 수준으로 끝나면 인증 문제 없이 배포 가능할듯.
일반 유저 B2C 로 하고, data 는 mobile 브라우저에 저장하고, 사진 몇번 찍으면 detect algo. 에서 병변 잡아주고 부위까지 잡아주는 것이 목표. 추가적인 과제는 tracing.
기술적인 부분을 검토해보니...
1) lesion detect - 논문 나갔던 RCNN algo. 의 속도를 최적화 시켜서 현재 1개 GPU 에서도 5~8초 내에 결과가 나오게 만듬.
2) lesion tracing - 이 부분은 좀 복잡할 듯 한데 쉽지는 않을듯. 여러 CNN 를 이용해서 feature 를 추출해서, 랜드마크를 잡고 지문인식이나 얼굴 인식처럼 유클리드 거리를 구하는 방식으로 먼저 시도해 볼듯.
3) html5 에서 horizontal scroll 되는 display - https://www.websitecodetutorials.com/.../css-horizontal... 요기 4번 DEMO 를 응용해보기로
4) html5 에서 pinpoint zoom - https://timmywil.com/panzoom/demo/ 요거 containment 부분 따오기로
5) file 전송 - https://www.dropzone.dev/js/ dropzone 사용
6) full screen view - http://thenewcode.com/.../Create-A-Simple-FullScreen... 요거 좀 바꿔서 ...
7) 브라우저 내 storage 문제 - https://stackoverflow.com/.../how-to-store-images-in... cache memory 를 쓰던지. https://web.dev/storage-for-the-web/ IndexedDB 를 사용할 예정.
거의 다 처음 시도하는 것이라 하나씩 해봐야....
,

집에 atom (baytrail) PC 가 2대 있는데, CPU 는 64bit 이지만 EFI 가 32bit 라서 최신 리눅스 설치가 불가. 비슷한 문제는 MAC PC 도 있다. 잘 찾아보니 32bit EFI 를 ISO 파일에 끼워 넣어주는 script 가 있음. xubuntu 20.04.2 에서 잘 되는 것을 확인. 22.04 daily build 에서는 아직 안됨. grub 이 어떤 파일을 이용해서 부팅시키나 조금 파악. 윈도우 10이 되면서 정말 무거워진듯. 몇차례 update 이후 윈도10+chrome은 램8기가 아니면 잘 안돌아가는듯...

 

https://linuxiumcomau.blogspot.com/2017/06/customizing-ubuntu-isos-documentation.html

,

Photoshop 6: Unable to continue because of a hardware or system error. Sorry, but this error is unrecoverable

 

호환성 -> windows me / 98 로 실행.

,

0) pstools 다운로드


PSTools.7z



1)

먼저 shutdown 시키려는 컴터에서 포트 열고 정책 변경 작업을 해놔야 한다.


reg add HKLM\SOFTWARE\Microsoft\Windows\CurrentVersion\Policies\system /v LocalAccountTokenFilterPolicy /t REG_DWORD /d 1 /f
netsh advfirewall firewall add rule name="TCP-445" dir=in action=allow protocol=tcp localport=445



2)

-u / -p 부분은 맞는 것으로 변경.

-t 1 : 1초후에 shutdown 하라는 것

-s : 셧다운

-r : 리부팅

-f : 강제


c:\pstools\psshutdown -s -f -t 1 -u remote -p 0000 \\192.168.0.251
c:\pstools\psshutdown -s -f -t 1 -u remote -p 0000 \\192.168.0.252
c:\pstools\psshutdown -s -f -t 1 -u remote -p 0000 \\192.168.0.253
c:\pstools\psshutdown -s -f -t 1 -u remote -p 0000 \\192.168.0.250


,



wolcmd.zip



WakeOnLan console 프로그램이다.


wolcmd [mac address] [ip address] [subnet mask] [port number]


port number 는 지정안하면 7이 디폴트 값이다.




wolcmd 009027a324fe 195.188.159.20 255.255.255.0


이런식으로 실행하면 된다.




https://www.depicus.com/wake-on-lan/wake-on-lan-cmd




,