NFS 상에서 많은 파일을 다룰때 느려지는 현상

컴퓨터 이야기~/소프트웨어 2023. 2. 11. 22:01

천만개 이상의 많은 수의 file 을 NFS 서버를 이용해서 copy 하면 엄청나게 느린 문제가 있다. 단순히 파일 개수를 세는 작업도 엄청나게 느리다. ls 나 find 도 느리다.

Cause

The above problems happen mainly due to the NFS v4.0 limitation as described below. If the client uses NFS v4.0 to read and write a lot of files at the same time, the large number of OPEN/CLOSE requests in parallel may result in a bottleneck on the client because the OPEN/CLOSE operations are serialized in NFS v4.0.

https://www.tencentcloud.com/document/product/582/37491

 

Client Use Bottleneck due to Large Number of Small Files or Parallel Requests | Tencent Cloud

Background CFS supports both NFS v3.0 and NFS v4.0 (later version). NFS v3.0 is compatible with Windows clients while NFS v4.0 provides file locking and other features. Client Problem In cases that involve a large number of small files or mixed use of larg

www.tencentcloud.com

 

async, nfsvers=3 옵션을 줄 때 가장 빠르다.

https://www.linux.com/news/benchmarking-nfsv3-vs-nfsv4-file-operation-performance/

'컴퓨터 이야기~ > 소프트웨어' 카테고리의 다른 글

AutoDerm 연구  (0) 2023.03.19
GPT-4 의 시험 성적  (0) 2023.03.16
Model Derm - Skin Lesion 개발 계획  (0) 2022.01.02
baytrail, 32bit EFI, ubuntu 설치  (0) 2021.12.28
Photoshop 6: Unable to continue because of a hardware or system error.  (0) 2020.12.27
,

딥러닝용 PC

컴퓨터 이야기~/하드웨어 2023. 1. 21. 09:49

ASTRO II GD 1650W 80PLUS GOLD 풀모듈러 ATX 3.0 (PCIE5)
https://prod.danawa.com/info/?pcode=18005060#bookmark_product_information마이크로닉스

GIGABYTE X570S AERO G 피씨디렉트
https://prod.danawa.com/info/?pcode=15466466&cate=1131249#bookmark_product_information

ASUS ROG STRIX X570-E GAMING WIFI II 대원씨티에스
https://prod.danawa.com/info/?pcode=15467201&cate=1131249

PNY 지포스 RTX 4090 VERTO D6X 24GB Triple 마이크로닉스 (2개)
https://prod.danawa.com/info/?pcode=17973338

AMD 라이젠7-4세대 5800X3D (버미어) (정품)
https://prod.danawa.com/info/?pcode=16872089&cate=11339002

Fractal Design Meshify 2 XL Dark 강화유리
https://prod.danawa.com/info/?pcode=12681023&cate=112775#bookmark_product_information

'컴퓨터 이야기~ > 하드웨어' 카테고리의 다른 글

AMD; Rocm 가 AI 에서 어려운 이유  (0) 2023.06.25
NVIDIA 가 현재 최고인 이유  (0) 2023.06.08
샤오미 (Xiaomi) 의 yi home ant IP 카메라  (0) 2015.07.04
루온스 스틱 PC 사용기  (0) 2015.06.21
Sony 엑스페리아 Z3 compact (컴팩트) 사용기  (0) 2014.10.19
,

Model Derm - Skin Lesion 개발 계획

컴퓨터 이야기~/소프트웨어 2022. 1. 2. 17:15

https://www.facebook.com/permalink.php?story_fbid=4848809888531852&id=100002086674208
 
Html5 (WWW) 기반으로 새로운 DEMO ("Model Derm - Skin Lesion") 를 만들어 보기로... 일단 기존의 APP 이 사진 저장 기능이 없는데, 병변을 추출해 주고, 가능하다면 tracing 할 수 있는 mobile 프로그램. 이 수준으로 끝나면 인증 문제 없이 배포 가능할듯.
일반 유저 B2C 로 하고, data 는 mobile 브라우저에 저장하고, 사진 몇번 찍으면 detect algo. 에서 병변 잡아주고 부위까지 잡아주는 것이 목표. 추가적인 과제는 tracing.
기술적인 부분을 검토해보니...
1) lesion detect - 논문 나갔던 RCNN algo. 의 속도를 최적화 시켜서 현재 1개 GPU 에서도 5~8초 내에 결과가 나오게 만듬.
2) lesion tracing - 이 부분은 좀 복잡할 듯 한데 쉽지는 않을듯. 여러 CNN 를 이용해서 feature 를 추출해서, 랜드마크를 잡고 지문인식이나 얼굴 인식처럼 유클리드 거리를 구하는 방식으로 먼저 시도해 볼듯.
3) html5 에서 horizontal scroll 되는 display - https://www.websitecodetutorials.com/.../css-horizontal... 요기 4번 DEMO 를 응용해보기로
4) html5 에서 pinpoint zoom - https://timmywil.com/panzoom/demo/ 요거 containment 부분 따오기로
5) file 전송 - https://www.dropzone.dev/js/ dropzone 사용
6) full screen view - http://thenewcode.com/.../Create-A-Simple-FullScreen... 요거 좀 바꿔서 ...
7) 브라우저 내 storage 문제 - https://stackoverflow.com/.../how-to-store-images-in... cache memory 를 쓰던지. https://web.dev/storage-for-the-web/ IndexedDB 를 사용할 예정.
거의 다 처음 시도하는 것이라 하나씩 해봐야....

'컴퓨터 이야기~ > 소프트웨어' 카테고리의 다른 글

GPT-4 의 시험 성적  (0) 2023.03.16
NFS 상에서 많은 파일을 다룰때 느려지는 현상  (0) 2023.02.11
baytrail, 32bit EFI, ubuntu 설치  (0) 2021.12.28
Photoshop 6: Unable to continue because of a hardware or system error.  (0) 2020.12.27
pstools / psexec / psshutdown  (0) 2016.07.31
,

baytrail, 32bit EFI, ubuntu 설치

컴퓨터 이야기~/소프트웨어 2021. 12. 28. 15:08

집에 atom (baytrail) PC 가 2대 있는데, CPU 는 64bit 이지만 EFI 가 32bit 라서 최신 리눅스 설치가 불가. 비슷한 문제는 MAC PC 도 있다. 잘 찾아보니 32bit EFI 를 ISO 파일에 끼워 넣어주는 script 가 있음. xubuntu 20.04.2 에서 잘 되는 것을 확인. 22.04 daily build 에서는 아직 안됨. grub 이 어떤 파일을 이용해서 부팅시키나 조금 파악. 윈도우 10이 되면서 정말 무거워진듯. 몇차례 update 이후 윈도10+chrome은 램8기가 아니면 잘 안돌아가는듯...

 

https://linuxiumcomau.blogspot.com/2017/06/customizing-ubuntu-isos-documentation.html

'컴퓨터 이야기~ > 소프트웨어' 카테고리의 다른 글

NFS 상에서 많은 파일을 다룰때 느려지는 현상  (0) 2023.02.11
Model Derm - Skin Lesion 개발 계획  (0) 2022.01.02
Photoshop 6: Unable to continue because of a hardware or system error.  (0) 2020.12.27
pstools / psexec / psshutdown  (0) 2016.07.31
Wake On Lan , 윈도우 console 프로그램  (0) 2016.01.22
,

Photoshop 6: Unable to continue because of a hardware or system error.

컴퓨터 이야기~/소프트웨어 2020. 12. 27. 20:22

Photoshop 6: Unable to continue because of a hardware or system error. Sorry, but this error is unrecoverable

 

호환성 -> windows me / 98 로 실행.

'컴퓨터 이야기~ > 소프트웨어' 카테고리의 다른 글

Model Derm - Skin Lesion 개발 계획  (0) 2022.01.02
baytrail, 32bit EFI, ubuntu 설치  (0) 2021.12.28
pstools / psexec / psshutdown  (0) 2016.07.31
Wake On Lan , 윈도우 console 프로그램  (0) 2016.01.22
Visual Studio 설치후 Excel 2002 (XP) 종료시 에러 문제  (0) 2015.10.08
,

pstools / psexec / psshutdown

컴퓨터 이야기~/소프트웨어 2016. 7. 31. 20:47

0) pstools 다운로드


PSTools.7z



1)

먼저 shutdown 시키려는 컴터에서 포트 열고 정책 변경 작업을 해놔야 한다.


reg add HKLM\SOFTWARE\Microsoft\Windows\CurrentVersion\Policies\system /v LocalAccountTokenFilterPolicy /t REG_DWORD /d 1 /f
netsh advfirewall firewall add rule name="TCP-445" dir=in action=allow protocol=tcp localport=445



2)

-u / -p 부분은 맞는 것으로 변경.

-t 1 : 1초후에 shutdown 하라는 것

-s : 셧다운

-r : 리부팅

-f : 강제


c:\pstools\psshutdown -s -f -t 1 -u remote -p 0000 \\192.168.0.251
c:\pstools\psshutdown -s -f -t 1 -u remote -p 0000 \\192.168.0.252
c:\pstools\psshutdown -s -f -t 1 -u remote -p 0000 \\192.168.0.253
c:\pstools\psshutdown -s -f -t 1 -u remote -p 0000 \\192.168.0.250


'컴퓨터 이야기~ > 소프트웨어' 카테고리의 다른 글

baytrail, 32bit EFI, ubuntu 설치  (0) 2021.12.28
Photoshop 6: Unable to continue because of a hardware or system error.  (0) 2020.12.27
Wake On Lan , 윈도우 console 프로그램  (0) 2016.01.22
Visual Studio 설치후 Excel 2002 (XP) 종료시 에러 문제  (0) 2015.10.08
소니 Z3 compact (Z3C) 마이크 볼륨이 작은 문제 해결법  (0) 2015.09.27
,

nprotect 실행멈추는 script

카테고리 없음 2016. 7. 24. 07:00


http://feelyou.tistory.com/entry/nProtect-%EC%9E%90%EB%8F%99%EC%9C%BC%EB%A1%9C-%EC%8B%9C%EC%9E%91%ED%95%98%EC%A7%80-%EC%95%8A%EA%B8%B0


에서 만들어 주신 script



,

Wake On Lan , 윈도우 console 프로그램

컴퓨터 이야기~/소프트웨어 2016. 1. 22. 09:43



wolcmd.zip



WakeOnLan console 프로그램이다.


wolcmd [mac address] [ip address] [subnet mask] [port number]


port number 는 지정안하면 7이 디폴트 값이다.




wolcmd 009027a324fe 195.188.159.20 255.255.255.0


이런식으로 실행하면 된다.




https://www.depicus.com/wake-on-lan/wake-on-lan-cmd




'컴퓨터 이야기~ > 소프트웨어' 카테고리의 다른 글

Photoshop 6: Unable to continue because of a hardware or system error.  (0) 2020.12.27
pstools / psexec / psshutdown  (0) 2016.07.31
Visual Studio 설치후 Excel 2002 (XP) 종료시 에러 문제  (0) 2015.10.08
소니 Z3 compact (Z3C) 마이크 볼륨이 작은 문제 해결법  (0) 2015.09.27
핸드폰의 용량이 자꾸 부족할 때는 카카오톡을 확인  (0) 2015.09.27
,

벤츠 E300 시거잭 퓨즈 교체

카테고리 없음 2016. 1. 18. 07:07

    벤츠 E300 자동차 시거잭 전원이 안들어와서 퓨즈를 교체하였다.


    시거잭에 사용하는 USB 가 문제인듯.


    아래를 참고해서 교체하였다.



오디오 밑에 있는 시거잭 퓨즈는 트렁크에 있다. 71 번 퓨즈이다.


퓨즈 위치는 


http://www.mercedesmedic.com/e-class-w212-fuse-box-location-chart-diagram-2010-2016


에 잘 나와있다.


https://www.youtube.com/watch?v=jcT503aB6Ss


참고해서 교체하면 되는데 그냥 빼서 끼우면 된다. 레고 조립하는 수준이다.



타버린 퓨즈. 가운데 전선이 타버려서 없다.




싸구려 USB 어댑터가 문제를 일으켰다. USB port 2개를 가지고 있는데 무리였던듯. 




http://www.mercedesmedic.com/e-class-w212-fuse-box-location-chart-diagram-2010-2016

http://item2.gmarket.co.kr/item/detailview/Item.aspx?goodscode=759202208


https://www.youtube.com/watch?v=jcT503aB6Ss

,

샤오미 cctv home ant 벽 부착기 (wall mount)

카테고리 없음 2016. 1. 11. 21:27

샤오미 cctv home ant 벽 부착하기 위해서는 뜯어야 하는데 아주 힘이 듭니다.


사진을 기준으로 CCTV 본체를 꽉 잡고 원반부분을 시계 반대 방향으로 돌리면 분해할 수 있습니다.


다만 이 과정이 매우 매우 힘이 듭니다.


요령이 있다면 3개의 구멍이 있는 부위에 일자 드라이버를 넣어서 지렛대 원리를 이용해서 방향대로 당기면 수월합니다.






분해한 상태구요.


바닥부분은 일반적으로 많이 쓰는 wall mount 나사를 사용할 수 있습니다.

,

티스토리툴바