결국 지르고 말았습니다.(안판다네요.)
2024.06.11 21:17
기기는 아니구요. 피씨에서 자연어 처리 돌려보려고 하니까 아무래도 메모리가 부족해서 질문 - 답변하는 거는 아예 시작도 못하고 메모리 에러 나면서 쥬피터랩이 서버리더라구요. 오늘 다른 가벼운 질문 답변 하는 것 실행했는데, 이거는 메모리를 덜 잡아 먹어서 그런지 간신히 돌기는 하는데 여전히 많이 느립니다. 원래 생각은 코랩에서 하려고 했던 건데, GPU 용량 다 써버려서 시작도 못하더라구요. 딥러닝 배운다고 피씨 사놓고 한번도 제대로 수행해본 적이 없어서 이번에는 단단히 마음 먹고 CUDA, CUDNN 설치 다하고 라이브러리랑 설정 잡았습니다.
아무래도 메모리 부족이 문제인것 같아서 이번 기회에 새로 사볼까 하다가 결국 DDR-4 32GB 해외 구매로 질렀습니다. 7일 정도 걸린다고 하니까 빨라야 다음주 후반에나 받을 수 있겠군요. 내일까지 금융연수원에서 딥러닝 교육 받는데 매일 책으로 유튜브로만 강의를 듣다가 이렇게 질문도 하고 해서 재미있습니다. 하루 종일 긴장하고 수업을 들어서 그런지 어제 오늘 집에 오자마자 탈진입니다. 원래는 도장 가서 열심히 운동하자였는데 지금은 걍 지치는군요. 무엇보다 일요일에 피씨 설정 잡는다고 너무 무리한 것 같습니다. 교육 가서는 긴장해서 들어서 그런지 2배로 더 피곤하기도 하구요.
덕분에 예전에는 당췌 이해하지 못했던 것들이 슬슬 눈에 들어오기 시작합니다. 저는 통계 모델, 머신러닝모델까지는 어떻게 따라갔는데 딥러닝 모델은 도저히 못따라가겠더라구요. 예전에 피씨에서 R로 통계모형 돌리던 시절과 달리 지금은 정말 대용량 모델을 돌리다보니까 최소 워크스테이션급 장비가 없으면 안되겠더라구요. 이번에 하나 새로 딥러닝 장비 하나 사볼까 했다가 최소 240만원(피씨만입니다.) 가격과 제원을 보고 포기하게 되더군요.
지금 작업 하나 돌렸는데 0단계도 제대로 돌지 않고 진도가 안나가네요. 메모리 24GB에서 24 + 32GB로 증설했는데 제대로 안돌아가면 정말 망하는 건데 그거는 다음주에 새로 돌려보고 말씀드리겠습니다. 요즘 무언가 알아간다는 생각이 들고 뭔가 예전처럼 어느 정도 개념이 정립된다는 생각이 드니까 즐겁습니다. 지난 2년동안 호낮서 공부하고 고민했던 것에 대한 소소한 보상이라는 생각이 듭니다. 카드사 포인트를 닥닥 긁어 모으니까 램 살 정도의 가격은 나오네요. 다행이라고 생각하고 있습니다.
지금 이 글은 만 10살된 맥북 프로에서 작성중인데 피씨 화면이 갑자기 까맣게 변해버렸습니다. T_T 이거 아무래도 메모리가 문제가 있는것 같습니다.
가격이 급등해서 못판다고 해서, 걍 삼성전자 32GB 메모리로 질렀습니다. 이번에 써보고 왠만큼 돌아가면 더 증설해봐야겠습니다. ㅎㅎ
코멘트 5
-
TX
06.11 21:45
-
해색주
06.12 10:54
지금 12 * 2 인데 32 하나 꽂아서 써보고 괜찮으면 하나 더 사보려고 합니다. 말씀하신 래블업이라는 회사 검색해서 함 봐야겠습니다. 가입해야 쓸 수 있네요.
-
TX
06.12 12:54
8+16 에 32를 더하시는 상황이 아니었나보군요.
-
해색주
06.12 14:16
현재 12 x 2 = 24GB인데, 메모리 부족인 것 같아서 32GB 램 하나 더 꼽아보고 괜찮으면 하나 더 사서 달려고 하고 있습니다. 제일 중요한게 GPU인데, 그닥 좋지 않아서 이 정도만 투자해도 왠만한 거는 돌릴 수 있지 않을까 해서요.
-
왕초보
07.04 01:24
메모리 슬롯은 충분하신가 봅니다. 그게 아니면 하나씩 뽑고 꽂아야 하는 상황이.. 로칼에서 LLM돌리는 것은 엄청난 일일텐데요. 대단하세요.
메모리가 너무 중구난방이네요;; 뭐 그래도 돌아가긴 하겠지만 이왕이면 32,32 듀얼이 좋겠습니다.
래블업이라는 국내 회사의 백엔드닷에이아이도 써보세요.
코랩과 경쟁하는 서비스인데 더 멋집니다.
무료로 꽤 쓸 수 있었던 것 같은데 전 안써봐서 모르겠네요.