로컬 LLM 돌리는 거 나온 후로 M1부터 계속 나오던 얘기인데요, 라마3 parameter 수가 크게 달라지지 않아서 전이랑 다를 건 없습니다. 결국 GPU만큼 속도가 안 나와서 크게 의미가 있진 않습니다. 8B 양자화해서 8기가 VRAM 글카에서 돌리는 게 맥에서 돌리는 것보다 훨씬 빠르고 가성비도 좋아요
BernardKim
IP 61.♡.241.171
04-25
2024-04-25 14:09:55
·
8B 정도면 40만원대 4060Ti 16M 로 도 충분하지 않나요?
고지보딩
IP 112.♡.236.178
04-25
2024-04-25 14:13:23
·
@BernardKim님 느려도 충분하죠
kolbe
IP 61.♡.139.75
04-25
2024-04-25 14:16:23
·
라마는 그냥 챗봇이란 느낌이고요. gpt나 그런 쪽과 비교하기엔 아직 많이 모자라요.
회사지킴이
IP 106.♡.0.30
04-25
2024-04-25 14:36:40
·
참고로 8b 는 gou 없이도 그럭저럭 쓸만하고 34b까진 참고 돌리면 맥 없이도 돌릴만해요
slowhand
IP 114.♡.31.234
04-25
2024-04-25 14:39:23
·
요 영상 보시면 가성비, 전성비, 구동가능한 모델에서 맥이 우위를 차지하는 부문이 잘 정리되어 있네요.
맥스 칩이 달린 미니는 들어본 적이 없습니다.
스튜디오가 아닐까 하네요.
100만원 PC + 100만원 nvidia gpu가 더 낫지 않을까 싶습니다.
gpt나 그런 쪽과 비교하기엔 아직 많이 모자라요.
34b까진 참고 돌리면 맥 없이도 돌릴만해요
요 영상 보시면 가성비, 전성비, 구동가능한 모델에서 맥이 우위를 차지하는 부문이 잘 정리되어 있네요.
중국에서 3060에 램 20기가 박아버리는 이유도 알 것 같기도 해요.
LLM 서비스 제공 업체가 서버를 쓰지 맥미니를 쓴다?
제대로 팩트 체크도 안 하고 결국 원하는대로 끼워 맞추는 사람들 종종 있죠
글에 컨슈머용으로 잘 나간다고 했지 서비스업체가 쓴다는 말은 없는데요? 갑자기 비난을 ;;