안녕하세요. 매번 눈팅만 하던 유저입니다.
많은 분들이 사이트를 떠나면서 글을 삭제하고 계십니다. 스크랩 해두었던 좋은 게시물들이 사라지는게 안타까워 짧은 시간을 내서 잉여로운 프로그램을 하나 만들었습니다.
특정 URL 또는 URL 목록을 전달하면 해당 게시물의 카테고리, 제목,내용을 로컬 디스크에 크롤링 하는 커맨드 라인 도구입니다. JSON형식으로 저장하며 해당 게시물의 이미지도 차곡차곡 다운로드 받아 로컬 디스크에 저장합니다.
저장된 게시물은 사람이 알아보기는 다소 힘든 형태이지만, 추후에 플러그인을 통해 레딧이나 다른 사이트에 업로드하는 기능을 추가할 예정이며 이를 통해 손쉽게(?) 다른 사이트로 게시물을 이전할 수 있을 것이라 기대하고 있습니다. (기약 없음)
아직 제대로 테스트도 안된 물건이오니 가벼운 마음으로 사용해보시고 github에 PR 남겨주시면 감사하겠습니다.
<<< 링크는 아래 있습니다. 클리앙 게시판에서 하이퍼링크를 이상하게 변환하네요.. >>>
혹시 이 글 다모앙으로 옮겨가도 될까요?
혹는 다모앙에도 부탁드려도 될까요?
urls.csv 파일 형식이 어떻게 되나요..? 한줄에 url1, url2, url3, 로 저장하면 되는 것인가요?
사실 그냥 line by line으로 (\n으로 구별된) 텍스트 파일을 지원해주실 수 있나요.. 프로그램으로 출력할때는 상관없지만, 일반적인 텍스트 편집기를 사용하는 경우 한줄이 길게 있으면 사용하기에 불편함이 있어서요..
제 툴 살짝 수정해서 urls.csv 떨굴 수 있게 수정해볼까 해서요.
사실 cli로 만든것도 export하는 플러그인, url 리스트 만드는 도구 다 가져다 붙이게 하려고 이렇게 디자인했어요 ㅎㅎ
+ 하나하나 url 입력하다 윗댓분 덕에 csv로 한번에 편하게 잘 받았습니다!
0.0.2 버전 나왔습니다!
감사합니다!
단독 실행상으로는 큰 부하가 없는 처리라도 많은 분들이 동시 사용하는 상황이 많이 발생 할 것 같으니 실행 간격이나 이런 부분을 조금 손봐주시는 것도 나쁘지 않을 것 같네요..
코딩 문외한이라 모르겠습니다.