axel을 알게 된 경위는 대부분의 CV 엔지니어가 그렇듯이 ImageNet 다운받다가 경악할만 속도에 지쳐서..
wget보다 속도가 빠른 리눅스 다운로더가 없는지 검색하던 찰나에 알게 되었다 ㅋㅋㅋ
먼저 wget을 사용하는 방법은 아래와 같다
wget "다운로드링크"
# 여러 링크를 연속적으로 다운받고 싶다면
# txt 파일에 여러 다운로드 링크를 쓰고
wget -i "txt파일"근데 이미지넷은 서버 관리를 도대체 어떻게 하는건지 ㅜ 아니면 단순 이용자수가 너무 많아서 그런건지
wget으로 이미지넷 트레인셋을 다운받을려면 예상 시간이 2-3일이었다...
그래서 더 빠른 다운로더가 없는지 찾던 차에 axel에 대해 알게되었다.
apt get으로 axel을 설치한 후 마찬가지로 아래와 같이 사용하면 된다.
axel "다운로드 링크"이미지넷을 다운받을 때는 속도가 5배 이상 차이났던걸로 기억하는데
오늘 coco 데이터셋을 다운받을 때는 속도가 둘다 동일하게 1M/s 이상이 나왔다
axel의 유일한 단점이라면 다운로드 과정을 보여주는 UI가 더럽다는 점 정도..?
어차피 다운받고 그거 들여다 보고 있을건 아니니 크게 문제될 건 없다.
COCO에서는 속도가 비슷하게 리포트 되는거 보니까 단순 이미지넷 서버의 문제일 수도 있는 것 같다 ㅋㅋㅋ
글 쓰면서 한번 더 wget을 써보니 지금은 또 wget이 더 빠르기도..?
사용시마다 서버상태, 로컬 인터넷 상태 등등에 따라 성능 차이가 많이 있는 것도 같다
결론은 axel이 항상 더 빠른 건 아니지만, 서버 상태가 안좋을 땐 axel이 더 좋은 것 같다..?