𝙎𝙌𝙇

[MySQL Workbench] csv 데이터 import 시간 줄이기

콜라맛갈비 2023. 6. 2. 23:10
728x90

70만개 넘는 데이터를 import 하려니, 몇 시간이 지나도 import가 되지 않더라구요

 

중간에 몇 번 끊어져서 세번인가 다시 돌렸더니,,, 다른 방법을 찾기 시작했습니다,, ^^

 

 

 

먼저

 

1. 데이터를 csv UTF-8(쉼표로 분리)로 저장합니다.

 

2. workbench에서 connection의 edit connection에 들어갑니다.

첫 화면에서 들어가려는 connection의 우클릭 후, Edit Connection 선택하시면 됩니다.

 

 

3. Advanced 탭 - Others에 'OPT_LOCAL_INFILE=1' 을 추가합니다.

 

 

4.  loading local data is disabled this must be enabled on both the client and server sides 에러 발생!

SET GLOBAL local_infile=1; 실행하고

껐다 켰더니 해결되었습니다.

 

 

 

5. TABEL 생성하기

 

 

6. 데이터 로드하기

- 첫 행에 절대 경로를 적어줍니다.

경로 구분자는 \\ 이렇게 적어줘야 합니다.

 

- INTO TABLE 뒤에 데이터베이스 이름.테이블 이름을 작성해줍니다.

ex. INTO TABLE database.table

 

- FIELDS TERMINATED BY 따옴표 안에는 CSV 구분자를 입력합니다.

 

- IGNORE 1 ROWS는 첫 행을 무시하라는 뜻으로, 첫 행이 컬럼명인 경우 실행해줍니다.

 

 

 

 

실행시키면 데이터 로드 완료!

 

몇시간 넘게 걸려도 안되던 것이, 30초도 안걸려서 로드 되었네요..

 

행복... ㅎㅎ

 

 

728x90