전체 글50 Python 크롤링 B to P 안녕하세요 진자이입니다 :) 이번 포스팅에서는 Python을 활용한 크롤링에 대한 B to P를 기록해보겠습니다! A to Z가 아니라 B to P 인 이유는 정리한다고 노력하긴 했으나, 부족한 내용이 있을 수 있고 최대한 정확한 정보를 기재하려고 노력했으나 오류가 있을 수 있다는 점을 양해부탁드리고자 .. 이렇게 이름을 지어보았습니다. 크롤링(Crawling)이란? + 스크래핑(Scraping)과 차이? 크롤링은 crawl, '기다'라는 뜻의 영어 단어에서 파생된 단어이며 웹 페이지(인터넷)에서 정보를 수집하거나 그대로 가져와서 데이터를 추출해 내는 행위를 일컫는다. 스크래핑과 혼용되어 사용되기도하는데, 약간의 차이가 존재한다. 크롤링은 웹을 기반으로 작동하며 웹사이트에 대한 정보를 색인화하고 저장되며.. 2024. 1. 31. [Tableau] 합 100%가 아니어야 하는데 합 100%가 나와요! 안녕하세요 진자이입니다. 이번 포스팅에서는 Tableau Tip 하나를 기록하려고 합니다. 문제 해결이라고도 볼 수 있을 것 같아요! 직면한 문제는 이렇습니다. (슈퍼스토어 데이터셋) sub-category별로 매출(합)을 시각화하는데, 구성비율을 알아보고 싶습니다. 상위 5개 항목에 대해서만 보고 싶어서 sub-category를 필터로 설정하고, 상위 5개(매출합기준)를 설정해둔 상태입니다. 하지만 이렇게하면 비율이 5개에 대해서 구성비율이 나오게 돼요! 하지만 저는 5개의 합이 100%가 아닌 sub-category 전체 비율을 기준으로 100%가 되게 해서 지금의 비율이 아니게 하고 싶어요. 그럴 땐, 다음을 이용해주세요! 먼저, RANK_5라는 함수를 만들어줍니다. 다음과 같이 부등호를 넣게되면 .. 2024. 1. 8. [ONEPAPER] 학교안전사고 데이터 분석활용 공모전 최우수상 수상 안녕하세요 진자이입니다 :) 이번 포스팅에서는 학교안전사고 데이터 분석활용 공모전에서 최우수상을 수상한 프로젝트에 대한 원페이퍼 보고서를 기록하려고 합니다. 관련해서 문의사항이 있다면 jinja-e@naver.com 으로 연락주세요! 2023. 12. 26. BOAZ 기적의 필사 스터디 완료 안녕하세요 진자이입니다 :) 이번 포스팅에서는 BOAZ 23년도 하반기 스터디였던 기적의 필사 완료 원페이퍼 보고서를 기록합니다. 함께해준 우리 스터디원들 모두 고생많으셨습니다! 2023. 11. 29. [ONEPAPER] 천안시 데이터 시각화 기반 아이디어 공모전 - 낙후지표와 복지지표 기반 복지 컨트롤 타워 시스템 안녕하세요 진자이입니다 :) 이번 포스팅에서는 팀 천앙버터와 함께 낙후지표와 복지지표 기반 복지 컨트롤 타워 시스템이라는 주제로 천안시 데이터 시각화 기반 아이디어 공모전에 출마했던 기록을 남기려고 합니다. 활용 데이터 및 분석 과정에 대한 개요는 위 원페이퍼 보고서에서 확인할 수 있으며 상세 내용 및 궁금한 내용은 댓글 혹은 jinja-e@naver.com 으로 문의주시면 답변 드리겠습니다. 감사합니다! 2023. 10. 11. [ONEPAPER] BOAZ 18th CONFERENCE - 리뷰 감성분석을 통한 전통주 추천 서비스 안녕하세요 진자이입니다 :) 이번 포스팅에서는 BOAZ 18번째 오프라인 컨퍼런스에서 발표한 팀 보아주의 '리뷰 감성분석을 통한 전통주 추천 서비스'에 대한 결과를 기록하려고 합니다. 발표 PPT는 https://www.slideshare.net/BOAZbigdata/18-boaz-259751424?from_action=save 보아즈 슬라이드쉐어에서 확인가능하시며, 활용 데이터 및 분석 과정에 대한 개요는 위 원페이퍼 보고서에서 확인할 수 있으며 상세 내용 및 궁금한 내용은 댓글 혹은 jinja-e@naver.com 으로 문의주시면 답변 드리겠습니다. 감사합니다! 2023. 10. 10. [SQL] PostgreSQL 테이블 조작 안녕하세요 진자이입니다 :) 이번 포스팅에서는 '데이터 분석을 위한 SQL 레시피' 책의 일부 내용을 정리해보고자 합니다. 미들웨어는 PostgreSQL 기준으로 작성되었으며, 테이블 조작에 대한 내용을 다룹니다. OVERVIEW : 테이블 조작 (단일) 그룹 특징 잡기 - 집약 함수 / GROUP BY / 윈도 함수 / OVER(PARTITION BY~) (단일) 그룹 내부 순서 - 윈도 함수 / OVER(ORDER BY ~) / OVER(ROWS ~) (단일) 카테고리 상위 N개 출력하기 (단일) 세로 기반 데이터를 가로 기반 변환 - MAX(CASE~) / string_agg / listagg / collect_list (단일) 가로 기반 데이터를 세로 기반 변환 - unnest / explode .. 2023. 8. 5. [SQL] PostgreSQL 값 조작 안녕하세요 진자이입니다 :) 이번 포스팅에서는 '데이터 분석을 위한 SQL 레시피' 책의 일부 내용을 정리해보고자 합니다. 미들웨어는 PostgreSQL 기준으로 작성되었으며, 값 조작에 대한 내용을 다룹니다. OVERVIEW : 값 조작 (단일) 코드 값 레이블로 변경 (단일) URL에서 요소 추출 (단일) 문자열을 배열로 분해 (단일) 날짜와 타임스탬프 다루기 (단일) NULL값 처리 (다중) 문자열 연결 (다중) 여러 개 값 비교 (다중) 2개의 값 비율 계산 (다중) 날짜/시간 계산 (다중) IP 주소 (단일) 코드 값 레이블로 변경 마스터 테이블(mst_users)이 다음과 같이 구성되어 있다고 하고, 사용 장치를 레이블로 바꾸려고 한다. SELECT user_id ,CASE WHEN regis.. 2023. 8. 4. [Tableau] 대시보드 기초 - 4호선 혼잡도 시각화 따라 만들기 안녕하세요 진자이입니다 :) 이번 포스팅에서는 23-2 BOAZ 시각화 세션에서 진행한 대시보드 기초 내용을 정리해보려고 합니다. 내용은 지하철 4호선 혼잡도 대시보드를 만드는 과정을 하나씩 기록하는 것으로 정리해보겠습니다. 좋은 자료를 제공해주신 강성민님, 조성배님 감사합니다 ! (데이터 원본 및 태블로 파일은 jinja-e@naver.com 을 통해 문의해주세요 :) ) 최종 대시보드 최종 대시보드는 총 6개의 차트로 구성이 되어있다. 차트 하나하나 어떻게 구성하면 좋을지 알아보자. [차트 구성 과정] 1-1. 사용월을 필터에 넣고, 연도/월 형식으로 바꾸고 전체항목을 모두 필터에 적용한다. 또한, 시간대도 필터에 넣어 모두 필터에 적용한다. 1-2. 필터의 오른쪽 마우스를 누른 뒤, 필터 표시를 해.. 2023. 7. 24. [Tableau] 이중 파이 차트 만들기 안녕하세요 진자이입니다 :) 이번 포스팅에서는 이중 파이 차트를 만드는 과정을 짧게 기록해보려고 합니다. 데이터는 외부 데이터를 사용했기 때문에 데이터를 첨부할 수는 없지만, 계층을 만들 수 있는(범주-하위 범주) 데이터라면 적용 가능하니 참고해서 만들면 좋을 것 같습니다! 최종 완성본 데이터 소개 : 2017년 1월~2022년 3월까지 판매매체에 따른 상품군들의 판매 거래액 데이터 이중파이 차트 1. 계층 생성하기 → ‘세부상품군’을 끌어다 ‘상품군’ 위에 놓기 2. 이중축 만들기 3. 전체 차트 유형을 ‘파이 차트’로 변경하기 4. 바깥쪽 파이 차트 설정하기: 전체 상품군(대분류)에 대한 거래액 정보 → 색상: 상품군 / 크기: 거래액 / 레이블: 상품군, 거래액 5. 안쪽 파이 차트 설정하기: 세부.. 2023. 7. 24. [Tableau]이중 바 차트 만들기 안녕하세요 진자이입니다 :) 이번 포스팅에서는 이중 바 차트를 만드는 과정을 짧게 기록해보려고 합니다. 슈퍼스토어 데이터를 사용했고, 두 개의 범주 데이터를 함께 확인할 때 좋은 방법입니다. 과정 Data: 슈퍼스토어-샘플 테이블에서 “주문 날짜” 행으로 드래그, 월 단위로 바꾸기 2. 테이블에서 주문-위치-국가/지역, 국가/지역에서 우클릭-만들기-그룹 3. China, Japan, South Korea 선택 후 “그룹”버튼 클릭, 해당 그룹 이름 East Asia or (동아시아)로 설정하기 4.“그룹” 버튼 밑에 “ 기타포함” 버튼 ✔️체크하면 기타 그룹 생성, 그러고 확인 누르기 5. 계산된 필드 만들기 6. 생성된 “매출-동아시아vs기타” 열에 드래그, 마크는 “막대”로 변경 7. 테이블에서 국가.. 2023. 7. 24. [Tableau] 계산된 필드, 필터, 매개변수 정리 안녕하세요 진자이입니다 :) 이번 포스팅에서는 2023-하계 BOAZ 시각화 세션 때 다룬 계산된 필드, 필터, 매개변수에 대한 내용을 정리하려고 합니다. 좋은 강의 & 자료 제공해주신 20기 시각화 김기수님, 김세연님께 감사드립니다! (실습 파일 및 데이터는 제공하지 않습니다) 필터 추출 필터 Extract 데이터 원본 필터 Data Source 컨텍스트 필터 Context 차원 필터 Dimension 측정값 필터 Measure 테이블 계산 필터 Table Calc → 위에서부터 작동 순서대로. 어떤 필터를 먼저 쓰는지에 따라 View에서 나타나는 결과가 달라질 수 있음 추출 필터 데이터 원본 소스에서 데이터의 일부분만 추출하고 싶을 때 사용하는 필터로, 예를 들면 ‘지역 중 ‘서울’에 해당하는 데이터.. 2023. 7. 23. 이전 1 2 3 4 5 다음
