단이로그

1. 프로젝트 개요 및 기획 의도 태블로 신병훈련소 1주차 학습 내용 정리 및 활용을 두고 고민하다가 얼마 전 네이버 지도 즐겨찾기 장소 데이터를 추출했던 것을 활용해보고 싶었습니다.  지난 24년 11월은 넷플릭스 오리지널 시리즈 로 인해 전국이 연중 어느 때보다 미식과 파인 다이닝에 대한 관심이 절정에 이르던 때였습니다.  서울시는 서울 고유의 미식 문화를 전 세계에 알리기 위해 매년 서울미식주간을 선정하고 다양한 프로그램을 운영했습니다. 작년에는 11월 8일부터 14일까지 진행되었고요. 서울시가 프로그램의 일환으로 발간하는 홍보 책자에는 서울 미식 100선으로 선정된 식당들의 정보와 함께, 채식 50선으로 선정된 식당 정보가 담겨있습니다.  서울미식주간 사이트 에 가시면 구글지도, 네이버지도, 카카..

오늘 포스팅 주제는 네이버 지도에 즐겨찾기로 저장한 장소 리스트를 엑셀로 저장하는 방법이다.다른 블로그 글 참고해서 작업했는데, 내가 한 방법도 기록할 겸 작성. 가장 메인이 되는 블로그는 여기(열이아빠님 블로그)그리고 위 블로그를 참고한 다른 블로그(김홍시님 블로그) 두 블로그의 내용을 보고 활용했다.  이 작업의 핵심은1. 네이버 지도에 저장된 데이터를 2.JSON 파일로 다운 받고 3.다운 받은 JSON 데이터를 엑셀 형식으로 변환하기이렇게 세 단계이다. 이 작업의 결과물로네이버 지도 즐겨찾기에 저장한 1.장소명, 2.경도 및 위도,  3.주소, 4.폐업 여부 등의 정보를 얻을 수 있다.  필요한 지식/환경 세팅은 1. 네이버에 로그인된 브라우저2. 구글 크롬 설치 및 구글 계정 준비 이 두 개 뿐..

이번 개인 프로젝트에는 일평균 기온이 필요하다.  데이터 소스를 찾다가, 기상청에서 API를 통해 기상 관측 관련 정보를 제공하는 것을 확인.   기상청 API 사용 관련 블로그 글들을 읽어봤는데, 데이터 수집보다는 단기 예보 정보를 API를 통해 수집하여 다른 개빌에 활용하는 경우가 더 많았다.  나는 JSON으로 호출한 다음 DataFrame으로 데이터를 변환하고 싶은데, 관련 내용은 찾기가 어려워 그냥 하나씩 고쳐가며 수집 방법을 찾아봤다.  1. 기상청 API 허브 기상청 API허브 apihub.kma.go.kr 기상청에서 제공하는 API 허브 사이트. 여기서 API를 통해 무료로 데이터를 받을 수 있다. 단, 회원가입과 필요로 하는 항목 별로 활용신청이 필요하다.      2. 특정 기간 내의 ..

공유용 템플릿에 넣을 가짜 데이터가 필요했다.왜냐고? 그래야 차트를 보여줄 수 있으니까.  초기 버전에서는 그냥 내 수입내역이랑 지출내역을 엑셀 내보내기 해서 만들었는데,나중에 불특정 다수를 대상으로 공유할 때 이 내역을 그대로 사용할 수 없었다. 하지만 그렇다고 엑셀에서 무작위로 500여개 정도의 행을 일일이 복사+붙여넣기 해가며 만들 수도 없는 노릇.단순 작업은 컴퓨터를 시켜보자는 마음으로 서치를 시작했다.  00. 더미 데이터?정보과학(Infomatics)에서 더미 데이터란, 실제 유용한 데이터를 포함하지 않지만, 실제 데이터가 존재해야 할 공간을 채워주는 데이터이다.실제 데이터를 사용하지 않고도 프로그램이 예상대로 작동하는지 테스트를 하기 위해 활용한다.\   01. 생성형 AI한테 시켜보자(fe..

1. 프로젝트 개요 돈독한 청년들은 서울에 거주하는 2030 청년들이 모여 만들어진 팀으로, 앞으로 꾸려갈 삶을 위해 자산 형성을 하는 단계에 있어 각자의 소비 습관을 개선하고 경제적 기반을 마련하고자 본 프로젝트를 진행했습니다.  가계부 작성이라는 작은 습관 형성을 통해 앞으로 축적할 자산을 관리할 능력을 배양할 수 있을 것으로 보아, 효율적이고 간편하게 사용 가능한 가계부 템플릿을 개발하여 공유하고자 했습니다.  2. 프로젝트 기획 의도 복권 1등 당첨으로 한 번에 목돈을 마련하는 것을 누구나 꿈꾸지만, 평생에 걸쳐 형성하게 될 자산은 오히려 꾸준히 모은 돈에서 시작합니다.  그렇다면 돈은 어떻게 모을 수 있을까요? ‘ 무지출 챌린지’와 ‘짠테크’의 유행은 과도한 소비를 지양하고 미래를 위한 자산 축..

Intro.  청년 모임 지원 사업을 진행한다기에 6월에 지원했고, 제출한 기획서와 면접까지 통과해서 지난 7월부터 10월까지 프로젝트를 진행했다. 지역 청년들의 네트워킹이 주 목적인 사업이었기 때문에 간단한 주제를 잡아도 됐지만, 우리 팀은 결과물을 통해 지역 청년들에게 작게나마 임팩트를 줄 수 있길 바랐고, 그 결과 이 가계부 프로젝트를 기획하게 되었다. 공적인 목표도 목표지만, 개인적으로는 부트캠프에서 학습한 '데이터를 가공하여 의미있는 결과를 도출하는 방법'을 배운 데이터 분석가로서, 좋은 포트폴리오를 만들 수 있겠다는 생각에 진행했던 부분도 있었다. 결과물 프로덕트에 그동안 배웠던 머신러닝이나 태블로를 활용한 건 아니었지만,작업을 하다보니 쿼리 함수를 끊임없이 사용하게 되어 SQL도 많이 써먹었..

이제는 때가 됐다. 백엔드 개발을 배울 때가......아아악  한 번 더..? 아니다  우리 팀에 백엔드 개발자는 없어서 자연스럽게 사용자가 입력할/입력 받아야할 DB 구조는 내가 작성하게 됐다. 데이터를 뽑아서 분석하는 건 해봤지만 설계...?? 개발자는 본업도 개발이고 취미도 개발이랬는데... 혹시 이제 취미로 백엔드 개발을 시작해야하는걸까...  짧게 고민을 했지만 다행스럽게도 가계부는 많은 레퍼런스가 존재하기 때문에, 참고해서 초기 버전을 대강 그려보았다.  아래는 레퍼런스를 참고해서 최초로 작성한 컬럼정의서.결국 가계부에 기입해야 하는 내용이 입/출금 내역인 경우가 많아 금융 어플에서 제공하는 엑셀 내보내기 기능에서 생성되는 데이터 구조를 많이 참고했다.   다른 블로그들을 참고해보았지만... ..

Tabula 모듈 사용하여 PDF 파일의 표 추출하기PDF로 받은 파일, 특히 표가 들어있는 파일의 데이터를 구글 시트로 옮겨서 사용해야 할 일이 생겼다.일일이 복붙해서 표로 복원해도 되긴 하는데, 이 파일 같은 경우는 위치가 틀어졌는지 한 번에 옮겨지지 않고 수작업으로 하나씩 고쳐야 했다.그래서 찾아본, Python을 이용하여 간단하게 해결하는 방법!Docs 링크Tabula-py 모듈 설치가 필요하다. Colab 환경은 코드블럭에서, VS code는 터미널에서 pip install 이용하여 설치. VS code에 모듈 설치는 되는데 실행이 안 돼서 Colab에서 진행.추측이지만 Windows 10 환경에서는 JAVA 가 설치되어야 실행된다고 하는데, 내 컴퓨터에 JAVA를 따로 설치한 적이 없어서 로컬..