분류 전체보기 (9) 썸네일형 리스트형 머신러닝 필수 개념 정리 머신러닝 딥러닝 학습정리를 위해 정리한 글입니다 😀지도학습과 비지도 학습지도학습이란 정답을 알려주면서 진행되는 학습으로 주어진 데이터와 레이블을 이용해 새로운 데이터의 레이블을 예측해야할 때 사용한다. 머신러닝을 통해 예측된 값을 예측값 분류값 y hat등으로 표현됨 단점으로는 데이터마다 레이블을 달기위해 많은 시간을 투자지도학습의 예로는 분류/회귀가 대표적이다. 비지도학습이란 레이블(정답)업이 진행되는 학습이며 보통 데이터 자체에서 패턴을 찾아내야할 때 사용합니다. 하지만 레이블이 없기 때문에 모델 성능을 평가하는데 다소 어려움이 있습니다. 장점은 따로 레이블을 제공할 필요가 없다는것입니다. 비지도학습의 대표적.. Web Crawling Web Crawling 이란?웹 크롤링(Web Crawling)은 웹 페이지에서 데이터를 자동으로 수집하는 기술입니다. 웹 크롤러(Web Crawler) 또는 스파이더(Spider)는 웹 페이지를 방문하여 HTML, 텍스트, 이미지, 링크 등을 추출하는 프로그램입니다. 주로 검색 엔진에서 사이트의 내용을 수집하거나, 특정 데이터를 추출하는 용도로 사용됩니다.웹 크롤링 동작 과정URL 수집: 크롤링할 웹 페이지의 URL을 수집합니다.HTTP 요청: 해당 URL로 HTTP 요청을 보내 웹 페이지의 내용을 가져옵니다.HTML 파싱: 가져온 웹 페이지의 HTML을 분석하여 필요한 데이터를 추출합니다.데이터 저장: 추출한 데이터를 파일 또는 데이터베이스에 저장합니다.반복: 다른 URL을 탐색하며 이 과정을 반복합.. AI 빅데이터 수집 방법 web Crawling AI 빅데이터 수집 방법은 다양한 소스에서 데이터를 모으고 이를 활용하여 AI 모델을 훈련시키는 과정입니다. 여기서는 데이터 수집의 일반적인 방법을 단계별로 설명할게요.1. 데이터 소스 식별먼저 어떤 유형의 데이터가 필요한지 결정해야 합니다. 데이터는 여러 종류가 있습니다.구조화된 데이터: 데이터베이스에 저장된 정형 데이터 (예: SQL, CSV 파일)비구조화 데이터: 텍스트, 이미지, 비디오 등 정해진 구조가 없는 데이터반구조화 데이터: XML, JSON 파일처럼 일부분 구조가 있지만 전체적으로는 자유로운 형식의 데이터2. 웹 스크래핑 (Web Scraping)웹 사이트에서 데이터를 자동으로 수집하는 기술입니다. 일반적으로 BeautifulSoup, Scrapy 등의 파이썬 라이.. M2/미니콘다 Miniconda/설치하기 파이썬을 입문하면서 현재 쓰고 있는 m2에 설치하는 내용을 기억하기 위해 글을 써서 저장합니다.설치하면서 단번에 설치하면 좋으나 설치는 쉽지않았았습니다. Conda란?Python에서 기본 모듈로 제공되는 venv를 사용해도 가상환경을 사용할 수 있습니다. 다만 venv는 설치된 파이썬 버전으로만 가상환경을 생성가능합니다.하지만 아나콘다의 conda는 아나콘다 배포판의 파이썬이 3.9 버전이라고 하더라도 3.8 버전으로 가상환경을 만들 수 있습니다. 이런 장점 때문에 conda를 사용합니다. 미니콘다 MinicondaMiniconda는 conda용 무료 최소 설치 프로그램입니다.저는 용량이슈와 이제 배우는 단계라 아나콘다보단 미니 콘다 를설치하여 사용하겠습니다.# 미니콘다 설치$ brew install.. Spring Boot4 열수없는 권한 오류 mySQL 과 h2를 설치한 후 spring boot 를 열려고 하니 열수 없는 권한 오류 ㅠㅠ 구글 서치~ 1. pkgutil로 인증 상태 확인해야한다고 한다. pkgutil --check-signature /Applications/SpringToolSuite4.app 2. 강제 코드를 입력해본다. codesign --force --deep --sign - /Applications/SpringToolSuite4.app 재실행하니 열립니다 ㅜ 도움은 여기서 받았습니다. 감사합니다. :) 출처: https://happy-jjang-a.tistory.com/104 [jjang-a 블로그:티스토리] (MAC) H2 설치하기 DB는 mysql 을 배우며 사용하고 있지만 H2는 간단하게 DB연동을 할수 있기 때문에 설치하여 공부하고 있다. 설치가 어렵진 않지만 기억에 남기기 위해서 정리해봅니다. 1. 설치하기 https://www.h2database.com/html/download.html DownloadsDownloads Version 2.3.230 (2024-07-15) Windows Installer (SHA1 checksum: 6b0a21c2d4848fa0222c2a99e4a96fab28562306) Platform-Independent Zip (SHA1 checksum: 1ce726c3fc24bbaf0583a4caf417a8ec5fb11709) Archive Downloads Archive Downloads Mave.. [Mac M2] java설치하기 open jdk 17 Open JDK는Oracle JDK와 거의 동일한 기능을 제공하는 무료 오픈소스 Java 개발 키트입니다.하지만 OpenJDK와 Oracle JDK 과는 몇몇 차이가 있습니다 현재 Oracle JDK는 상용 제품임으로 상업용으로 사용할 경우 유료 라이선스가 필요합니다. 하지만 OPenJDK는 무료로 사용이 가능하죠 - mac OS 설치를 시작하죠 1. mac Os에서는 보통 패키지 관리를 위해 Homebrew를 사용합니다. Terminal 이나 iTerm에서 명령어로 설치를 해줍니다. 2. openJDK 17 설치 brew install openjdk@17 를 입력하여 설치 해줍니다. 3. 환경 변수 설정OpenJDK 17을 사용하기 위해 환경 변수를 설정해줍니다. Terminal에서 다음 .. Spring boot 설정하기 ( M2) Step 1- https://spring.io/tools 사이트를 방문하여 M2칩에 해당하는 파일을 다운받아 줍니다. 다운 받은 후 앱에 넣어줍니다 :) 다운받은 Spring Too Suite4 확인하기 :) 설치 완료 ! 이전 1 2 다음
