정보10 한국어 개체명 인식기 사용하기/오류 해결 하고자 하는 프로젝트에서는 주제처럼 추상적이고 포괄적인 keyword를 뽑는 것이 아니라, question에 대한 'answer'다. 즉 사용자 입장에서 '정답으로써 매력 있는 키워드'를 추출해야 하는 것이다. https://korquad.github.io/ KorQuAD What is KorQuAD 2.0? KorQuAD 2.0은 KorQuAD 1.0에서 질문답변 20,000+ 쌍을 포함하여 총 100,000+ 쌍으로 구성된 한국어 Machine Reading Comprehension 데이터셋 입니다. KorQuAD 1.0과는 다르게 1~2 문단이 아닌 Wikipedia artic korquad.github.io KorQuAD dataset를 살펴볼 경우, 대상, 인물, 시간, 장소, 방법 등이 ans.. 2023. 1. 11. Keyword Extraction 테스트 input "경제 성장과 세계화로 많은 사람들이 항공 운송을 선택한다. 이 산업은 규제 완화와 세계 경제의 글로벌화로 구조가 네트워크 시스템으로 전환되었다. 이는 경제성 있는 각 개별 노선의 유기적 결합체로, 운송지점의 수와 각 지점의 스케줄을 결정한다." - 성능도 중요하지만 Inference Time을 확인하는 것이 우선이라 생각하여 세세한 parameter 조정보다는 여러 가지 방법들을 적용해보는 것을 목표로 진행하였음 - 요약문 output이 하나의 줄글인지 / list 형태로 나오는지에 따라 다시 test를 해봐야 할 것 같음 - 추출된 키워드가 answer가 되므로 의미 없는 키워드가 추출되지 않도록 신경써야할 것임 FRAKE https://github.com/cominsys/FRAKE.. 2023. 1. 9. Ubuntu 환경 Elasticsearch 설치하기 sudo apt update sudo apt install apt-transport-https #HTTPS를 통해 리포지토리에 액세스하는 데에 필요한 패키지 설치 sudo apt install default-jdk #jdk 설치 wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add - #ElasticSearch 저장소 GPG 가져오기 #OK가 출력되면 키를 성공적으로 가져온 것임 sudo sh -c 'echo "deb https://artifacts.elastic.co/packages/8.x/apt stable main" > /etc/apt/sources.list.d/elastic-8.x.list' #Elastic.. 2023. 1. 7. Ubuntu 환경 mecab 설치하기 1. jdk 설치 sudo apt install default-jdk JAVA_HOME 환경 설정을 위해 Java Development Kit를 설치해준다. 2. konlp 설치 pip install konlpy 여기서 바로 mecab을 사용하면 NameError: name 'Tagger' is not defined error가 발생한다. mecab-0.996-ko-0.9.2와 mecab-ko-dic-2.1.1-20180720로 이동해서 mecab을 손수 설치해보자. 해당 경로가 없다면 아래 명령을 따라 다운받는다. curl -LO https://bitbucket.org/eunjeon/mecab-ko/downloads/mecab-0.996-ko-0.9.2.tar.gz tar zxfv mecab-0.996.. 2023. 1. 6. BeautifulSoup로 이미지 저장하기 챗봇에서 맛집 정보를 반환할 때, 음식 사진도 함께 보여주어야 한다. DB에서 갖고 있는 엔티티는 Tag, FoodType, Location, Name, Phone였는데, Image도 추가해서 넣으려고 한다. 음식점 Name을 갖고 와서, 식신이라는 홈페이지에서 검색해서 나오는 이미지를 저장한다. https://www.siksinhot.com/ 식신 : 대한민국 No.1 맛집검색,맛집추천 전국부터 해외까지 없는 맛집이 없는 No.1 맛집 정보 & 추천 서비스 국민맛집 식신! www.siksinhot.com 원래 갖고 있는 csv 파일에 이미지 링크만 저장해둔 새로운 csv 파일을 병합하는 방식으로 코드를 짰는데, 왠지 더 효율적인 방법이 있을 것 같다. 원래 파일에서 row['Name']을 읽어 이미지 .. 2022. 9. 24. Python과 몽고DB 연결 및 조회하기, 값 추출하기 1. pymongo 활용하여 몽고DB와 연결하기 from pymongo import MongoClient client = MongoClient(host='localhost', port=27017) db = client['test1'] #test1=DB명 res = db.Restaurants #Restaurants=Collection명 2. 탐색 시 조건 설정 및 결과 확인하기 sql의 where 문에 해당한다고 보면 될 것 같다. insert했던 데이터에 맞게 find로 원하는 조건에 맞춰 여러 쿼리를 적어봤다. pprint로 예쁘게 확인한다. import pprint pprint.pprint(res.find_one({'Tag':'아동급식카드'})) pprint.pprint(res.find_one({'F.. 2022. 9. 4. MongoDB CSV, JSON파일 import하기/파일깨짐현상 *참고 여태 mysql만 다루다가 처음으로 몽고 DB를 접해보는 김에, 한 블로그에서 두 용어를 비교한 표를 보게 되어 올린다. 모르는 게 있을 때 용어를 활용하여 검색하면 유용할 것이다. https://brownbears.tistory.com/282 [Python] MongoDB (pymongo) Mongo DB 용어 SQL 용어 MongoDB 용어 일반 용어 데이터베이스(database) 데이터베이스(database) 테이블(table) 콜렉션(collection) 행(row) 문서(document) / BSON 문서(BSON document) 컬럼(column) 필드(fi.. brownbears.tistory.com CSV import는 유튜브를 참고하였다. 정말 깔끔하게 알려주셨다! https:/.. 2022. 9. 4. 이전 1 2 다음
