본문 바로가기

Tech

LLM 개발자라면 알아야 할 숫자들 LLM(Large Language Model) 개발자들이 알고 있으면 좋은 숫자들이 있어서 공유해보려고 한다. 비용 예측을 해보거나 시스템 규모를 산정해 보기 위해 간단히 계산할 때 알고 있으면 유용할 것 같다. 프롬프트 40-90% : "Be concise"를 프롬프트에 추가해서 절감할 수 있는 비용 LLM 모델을 사용할 때 응답의 토큰 양에 따라 비용을 지불하기 때문에 응답을 간결하게 받을 수 있다면(be concise) 돈을 많이 아낄 수 있다. 1.3:1 - 단어 당 평균 토큰 수 영어 단어에 한정해서 1 단어당 평균 1.3 토큰이 된다고 한다. 토큰 수는 비용 지불 단위이기도 하고 LLM의 콘텍스트 윈도우 사이즈도 토큰으로 정의하기 때문에 알아두는 게 좋다. 비용 ~50:1 - GPT-4와 GP.. 더보기
MS Build 행사 공유 (5.23~5.24 온라인 또는 시애틀) MS Build 행사가 수요일 새벽 1시에 사티아 나델라의 기조연설과 함께 시작됩니다. 온라인 등록을 하거나 유튜브 채널에서 라이브 스트림으로 볼 수 있습니다. 시애틀 현지에서는 23일부터 25일까지 3일간 진행되고 온라인으로는 23일 24일 이틀간 진행되는데 세션 카탈로그를 보니 무려 399개의 세션이 있습니다. 전부 온라인으로 볼 수 있는것 같지는 않은데 MS 365 Copilot, Github Copilot X 관련한 내용이 기대되네요. 더보기
구글 Bard 한국어 지원 시작 - 업데이트 소개 및 영문 결과와 비교 구글 Bard도 드디어 한국어 지원이 시작됐다. 그 외에 업데이트된 사항도 업데이트 페이지에서 확인할 수 있었다. 이번 업데이트는 23년 5월 10일, 그러니까 포스팅 기준 어제 적용된 업데이트다. 간략히 요약하면 1) 한국어, 일본어 지원 추가, 2) Bard로 생성한 콘텐츠를 Google Docs, Gmail 내보내기추가, 3) 다크모드(ㅎㅎ)이다. Bard 지원 국가 및 언어 확대 내용: 이제 Bard에서 미국 영어 외에 한국어와 일본어도 지원합니다. 또한 위 3개의 언어로 180여 개국에서 Bard를 사용할 수 있습니다. 이유: Google은 실제 피드백을 바탕으로 책임감 있게 Bard를 개발해 나가면서 시간이 지남에 따라 더 많은 언어, 국가, 지역으로 지원 범위를 넓히고 있습니다. Googl.. 더보기
ChatGPT 무료 세미나 & 리소스 '구슬이 서말이라도 꿰어야 보배'라는 말이 있는데, 요즘 내 처지를 보는 것 같다. ChatGPT를 활용한 사례들이 주위에서 들리고 알려주겠다는 사람들도 넘쳐나는데 보지 못하고 있다. 내일은 무조건 봐야지라며 브라우저에 탭으로 띄워둔지 어느새 한 달이 다 되어가는듯; 이렇게 놔둘 바에야 포스팅으로 남겨두면 더 동기부여가 될 것 같아서 정리해본다. 챗GPT 러닝 데이 매주 화요일 저녁에 유튜브 라이브로 무료 세미나를 볼 수 있고, 지난 세미나도 유튜브에서 다시보기를 할 수 있다. 보고 싶은 세미나 주제가 많았는데 밀리다보니 더 안 보게 되는듯; 라이브만이라도 챙겨보면 도움이 많이 될 것 같다. 다시보기는 유튜브 링크를 통해서 목록을 확인하면 된다. 🚀 챗GPT 러닝데이: 무료 온라인 세미나 안내 🚀 이번 .. 더보기
ChatGPT로 인한 새로운 패러다임 세미나 참석 후기 4월 20일에 온라인으로 참석했던 세미나인데 늦게나마 작성해 보는 참석 후기 링크를 통해서 들어가면 다시보기를 볼 수 있기 때문에 관심 있다면 한번 보시면 좋을 것 같다. 라이브 당시에는 동시통역을 해주시는 분들이 있었지만 다시 보기에 자막은 없어서 이해하는데 조금 불편할 수는 있다. 그래도 슬라이드에 텍스트가 있고 코드 예제의 경우 일시 정지하고 직접 돌려볼 수 있으니 라이브를 볼 때보다 관심 있는 부분에 더 집중해서 볼 수 있는 장점이 있다. 이번 세미나의 어젠다는 아래와 같다.ChatGPT로 인한 새로운 패러다임27차 Tech 세미나 진행합니다. 이번 Tech 세미나는 특별히 글로벌 온라인 강의 플랫폼인 Udemy와 함께 합니다. ChatGPT로 인한 새로운 패터다임이라는 주제로 Udemy의 대표 .. 더보기
Google Bard 사용기 & ChatGPT 결과와 비교 ChatGPT가 출시된 이후로 빅테크기업들의 생성형 AI 개발 경쟁이 가속됐다. 메타, 아마존, 구글까지 가세해서 생성형 AI 서비스를 선보이고 있는데 그 중에서 구글의 Bard(바드)를 써보고 ChatGPT와는 어떤 차이가 있는지 확인해보려고 한다. Bard 사용(가입) 신청 먼저 Bard를 사용하려면 구글 아이디가 있어야 하고, 대기열에 등록한 뒤 기다려야 한다. 첨부한 링크를 통해 사이트에 들어가서 'Join Waitlist' 버튼을 누르면 끝이다. Bard Bard is your creative and helpful collaborator to supercharge your imagination, boost productivity, and bring ideas to life. bard.google.. 더보기
Spring Webflux에서 Mono.zip() 사용시 주의사항 (ReactorRejectedExecutionException) 실서비스를 배포하고 모니터링하는 중에 테스트하는 동안에는 발견하지 못한 로그가 보이기 시작했다. 다행히 서비스 자체에 영향을 주는 것은 아니라서 긴급하게 수정해야 하는 것은 아니었다. 지금 당장 문제가 되는 것은 아니라도 Exception이 발생하고 있기 때문에 처리는 필요하다. 당장 확인하고 고쳐야 하는 장애가 있을 때 불필요한 로그가 쌓여서 발견을 못한다면 더 큰 문제가 생길 수도 있으니 말이다. 예외가 발생한 위치 서비스가 남기는 로그는 외부에서 받는 1) API request (http request), 2) API response (http response), 3) 요청을 처리하기 위해 앱 내부에서 호출하는 외부 API 호출 로그 세 가지로 분류할 수 있다. 에러가 발생한 위치는 3) 앱 내부에.. 더보기
[Kotlin] 코틀린 Sequence 생성 방법, Iterable과 차이점 코틀린 표준 라이브러리에는 Sequence(시퀀스)라는 타입이 있다. 시퀀스는 컬렉션과 다르게 요소를 포함하고 있지 않고 반복하는 동안 요소를 생성한다. 그래서 자바의 Iterable과 같은 역할을 한다고 볼 수 있지만 멀티 스텝 처리를 하는 경우에는 Iterable과 다른 방식으로 동작한다. Iterable이 멀티 스텝을 처리하는 경우는 각 단계(Intermediate collection - 중간 결과 컬렉션)을 바로 계산(eagerly)한다. 반면에 시퀀스는 가능하면 계산을 나중으로 미루기(lazily) 때문에 그 결과값을 호출할 때 전체 프로세스 연산을 시작한다. 시퀀스 연산의 결과가 다시 시퀀스인 경우는 계산이 지연되고, Intermediate(중간 결과)라고 부른다. 결과가 시퀀스가 아닌 경우는.. 더보기

티스토리툴바