카플로의 IT공부방

멀티모달 AI란 무엇인가?최근 AI 기술의 발전은 단일 데이터 유형의 한계를 넘어 멀티모달 AI(Multimodal AI)의 등장으로 이어졌습니다. 멀티모달 AI는 텍스트, 이미지, 오디오, 비디오 등 다양한 형태의 데이터를 통합적으로 이해하고 처리할 수 있는 인공지능 기술입니다. 인간이 시각, 청각, 촉각 등 다양한 감각을 통해 세상을 이해하듯, 멀티모달 AI는 다중 데이터를 결합하여 보다 정교하고 유연한 문제 해결 능력을 보여줍니다.이 글에서는 멀티모달 AI가 데이터를 처리하는 기본 원리와 기술적 메커니즘, 실제 활용 사례를 알아보고, 이 기술이 왜 중요한지 살펴보겠습니다. 멀티모달 AI의 작동 원리와 데이터 처리 방식1. 멀티모달 데이터의 특징멀티모달 데이터는 여러 종류의 데이터 소스를 결합한 정보..

0. 성능 지표(metric) 머신러닝의 분류 모델을 학습시킨 후에 성능을 알아보기 위한 지표(metric)은 Accuracy(정확도), Precision(정밀도), Recall(재현율)이 있습니다. 물론 더 많은 지표도 있지만 대표되는 지표들을 알아보겠습니다. 1. Confusion Matrix 지표들을 알아보기 전에 Confusion matrix의 개념부터 봐야합니다. Positive/Negative : 이진 분류를 할때 [해당 class에 해당함 = Positive] / [해당 class에 해당하지 않음 = Negative] True/False : 분류 모델이 맞추면 True, 틀리면 False 예시) 해당 class가 1인 경우 True Positive(TP) : 모델이 1이라고 예측했는데, 실제..

1. 포스팅 목적 AI 관련 개발을 하면서 실시간으로 loss, accuracy 등을 실시간으로 볼 수 있는 Tensorboard를 사용하는 사용법을 알아보려고 합니다. 저는 Pytorch에서 tensorboardX를 사용하여 간단한 예제를 시도해보려고 합니다. 제 PC는 ubuntu 22.04 환경에서 진행했습니다. 2. 설치하기 tensorboardX는 아래의 방법으로 설치합니다 $ pip install tensorboardX 3. 코딩해보기 딥러닝 소스 코드 안에 아래의 코드로 텐서보드 초기 설정을 해줍니다. from tensorboardX import SummaryWriter # default로 runs에 생성 # 'runs/cur/' 밑에 log가 생성되도록 설정 writer = SummaryW..