LTIMindtree, AI 지원 챗봇 기능 최적화

SigOpt를 사용하면서 사전 훈련된 AI 트랜스포머의 기준 성능을 넘어서 추론 시간이 최대 63% 향상되었습니다.¹

LTIMindtree는 수십 년의 풍부한 엔지니어링 경험을 보유한 인도의 다국적 서비스 제공업체로서, 새로운 인공 지능(AI) 기술을 활용하는 민첩하고 포괄적인 엔터프라이즈 솔루션 제공을 전문으로 합니다. LTIMindtree AI 제품군의 초석 중 하나는 AI 지원 통화 요약기로, 콜 센터 상담원이 완료된 고객 통화를 요약하는 데 도움이 됩니다. 이것은 최신 상태이고 세밀한 수준에서 지속적으로 개선되어야 하는 AI 모델이 필요한 복잡한 작업입니다. LTIMindtree는 고객에게 우수한 제품을 제공하기 위해 AI 모델 성능과 응답 시간을 지속적으로 개선하고 있습니다. 이 경우 목표는 AI 도구를 사용하여 더 빠르고 정확한 통화 요약을 가능하게 하는 것이었습니다.

LTIMindtree의 경우, 통화 요약을 개선하는 것은 개별 고객에게 사용할 수 있도록 AI 모델을 세심하게 미세 조정하는 것을 의미했습니다. 그러나 모든 고객에 대해 AI 모델을 수동으로 미세 조정하는 것은 시간이 오래 걸리고 프로세스에 운영 상의 병목 현상을 일으켰습니다. LTIMindtree 팀은 이러한 문제를 극복할 수 있는 도구를 찾고 있었으며, SigOpt를 사용하여 전체 미세 조정 워크플로를 자동화하기로 결정했습니다.

Mindtree는 AI 모델 프로덕션을 운영할 수 있도록 하는 세계적 수준의 솔루션인 SigOpt를 사용하여 운영비를 절감했을 뿐 아니라 정확성과 추론 시간 면에서 모두 상당한 성능 이점을 누렸습니다. 이 SigOpt 지원 워크플로는 사전 훈련된 HuggingFace 트랜스포머 BART의 성능과 비교했을 때 추론 시간이 최대 63% 단축되었습니다.¹ 더 중요한 것은 이 모델 성능 향상이 더 우수하고 생산적인 고객 경험으로 이어졌다는 것입니다.

LTIMindtree는 고객의 요구와 데이터에 맞춘 아방가르드 AI 모델을 사용하여 운영 효율성을 제공하는 데 주력하고 있습니다. 이 경우, LTIMindtree의 전문성은 통신 산업에 적용하기 위한 것이었습니다. 이 산업에서는 AI 지원 챗봇이 자발적인 고객 이탈을 줄이고, 사용자당 평균 수익을 높이며, 비용 효율적인 고객 편의를 제공하는 데 도움이 될 수 있습니다. 고객이 챗봇과 상호 작용할 때 장기적으로 고객을 유지하고 인적 지원 필요성을 최소화하기 위해 긍정적이고 효율적이며 정확한 경험이 필요합니다.³

챗봇은 직원 효율성과 생산성을 높이는 동시에 신속한 해결 방법을 통해 더 나은 고객 경험을 제공할 수 있습니다. 속도, 대응성 및 정확성은 고객 서비스 개선의 핵심입니다. 통신뿐 아니라 다른 대부분 고객 서비스 환경에서 통화 정확성은 ROUGE(Recall-Oriented Understudy for Gisting Evaluation) 점수로 측정됩니다.

다른 방식과 SigOpt 비교

그리드 서치, 랜덤 서치와 같은 기존의 하이퍼파라미터 튜닝 방식은 지루하고 시간이 오래 걸립니다. LTIMindtree는 통화 응답과 요약에서 챗봇 성능을 개선하기 위해 하이퍼파라미터를 미세 조정할 때 이러한 문제에 직면했습니다. 특히 이 기업은 챗봇 대화의 성능을 눈에 띄게 개선하기 위해 적절한 딥 러닝 아키텍처를 선택하고자 했습니다. LTIMindtree는 다음 실험을 통해 SigOpt 지능형 실험 플랫폼이 하이퍼파라미터의 미세 조정을 용이하게 하는 데 적합한 도구인지 판단하고자 했습니다.

SigOpt 지능형 실험 플랫폼은 AI 모델을 수동으로 해석 및 최적화하거나 LTIMindtree의 기존 인프라 내에서 여러 도구를 결합하기보다는 모델에 구애받지 않는 클라우드 기반 솔루션을 통해 LTIMindtree에 점진적인 명확성을 제공했습니다.

그림 1. SAMSum 데이터 세트를 사용하여 AI 모델을 미세 조정하기 위한 LTIMindtree의 워크플로.

SigOpt는 Bayesian과 기타 글로벌 최적화 알고리즘의 조합을 통해 AI 모델을 최적화하여 비용을 절감하고 시간을 단축하는 동시에 모델 성능을 강화합니다. LTIMindtree 전문가들은 SigOpt에서 LTIMindtree의 기존 환경과 도구를 사용하여 단 몇 줄의 코드로 모델 최적화 실험을 구현했습니다. SigOpt는 데이터 관리, 최적화, 분석, 투명성, 확장성을 통합하므로, 모델러는 지능형 실험 전용으로 설계된 통합 대시보드를 통해 실행을 추적하고, 훈련 곡선을 시각화하며, 하이퍼파라미터를 최적화할 수 있습니다. LTIMindtree는 실험 내에서 구현된 것과 구현되지 않은 것을 쉽게 파악하고 수행된 작업 기록과 다양한 모델의 성능을 확인할 수 있었습니다.

LTIMindtree는 프로젝트를 진행하기 전에 SigOpt 최적화 알고리즘을 하이퍼파라미터 최적화를 위한 다른 표준 방식과 비교하여 SigOpt에 익숙해지기로 결정했습니다.

LTIMindtree는 비교를 위해 그리드 서치, 랜덤 서치, SciPy 최적화 라이브러리를 사용했고 eggholder 함수로 성능을 비교했습니다. eggholder 함수는 최적화 문헌 내에서 클래식 함수로 간주됩니다. 비교 결과, SigOpt가 다른 접근법에 비해 더 적게 반복하면서 최상의 가치를 찾을 수 있었던 방법을 신속하게 파악할 수 있었습니다.

그림 2. LTIMindtree 팀은 그리드 서치, 랜덤 서치와 같은 기존의 튜닝 방식을 시도했습니다. 이 이미지는 SigOpt의 결과 비교를 표시합니다.¹

추가 검증을 위해 LTIMindtree는 MNIST 데이터 세트에서 멀티레이어 퍼셉트론 모델을 사용하여 이미지 분류를 시도했습니다.

전체적으로 이 두 가지 테스트 사례를 실행하면서 LTIMindtree는 이 프로젝트에 SigOpt를 계속 사용할 수 있다는 확신을 갖게 되었습니다.

모델링 및 비즈니스 목표에 부합하는 올바른 딥 러닝 아키텍처 선택

딥 러닝 모델을 구축할 때 어려움 중 하나는 올바른 아키텍처를 선택하는 것입니다. 올바른 아키텍처를 선택한다는 것은 최상의 모델 성능을 보장할 뿐 아니라 생산을 시작하기 위한 요구 사항을 충족하는 아키텍처를 찾는 것을 의미합니다. LTIMindtree는 SigOpt의 효과를 검증한 후, 고객에게 어떤 AI 트랜스포머 모델 아키텍처를 적용할지 결정하기 위한 사례를 구축하는 데 도움이 되는 이 플랫폼을 사용했습니다.

LTIMindtree는 올바른 트랜스포머 모델 아키텍처를 선택하기 위해 GPU 지원 머신을 사용하여 실험했습니다. 모델 후보를 식별하기 위해 LTIMindtree는 Pegasus 모델과 BART 모델을 모두 Hugging Face에서 테스트했습니다. 또한 생성식 요약을 위해 SAMSum Corpus 데이터 세트를 선택했습니다.

LTIMindtree의 목표는 배치 크기 및 학습 속도 최적화와 같은 사전 훈련 모델을 미세 조정하여 SigOpt 지능형 실험 플랫폼이 더 나은 새로운 하이퍼파라미터 값을 선택하고 트랜스포머 모델을 개선할 수 있는지 파악하는 것이었습니다.

처음에 LTIMindtree는 평가 손실을 최소화하여 Pegasus 모델을 최적화하려고 했습니다. LTIMindtree 팀은 초기 결과를 확인하고 Pegasus 모델을 잠재적인 모델 후보에서 배제할 확신을 갖게 되었습니다.

LTIMindtree는 Pegasus 모델을 배제한 후 BART 모델로 관심을 돌렸습니다. 또한 평가 손실 확인에서 ROUGE 점수 지표를 확인하는 것으로 전환하여 사전 훈련된 기준 모델을 더 효과적으로 비교할 수 있었습니다. RAGE 점수는 3가지의 형태로 제공됩니다.

• ROUGE 1 – 문장에서 일치하는 unigrams 수/문장 내 unigrams 총수
• ROUGE 2 – 문장에서 일치하는 bigrams 수/문장 내 bigrams 총수
• ROUGE L – LCS(Longest Common Subsequence) 길이/문장 내 단어 총수

메트릭은 실제 문장과 생성된 문장 간의 차이를 측정하며, 이 경우는 요약을 위한 것입니다. LTIMindtree는 기준으로 사전 훈련된 BART 모델을 사용하여 ROUGE 1 점수로 54.39를 얻었습니다. 또한 이것은 팀이 미세 조정을 위해 가중치 초기화에 사용하기로 결정한 모델입니다.

그림 3. LTIMindtree의 솔루션 블록 다이어그램.

최종 고객 경험 최적화를 위한 AI 모델 프로덕션 운영

통화 대화를 요약하기 위해 사전 훈련된 Facebook/BART-large-XSum 모델을 기준 모델로 사용했습니다. 이 모델은 생성식 요약을 위한 인간 개입 대화 데이터 세트인 SAMSum Corpus 데이터 세트에서 미세 조정되었습니다. 성능 지표로 ROUGE 점수를 사용하는 SigOpt를 통해 하이퍼파라미터 최적화를 수행했습니다.

ROUGE 점수를 최대화하고 추론 시간을 최소화하려는 두 가지 목표를 지닌 LTIMindtree는 가능한 설계 솔루션을 시각화하기 위해 SigOpt의 다중 결합 최적화 고급 기능을 사용했습니다. LTIMindTree는 SigOpt의 웹 응용 프로그램을 사용하여 여러 실험을 실행한 후 이러한 두 경쟁 메트릭이 수행된 방식을 시각화할 수 있었고, 각 메트릭 조합에 대한 최상의 결과를 시각화하는 Pareto Frontier를 생성했습니다. 여기에서 LTIMindtree는 모델을 프로덕션에 도입하기 위한 최상의 구성을 선택할 수 있었습니다.

그림 4. SigOpt의 가상화 도구로 제공된 Pareto Frontier.

SigOpt를 사용한 결과, LTIMindtree는 해당 AI 모델을 최적화하여 고객 센터 봇을 통해 63% 더 빠른 응답성과 개선된 통화 요약을 달성할 수 있었습니다. 이 모델은 통화 후 요약 작업을 자동화할 뿐 아니라 일관되고 정확한 텍스트 요약을 제공하여 생산성과 성능을 개선합니다. 다음은 기존 모델 요약과 SigOpt를 사용하여 미세 조정된 모델 요약입니다.

그림 5. 미세 조정된 모델의 요약이 더 간결하고 효율적입니다.¹

모델 정확도를 높이고 상당한 CPU 성능 이점을 구현하여 추론을 최대 63%까지 개선

고객 참여에 대한 더욱 간결한 참조 보고서를 확보하는 것이 모든 생성식 요약 모델의 핵심 성공 기준입니다. LTIMindtree는 평균적으로 수동 요약 추출이 5~10분 정도 걸리고 사람의 실수가 발생할 가능성이 있다는 것을 발견했습니다. 또한 효율성을 통한 속도 향상은 상담원이 한 통화에서 다음 통화로 전환하는 데 도움이 됩니다. 챗봇의 응답성과 참여 요약은 이제 SigOpt와의 협력으로 크게 개선되었습니다.

SigOpt는 반대 현상이 발생하는 업계 추세에도 불구하고 성능이 우수하고 추론 시간이 짧은 모델을 찾을 수 있었습니다. 또한 여기 표시된 추론 개선은 하드웨어 성능 개선과 함께 배가됩니다. 더욱 효율적인 프로세서가 이러한 이점을 더 가속한다는 것을 의미합니다. 참고로 LTIMindtree가 사용한 인텔 하드웨어 구성은 3세대 인텔® 제온® 프로세서입니다.⁴ 다음 결과는 이렇게 단축된 추론 시간을 보여줍니다.⁵

SigOpt를 사용한 결과, LTIMindtree는 이제 한 프로젝트에서 다음 프로젝트로 지식을 전달할 수 있는 프레임워크를 갖추게 되었습니다.

그림 6. 요약 예시가 있는 기록 파일.

요약: LTIMindtree의 향후 사용 사례를 위한 SigOpt의 지능형 실험 가치

1. 샘플 효율성: 딥 러닝 모델 구축의 핵심 구성 요소는 성능 최적화입니다. 그리드 서치, 효율성이 떨어지는 기타 샘플 최적화 방식과 같은 접근법을 사용할 때 종종 발생할 수 있는 문제 중 하나는 무한한 계산 리소스를 적용하지 않도록 검색 범위를 좁히는 것입니다. 한편, SigOpt는 가능한 샘플 효율적이고 모델 최적화에 필요한 계산 리소스를 줄이기 위해 특별히 설계된 Bayesian과 기타 글로벌 최적화 알고리즘 세트를 제공합니다.
2. 첨단 실험 기능: SigOpt는 모델러가 모델링 목표를 비즈니스 목표에 더욱 잘 맞추도록 지원하는 다양한 첨단 실험 기능을 제공합니다. 이러한 기능 중 하나는 멀티메트릭 최적화이며, 이를 통해 모델러가 여러 경쟁 메트릭을 동시에 최적화할 수 있습니다.
3. 사용 용이성: SigOpt는 모델러가 현재 하고 있는 작업에 SigOpt를 쉽게 통합할 수 있는 간단한 클라이언트 라이브러리를 제공합니다. 또한 직관적인 웹 대시보드 환경을 통해 사용자는 아티팩트를 저장하고, 결과를 시각화하며, 모델링 팀의 다른 구성원 및 기타 주요 관계자와 긴밀하게 협력할 수 있습니다.
4. 표준화된 모델링 워크플로: 마찬가지로 중요한 것은 SigOpt가 모델링 워크플로를 표준화한다는 것입니다. 모델러가 모델링 실험 프로세스 개발에 투자하는 대신 분야별 지식을 문제에 적용하는 데 집중할 수 있기 때문에 이것은 전반적인 모델 성능 개선으로 이어집니다.

LTIMindtree의 통신 프로젝트 목표는 콜 센터 자동 통화 응답과 요약 시스템을 최적화하여 통화 상담원의 시간을 줄이는 것입니다. 목표는 챗봇 기능을 개선하여 더 빠르고 원활하며 자연스러운 응답을 제공하고 각 대화 참여를 더 간결하게 요약하는 것입니다.

SigOpt 지능형 실험 플랫폼은 LTIMindtree가 자동 최적화의 체계화된 관점을 통해 챗봇 성능을 개선하여 최상의 맞춤형 결과를 도출한 실험을 쉽게 찾을 수 있도록 지원했습니다. LTIMindtree는 선택한 메트릭을 쉽게 추적하고 이러한 메트릭을 가장 잘 달성한 최적화를 시각화할 수 있습니다. 이 실험은 LTIMindtree가 맞춤형 모델과 메트릭을 사용하여 응답 및 참여 요약 모두에 대한 챗봇 성능을 개선하기 위해 가장 적합한 딥 러닝 모델 아키텍처를 선택하는 데 도움이 되었습니다.

SigOpt를 사용하기 전에 챗봇이 고객 통화를 요약하는 데 걸린 추론 시간은 16.75초였습니다. SigOpt를 사용한 뒤에는 추론 시간이 6.86초로 단축되었습니다.5 이러한 개선으로 챗봇 응답 시간이 단축되어 통신 고객에 대한 응답이 더 빨라졌고 인간 상담원이 일상적인 업무에 소비하는 시간이 50% 이상 줄어들어 통화를 하면서 고객을 지원하는 데 더 많은 시간을 할애할 수 있게 되었습니다. 또한 고객 참여를 효과적으로 문서화하기 위해 단어 수를 줄이고 표현을 다듬어 참여 요약을 크게 개선했습니다.

또한 LTIMindtree는 챗봇 성능 개선뿐 아니라 SigOpt를 통해 상당한 CPU 성능 이점이라는 예상치 못한 혜택도 경험했습니다.

마지막으로, LTIMindtree는 정확도와 추론 시간 개선이 미치는 영향을 측정하여 현재와 미래 고객을 위한 마케팅 카탈로그에서 콜 센터용 AI 모델 최적화 서비스를 제품으로 제공할 것입니다.

PDF 다운로드 ›