The server failure issue has been resolved, we apologize for the inconvenience.
Issue Time - July 8, 10:35 a.m. to 11:05 a.m
Scope of Issue - The service was partially unavailable due to the slow response speed of the Channel Talk server.
Cause of issue - The Channel Talk search server has been slow to respond due to 15-20 times the usual load. - The longer search requests stay on the server, the more difficult it is to perform other requests.
How to solve an issue - Upgrading the disk on the database performing the scan. - If the search request takes too long, you have changed it to cancel it. - We plan to separate and manage servers in charge of the function of using the search database.
The current service is normalized and available. If the problem persists, please contact the channel team. Thank you.
------ 7월 8일 오전 서버 장애로 인해 채널톡 서비스가 일부 원활히 작동하지 않았기에 공지드립니다. 현재 원인 파악이 완료되었고, 문제가 모두 해결되었습니다. 바쁜 오전 시간에 업무에 불편을 드려 진심으로 죄송합니다.
장애 발생 시간 7월 8일 오전 10:35 ~ 11:05
장애 발생 범위 채널톡 서버 응답 속도 저하로 인해 상담 서비스 이용이 일부 불가했습니다.
장애 원인 - 채널톡 검색서버에서 평소의 15 - 20배에 달하는 부하로 인해 응답 속도가 느려졌습니다. - 검색 요청들이 서버에서 체류하는 시간이 길어지면서, 다른 요청들을 수행이 어려워졌습니다.
문제 해결 방안 - 검색을 수행하는 데이터베이스의 디스크를 업그레이드 중입니다. - 검색 요청 수행 시간이 너무 길어지는 경우 이를 취소하도록 변경했습니다. - 검색 데이터 베이스를 활용하는 기능을 담당하는 서버들을 분리해서 관리 예정입니다.
현재 서비스는 정상화되어 이용이 가능합니다. 혹시 문제가 지속된다면 채널팀으로 문의부탁드립니다.
Posted Jul 08, 2024 - 12:19 KST
Monitoring
Timeline There was a server-side problem at 10:35 a.m. The team recognized the problem at 10:40 a.m. At 11:05 a.m., the desk server (ch-drop wizard) conducted a hotfix to fix the open search timeout. Since then, the problem has been normalized and we are currently trying to figure out the exact cause. After 11:15 a.m.
----- 문제 발생 타임라인
오전 10시 35분 서버 쪽 이슈 발생 오전 10시 40분 팀에서 문제 인지 오전 11시 5분 데스크 서버 (ch-dropwizard)에서 opensearch timeout을 수정하는 핫픽스 진행 오전 11시 15분 이후 문제가 된 부분은 정상화 되었고, 현재 정확한 원인 파악중입니다.
Posted Jul 08, 2024 - 11:32 KST
Investigating
The Channel Talk server is temporarily unstable from around 10:37 am on July 8th There are some problems with using the Channel Talk service. We apologize for the inconvenience.
We are currently trying to figure out the exact cause, I'll let you know again when the problem is resolved.
---------
7월 8일 오전 10시 37분 경부터 채널톡 서버가 일시적으로 불안정하여 채널톡 서비스 이용에 일부 문제가 발생되고 있습니다. 불편을 드린 점 죄송합니다.
현재 정확한 원인을 파악 중이며, 문제가 해소되면 다시 안내드리겠습니다.
Posted Jul 08, 2024 - 11:13 KST
This incident affected: channel.io, gw.channel.io, and api.channel.io.