{"id":"IL-0410","org":"AssemblyAI","date":"2026-09-16","docs":[],"title":{"en":"SQS Fair Queues rejected valid messages with InvalidParameterValue, failing about half of AssemblyAI's US async requests","ko":"AWS SQS Fair Queues 가 정상 메시지를 InvalidParameterValue 로 거부해 AssemblyAI US Async API 요청의 절반가량이 실패했다"},"domain":["aws","ai-infra"],"impact":{"scope":"US Async API: at peak roughly 50% of async transcription requests failed with server errors, and some successful requests were slower","users":"Customers using the Async API on the US endpoint","region":"US endpoint; EU endpoint and real-time/streaming services not affected"},"review":{"written_by":"session","reviewed_at":null,"reviewed_by":null},"lessons":null,"related":[],"sources":[{"url":"https://status.assemblyai.com/incidents/jfgvq10x906m","kind":"official-status","archived":null}],"summary":{"en":"AssemblyAI's transcription pipeline distributes work through AWS SQS queues. On 16 September 2026 the SQS Fair Queues feature started rejecting valid messages with InvalidParameterValue although nothing had changed on AssemblyAI's side, and requests that could not be queued failed. AssemblyAI posted the issue as identified at 20:24 UTC, affecting about 50% of async transcriptions on the US endpoint, and mitigated by disabling Fair Queues across its services and going back to standard SQS queues. Errors began to fall at 21:10 and the Async API was recovering at 21:12; the elevated errors lasted from 20:04 to 21:08 UTC, roughly an hour. AWS confirmed a service-side issue and rolled back its change later that evening. Much of AssemblyAI's service configuration lives in environment variables that only take effect after task restarts, and AssemblyAI is moving it to a global feature flag system so that mitigations like this one take seconds rather than minutes. No customer audio or transcript data was lost, and failed requests can be resubmitted.","ko":"AssemblyAI 의 전사 파이프라인은 AWS SQS 로 작업을 나눈다. 2026년 9월 16일 20:04 UTC 부터 SQS 의 Fair Queues 기능이 정상 메시지를 InvalidParameterValue 오류로 거부하기 시작했다. 이 메시지의 파라미터는 AssemblyAI 서비스가 몇 달 동안 문제없이 보내던 것이었다. AssemblyAI 쪽에는 이 일을 촉발한 배포나 인프라 변경이 없었고, AWS 는 자기 서비스 쪽 문제라고 확인한 뒤 그날 저녁 변경을 되돌렸다.\n\n문제가 된 큐는 API 와 전사 워커 사이에 있었다. 큐에 넣지 못한 요청은 바로 실패했고, 통과한 작업 일부도 처리량이 줄어 늦어졌다. 정점에는 US 엔드포인트의 async 전사 요청 약 50% 가 실패했다. AssemblyAI 는 모든 서비스에서 Fair Queues 를 끄고 일반 SQS 큐로 돌아가 첫 오류로부터 약 한 시간 뒤인 21:08 UTC 에 정상 운영을 되찾았다. 고객의 오디오나 전사 데이터 손실은 없었고, 이 시간에 실패한 요청은 다시 보내도 됐다."},"trigger":{"en":"The AWS SQS Fair Queues feature began rejecting valid messages with InvalidParameterValue because of a change on the AWS side; AWS confirmed a service-side issue.","ko":"AWS 쪽의 변경으로 SQS Fair Queues 가 메시지를 InvalidParameterValue 오류로 거부하기 시작했다. 거부된 메시지의 파라미터는 AssemblyAI 서비스가 몇 달 동안 보내던 것이었다. AWS 는 이것이 자기 서비스 쪽 문제라고 확인했고 그날 저녁 변경을 되돌렸다."},"severity":"unknown","symptoms":["high-error-rate","high-latency"],"timeline":{"detected_after":null,"resolved_after":"1h 4m"},"date_kind":"incident","detection":null,"components":["message-broker"],"root_cause":"cloud-provider","remediation":[{"text":{"en":"Disabled Fair Queues across all services and reverted to standard SQS queues","ko":"모든 서비스에서 Fair Queues 를 끄고 일반 SQS 큐로 되돌렸다. 첫 오류로부터 약 한 시간 뒤 정상 운영이 돌아왔다."}}],"action_items":[{"text":{"en":"Move service configuration from environment variables to a global feature flag system so mitigations apply in seconds","ko":"환경 변수에 있는 서비스 설정을 전역 feature flag 시스템으로 옮겨, 이번 같은 조치가 몇 분이 아니라 몇 초 안에 끝나게 한다."}},{"text":{"en":"Add a reviewed break-glass path that lets urgent fixes skip non-essential CI steps","ko":"검토를 거친 break-glass 경로, 곧 긴급 배포용 우회 경로를 만들어 급한 수정은 꼭 필요하지 않은 CI 단계를 건너뛸 수 있게 한다."}},{"text":{"en":"Fail the US pipeline over to a second region when a regional provider dependency degrades","ko":"한 지역에서 제공업체의 의존 서비스가 나빠질 때 기능 단위의 완화 조치에만 기대지 않고 US 파이프라인을 두 번째 지역으로 넘길 수 있게 하는 작업을 우선한다."}}],"contributing":[],"recurrence_of":null,"symptoms_text":{"en":"From 20:04 UTC on 16 September 2026 AssemblyAI's US Async API returned elevated server errors. At the peak roughly 50% of async transcription requests on the US endpoint failed, and part of the requests that succeeded took longer than usual to complete.\n\nThe errors came from AWS SQS, the queue service the transcription pipeline uses to hand out work: the Fair Queues feature began rejecting valid messages with an InvalidParameterValue error on a parameter AssemblyAI's services had sent successfully for months. The queues sit between the API and the transcription workers, so requests that could not be queued failed outright, and part of the work that got through was delayed behind reduced throughput. No deploy or infrastructure change on AssemblyAI's side came before it. The EU endpoint and the real-time and streaming services were not affected.","ko":"2026년 9월 16일 20:04 UTC 부터 AssemblyAI 의 US Async API 에서 서버 오류가 늘었다. 정점에는 US 엔드포인트의 async 전사 요청 약 50% 가 실패했고, 성공한 요청 일부도 평소보다 오래 걸렸다.\n\n상태 페이지는 20:22 UTC 에 US 엔드포인트에서 Async API 를 쓰는 모든 고객이 서버 오류를 받는다고 알렸다. EU 엔드포인트와 real-time·streaming 서비스는 영향을 받지 않았다.\n\n오류는 AWS SQS 의 Fair Queues 기능에서 나왔다. AssemblyAI 서비스는 몇 달 동안 같은 파라미터를 담은 메시지를 문제없이 보내 왔는데, Fair Queues 가 이 정상 메시지를 InvalidParameterValue 오류로 거부하기 시작했다. AssemblyAI 쪽에서는 이 일을 촉발한 배포도 인프라 변경도 없었다.\n\n이 큐들은 API 와 전사 워커 사이에 있었다. 큐에 넣지 못한 요청은 그대로 실패했고, 통과한 작업 일부는 처리량이 줄어 늦어졌다.\n\n상태 페이지는 20:24 UTC 에 원인을 찾았다고 알렸고, 21:10 UTC 에 오류가 줄고 있지만 아직 다 풀리지 않았다고 알렸다."},"updated_at":"2026-11-14T12:34:06.059557Z","url":"https://benchlet.com/incidentlib/app/cases/IL-0410","org_slug":"assemblyai"}