เป้าหมาย
แยกให้ออกว่า HA (ทนความล้มเหลวเล็กๆ อัตโนมัติ) กับ DR (กู้จากหายนะใหญ่) ต่างกัน ตั้ง RTO/RPO จากความต้องการธุรกิจแล้วเลือกกลยุทธ์ที่ "พอดีเงิน" พิสูจน์ด้วยการกู้คืนและ chaos test จริง ไม่ใช่เชื่อเอกสาร
คำศัพท์ที่ต้องพูดเป็นตัวเลข
| คำ | ความหมาย | ตัวอย่าง |
|---|---|---|
| Availability | % เวลาที่ใช้งานได้ | 99.9% = ล่มได้ ~43.8 นาที/เดือน · 99.99% = ~4.4 นาที/เดือน |
| RTO | ล่มได้นานสุดกี่นาทีจนกลับมาใช้ได้ | "ภายใน 1 ชม." |
| RPO | ยอมเสียข้อมูลย้อนหลังได้กี่นาที | "ไม่เกิน 5 นาที" |
| MTTR | เวลาเฉลี่ยในการกู้ | ลดด้วย automation และ runbook |
ความพร้อมใช้ของ dependency คูณกัน: API (99.95%) → DB (99.95%) → บริการชำระเงินภายนอก (99.9%) แบบต่ออนุกรม ≈ 0.9995 × 0.9995 × 0.999 ≈ 99.8% — ระบบไม่มีทางดีกว่า dependency ที่แย่ที่สุด เว้นแต่ทำ fallback/async
HA ภายใน region: multi-AZ คือขั้นต่ำของ prod
| ชั้น | วิธี | สิ่งที่ต้องรู้ |
|---|---|---|
| compute | ALB + ASG/ECS กระจาย ≥ 2–3 AZ | static stability: เผื่อ capacity ให้ AZ ที่เหลือรับได้โดยไม่ต้อง scale ตอนเกิดเหตุ (3 AZ → แต่ละ AZ รับ 50% ของ peak) |
| RDS Multi-AZ | standby sync ใน AZ อื่น | failover อัตโนมัติ มักใช้ 1–2 นาที แอปต้อง reconnect + DNS TTL ต่ำ |
| Aurora | storage 6 สำเนา 3 AZ + replica | failover ไป replica มักเร็วกว่า RDS ทั่วไป |
| DynamoDB, S3, SQS, Lambda | multi-AZ ในตัว | ไม่ต้องทำอะไร |
| NAT Gateway | อยู่ AZ เดียว | prod ต้องมี NAT ต่อ AZ ไม่งั้น AZ นั้นล่มแล้ว subnet อื่นออกเน็ตไม่ได้ |
DR ข้าม region: 4 กลยุทธ์
| กลยุทธ์ | RTO | RPO | ค่าใช้จ่ายถาวร | region สำรองมีอะไร |
|---|---|---|---|---|
| Backup & restore | ชั่วโมง | ชั่วโมง (ตามรอบ backup) | ต่ำสุด | แค่ backup copy + IaC |
| Pilot light | สิบนาที–ชั่วโมง | นาที | ต่ำ | DB replica ทำงานอยู่, compute ปิด/ศูนย์ |
| Warm standby | นาที | วินาที–นาที | กลาง | ทุกอย่างรันขนาดเล็ก พร้อม scale |
| Multi-site active/active | ~ศูนย์ | ~ศูนย์ | สูงสุด | รับ traffic จริงทั้งสองฝั่ง ต้องออกแบบ data conflict |
เครื่องมือข้าม region
- Aurora Global Database — replication lag ทั่วไปต่ำกว่า 1 วินาที, switchover (ไม่เสียข้อมูล) / failover (ตอนเกิดเหตุจริง)
- DynamoDB global tables — active-active หลาย region, ค่าเริ่มต้นเป็น eventual consistency แบบ last-writer-wins; มีโหมด multi-region strong consistency สำหรับงานที่ต้อง RPO ศูนย์ (ข้อจำกัดเรื่องจำนวน/ชุด region)
- S3 Cross-Region Replication + Replication Time Control (SLA ส่วนใหญ่ภายใน 15 นาที)
- AWS Backup — backup plan + cross-region และ cross-account copy + Vault Lock (ransomware ลบ backup ไม่ได้แม้เป็น admin)
- Route 53 health check + failover routing, หรือ Application Recovery Controller สำหรับสั่งย้าย traffic แบบควบคุมได้
⚠️ ต้องตรวจสอบ: ตัวเลข lag/SLA ข้างบนและข้อจำกัดของ DynamoDB multi-region strong consistency (region ที่รองรับ) เปลี่ยนตามรุ่น ดูเอกสารบริการก่อนสัญญากับธุรกิจ
กฎที่ทำให้ DR ใช้ได้จริง
- backup ที่ไม่เคยทดสอบกู้ = ไม่มี backup — กู้จริงทุกไตรมาส จับเวลาเทียบ RTO
- backup ต้องอยู่ อีกบัญชี (Log Archive/Backup account) — ผู้โจมตีที่ได้ admin บัญชี prod ต้องลบไม่ได้
- failover ด้วย data plane ไม่ใช่ control plane — ตอน region มีปัญหา API สร้าง/แก้ resource มักช้าหรือพัง เตรียมของไว้ก่อน แล้วสลับด้วยสิ่งที่พึ่ง control plane น้อย (health check, ARC routing control)
- IaC (บท 5a) คือครึ่งหนึ่งของ DR — สร้างทั้ง stack ใน region ใหม่ได้ด้วยคำสั่งเดียว
- อย่าลืม quota ใน region สำรอง (vCPU, Lambda concurrency) — ขอเพิ่มล่วงหน้า
Chaos engineering
ทดสอบสมมติฐาน "ถ้า X ล่ม ระบบยังให้บริการได้" ด้วย AWS Fault Injection Service (FIS): หยุด EC2, ทำให้ AZ หนึ่งเสีย (network disruption), failover RDS/Aurora, throttle API, เพิ่ม latency
- เริ่มใน staging, กำหนด stop condition ด้วย CloudWatch alarm (เช่น error rate > 5% หยุดทันที)
- ทำเป็น game day: มีสมมติฐาน, ผู้สังเกต, เวลาที่เริ่ม/จบ, บันทึกสิ่งที่ไม่คาดคิด
ลองเลย 🧪
aws sso login --profile dev
export AWS_PROFILE=dev AWS_REGION=ap-southeast-1ทดลอง A — วัด RTO จริงของการกู้ DynamoDB (⚠️ ตาราง on-demand + PITR + backup ขนาดเล็กแทบไม่มีค่าใช้จ่าย แต่ลบตอนจบ)
aws dynamodb create-table --table-name dr-lab \
--attribute-definitions AttributeName=pk,AttributeType=S \
--key-schema AttributeName=pk,KeyType=HASH --billing-mode PAY_PER_REQUEST
aws dynamodb wait table-exists --table-name dr-lab
aws dynamodb update-continuous-backups --table-name dr-lab \
--point-in-time-recovery-specification PointInTimeRecoveryEnabled=true
for i in $(seq 1 50); do
aws dynamodb put-item --table-name dr-lab --item "{\"pk\":{\"S\":\"order-$i\"},\"amount\":{\"N\":\"$((i*10))\"}}"
done
date -u +%Y-%m-%dT%H:%M:%SZ | tee before-disaster.txt
sleep 60
# "หายนะ": สคริปต์ผิดลบข้อมูล 10 แถว
for i in $(seq 1 10); do aws dynamodb delete-item --table-name dr-lab --key "{\"pk\":{\"S\":\"order-$i\"}}"; done
aws dynamodb scan --table-name dr-lab --select COUNT --query Countผลที่ควรเห็น: 40
กู้ไปยังเวลาก่อนเกิดเหตุ แล้วจับเวลา — PITR กู้ได้ถึง LatestRestorableDateTime ซึ่งปกติช้ากว่าเวลาปัจจุบันราว 5 นาที ตรวจก่อนว่าค่านี้เลยเวลาใน before-disaster.txt แล้ว (ถ้ายังไม่เลย รอสักครู่แล้วดูใหม่)
cat before-disaster.txt
aws dynamodb describe-continuous-backups --table-name dr-lab \
--query "ContinuousBackupsDescription.PointInTimeRecoveryDescription.LatestRestorableDateTime" --output text
START=$(date +%s)
aws dynamodb restore-table-to-point-in-time --source-table-name dr-lab \
--target-table-name dr-lab-restored --restore-date-time "$(cat before-disaster.txt)" \
--query "TableDescription.TableStatus" --output text
aws dynamodb wait table-exists --table-name dr-lab-restored
echo "RTO ของการกู้: $(( $(date +%s) - START )) วินาที"
aws dynamodb scan --table-name dr-lab-restored --select COUNT --query Countผลที่ควรเห็น: CREATING ตามด้วยเวลาที่ใช้ (หลายนาทีแม้ข้อมูลน้อย) และ 50
→ บทเรียนสำคัญ: restore สร้างตารางใหม่เสมอ — แอปต้องเปลี่ยนไปชี้ตารางใหม่ หรือคัดลอกแถวที่หายกลับ และ ตารางที่กู้ไม่ได้ copy ทุกการตั้งค่ามา (เช่น auto scaling, TTL, stream, tag, PITR) ต้องตั้งซ้ำ — ใส่ขั้นนี้ใน runbook และนับเวลาเข้า RTO
ทดลอง B — chaos test ด้วย FIS: หยุด EC2 2 นาทีแล้วเปิดคืนเอง (⚠️ t4g.nano คิดรายชั่วโมงเล็กน้อย — terminate ตอนจบ)
ACCOUNT=$(aws sts get-caller-identity --query Account --output text)
AMI=$(aws ssm get-parameter --name /aws/service/ami-amazon-linux-latest/al2023-ami-kernel-default-arm64 \
--query Parameter.Value --output text)
IID=$(aws ec2 run-instances --image-id "$AMI" --instance-type t4g.nano \
--tag-specifications 'ResourceType=instance,Tags=[{Key=chaos,Value=ok},{Key=Project,Value=dr-lab}]' \
--metadata-options HttpTokens=required --query "Instances[0].InstanceId" --output text)
aws ec2 wait instance-running --instance-ids "$IID"
cat > fis-trust.json <<'EOF'
{"Version":"2012-10-17","Statement":[{"Effect":"Allow","Principal":{"Service":"fis.amazonaws.com"},"Action":"sts:AssumeRole"}]}
EOF
aws iam create-role --role-name fis-lab-role --assume-role-policy-document file://fis-trust.json --query Role.Arn --output text
aws iam attach-role-policy --role-name fis-lab-role \
--policy-arn arn:aws:iam::aws:policy/service-role/AWSFaultInjectionSimulatorEC2Access
sleep 10
cat > fis.json <<EOF
{
"description": "stop instances tagged chaos=ok for 2 minutes",
"roleArn": "arn:aws:iam::${ACCOUNT}:role/fis-lab-role",
"stopConditions": [{ "source": "none" }],
"targets": {
"chaosInstances": {
"resourceType": "aws:ec2:instance",
"resourceTags": { "chaos": "ok" },
"filters": [{ "path": "State.Name", "values": ["running"] }],
"selectionMode": "ALL"
}
},
"actions": {
"stopInstances": {
"actionId": "aws:ec2:stop-instances",
"parameters": { "startInstancesAfterDuration": "PT2M" },
"targets": { "Instances": "chaosInstances" }
}
},
"tags": { "Project": "dr-lab" }
}
EOF
TPL=$(aws fis create-experiment-template --cli-input-json file://fis.json --query experimentTemplate.id --output text)
EXP=$(aws fis start-experiment --experiment-template-id "$TPL" --query experiment.id --output text)
for i in 1 2 3 4 5 6; do
echo "$(date +%T) fis=$(aws fis get-experiment --id "$EXP" --query experiment.state.status --output text) ec2=$(aws ec2 describe-instances --instance-ids "$IID" --query 'Reservations[0].Instances[0].State.Name' --output text)"
sleep 30
doneผลที่ควรเห็น (ประมาณ):
10:00:00 fis=running ec2=stopping
10:00:30 fis=running ec2=stopped
...
10:02:30 fis=completed ec2=running→ ในงานจริง target คือ instance ใน ASG หลัง ALB แล้วดูว่า ผู้ใช้เห็น error ไหม และใส่ stop condition เป็น alarm แทน none
เก็บกวาด
aws dynamodb delete-table --table-name dr-lab --query TableDescription.TableStatus --output text
aws dynamodb delete-table --table-name dr-lab-restored --query TableDescription.TableStatus --output text
aws ec2 terminate-instances --instance-ids "$IID" --query "TerminatingInstances[0].CurrentState.Name" --output text
aws fis delete-experiment-template --id "$TPL" > /dev/null
aws iam detach-role-policy --role-name fis-lab-role \
--policy-arn arn:aws:iam::aws:policy/service-role/AWSFaultInjectionSimulatorEC2Access
aws iam delete-role --role-name fis-lab-roleถ้าพัง: InvalidRestoreTimeException → เวลาอยู่นอกช่วง EarliestRestorableDateTime–LatestRestorableDateTime (เร็วกว่าตอนเปิด PITR หรือยังไม่ถึง ~5 นาทีหลังเหตุ) รอแล้วสั่งใหม่ · wait table-exists หมดเวลา (Max attempts exceeded) → restore ยังไม่เสร็จ รันคำสั่ง wait ซ้ำ (เวลาที่ใช้ยังนับจาก START) · run-instances ได้ VPCIdNotSpecified → region นี้ไม่มี default VPC ใส่ --subnet-id [subnet ใน VPC ของคุณ] · FIS failed ทันที → role ยังไม่พร้อม (รอสักครู่) หรือไม่มี instance ที่ตรง tag + state running
กับดักที่เจอบ่อย
| อาการ | สาเหตุ / แก้ |
|---|---|
| RDS failover แล้วแอปล่ม 10 นาที | แอป cache DNS/connection เก่า — ใช้ RDS Proxy หรือ driver ที่ reconnect + TTL ต่ำ |
| AZ เดียวล่มแล้ว subnet ทุก AZ ออกเน็ตไม่ได้ | NAT Gateway ตัวเดียว — NAT ต่อ AZ ใน prod |
| ย้าย region แล้ว scale ไม่ขึ้น | quota region สำรองต่ำ / ไม่มี AMI/image ใน region นั้น — ขอ quota และ replicate ECR ล่วงหน้า |
| ransomware ลบ backup ไปด้วย | backup อยู่บัญชีเดียวกัน — copy ข้ามบัญชี + Vault Lock |
| ทำ active/active แล้วข้อมูลทับกัน | last-writer-wins ใน global tables — ออกแบบให้ผู้ใช้แต่ละคนเขียน region เดียว หรือใช้ strong consistency mode |
| RTO ในเอกสาร 1 ชม. แต่กู้จริง 6 ชม. | ไม่เคยซ้อม — game day ทุกไตรมาส จับเวลาจริง |
สรุปจำง่าย
พูดเป็นตัวเลข: availability, RTO, RPO — multi-AZ คือขั้นต่ำของ prod + static stability — DR เลือกจาก backup&restore → pilot light → warm standby → active/active ตามเงินและ RTO/RPO — backup ข้ามบัญชี + Vault Lock + ทดสอบกู้จริง — สลับ region ด้วย data plane — chaos test ด้วย FIS มี stop condition