Перейти до основного вмісту
Перекладена сторінка

Цю сторінку перекладено з англійської мови за допомогою ШІ. Якщо тексти відрізняються, еталоном є англійська версія.

Глобальна інвентаризація AWS

У цьому посібнику ми покажемо, як за допомогою StackQL - потужного інструмента розробника, що дає змогу виконувати запити до хмарної інфраструктури й ресурсів і розгортати їх із використанням синтаксису SQL - провести вичерпну інвентаризацію усіх ресурсів, в усіх сервісах, в усіх регіонах у межах заданого облікового запису AWS.

Перевірено з вбудований бекенд SQL бекенд SQL postgres macos linux powershell

Як це працює​

StackQL реалізує рушій SQL, який може обробляти кілька запитів асинхронно, наприклад:

SELECT region, COUNT(*) as num_functions
FROM aws.lambda.functions
WHERE region IN (
'us-east-1','us-east-2','us-west-1','us-west-2',
'ap-south-1','ap-northeast-3','ap-northeast-2',
'ap-southeast-1','ap-southeast-2','ap-northeast-1',
'ca-central-1','eu-central-1','eu-west-1',
'eu-west-2','eu-west-3','eu-north-1','sa-east-1')
GROUP BY region;

Насправді наведений вище запит - це 17 запитів, які виконуються паралельно (один запит для кожного регіону); результати агрегуються й подаються у вигляді звіту. За допомогою pystackql - обгортки Python для StackQL - ми можемо перебрати усі ресурси в усіх сервісах для усіх регіонів, які підтримує відповідний сервіс. Результат - звіт про те, скільки екземплярів кожного ресурсу розгорнуто в кожному регіоні, як показано в прикладі нижче:

приклад інвентаризації AWS

Передумови​

  • pystackql, який можна встановити за допомогою команди pip install pystackql
  • Користувач AWS або роль (роль можна прийняти за допомогою команди aws sts assume-role) із прикріпленою політикою ReadOnlyAccess або політикою з ширшими дозволами
  • Встановлені змінні середовища AWS_ACCESS_KEY_ID і AWS_SECRET_ACCESS_KEY (це можна зробити автоматично за допомогою AWS CloudShell)

Код​

Наведений нижче код виконує такі дії:

  1. Визначає список усіх регіонів AWS (regions) і список регіонів, які підтримує кожен сервіс (supported_regions), докладніше про те, як отримати supported_regions, див. AWS Service Support by Region at a Glance
  2. Завантажує провайдери StackQL aws і awscc, якщо їх ще не встановлено.
  3. Перебирає кожен сервіс (за допомогою інструкції SHOW SERVICES), а потім для кожного сервісу перебирає кожен ресурс (за допомогою інструкції SHOW RESOURCES)
  4. Асинхронно вибирає всі екземпляри кожного ресурсу в усіх регіонах (за допомогою інструкції SELECT), групує дані за регіоном і підраховує екземпляри кожного ресурсу для кожного регіону

Ось він...

from regions import supported_regions, regions
from resources import excluded_resources, resource_filters
import time
from pystackql import StackQL
import pandas as pd

stackql = StackQL(output='pandas', page_limit=-1, execution_concurrency_limit=-1)

def pull_stackql_providers():
providers_df = stackql.execute("SHOW PROVIDERS")
installed = providers_df['name'].values if not providers_df.empty else []
for provider in ('aws', 'awscc'):
if provider not in installed:
print(f"{provider} not installed. Installing {provider}")
res = stackql.executeStmt(f"REGISTRY PULL {provider}")
print(res['message'])

def get_s3_buckets():
# special case for s3 buckets - use the awscc provider's list view, which
# returns each bucket alongside its region in a single query across all regions
regions_in = ", ".join([f"'{region}'" for region in regions])
buckets_df = stackql.execute(f"""
SELECT region, bucket_name
FROM awscc.s3.buckets_list_only
WHERE region IN ({regions_in});
""")
# Group by region and count the total resources (buckets) in each region
grouped = buckets_df.groupby('region').size().reset_index(name='total_resources')
grouped['svc'] = 's3'
grouped['res'] = 'buckets'
output_df = grouped[['svc', 'res', 'region', 'total_resources']]
return output_df

def main():
start_time = time.time()
pull_stackql_providers()
results_df = pd.DataFrame(columns=['svc', 'res', 'region', 'total_resources'])
# get all enumerable aws services
services_df = stackql.execute("SHOW SERVICES IN aws")
for svcIx, svcRow in services_df.iterrows():
service = svcRow['name']
if service in supported_regions:
# check all enumerable aws resources in the service against supported regions
resources_df = stackql.execute(f"SHOW RESOURCES IN aws.{service}")
plural_resources = [resource for resource in resources_df['name'].tolist() if resource.endswith('s')]
if plural_resources:
for resource in plural_resources:
print(f"Checking {resource} in {service}...")
if service == 's3' and resource == 'buckets':
print(f"Checking location for s3 buckets...")
resource_df = get_s3_buckets()
else:
# should we skip this service?
if service in excluded_resources and resource in excluded_resources[service]:
continue
# check if the resource is global or regional
if 'global' in supported_regions[service]:
regions_in = ", ".join([f"'{region}'" for region in regions])
else:
regions_in = ", ".join([f"'{region}'" for region in supported_regions[service]])

# check if there are additional where clauses for this resource
where_clause = resource_filters.get(service, {}).get(resource, '')

resource_df = stackql.execute(f"""
SELECT '{service}' as svc, '{resource}' as res, region, COUNT(*) as total_resources
FROM aws.{service}.{resource}
WHERE region IN ({regions_in}){where_clause}
GROUP BY svc, res, region
""")

if not resource_df.empty:
# Append resource_df to the results_df
if not 'error' in resource_df.columns:
results_df = pd.concat([results_df, resource_df], ignore_index=True)
end_time = time.time()
elapsed_time = end_time - start_time
print(f"Elapsed time: {elapsed_time:.2f} seconds")
results_df.to_csv('all_aws_resources.csv', index=False)

if __name__ == "__main__":
main()