auto_explain का परिचय:धीमी गति से लॉग कैसे करें क्वेरी योजनाओं को स्वचालित रूप से पोस्टग्रेज करें

क्या आप जानना चाहते हैं कि PostgreSQL क्वेरी धीमी क्यों है? फिर EXPLAIN ANALYZE एक बेहतरीन शुरुआत है। लेकिन क्वेरी प्लान अन्य सर्वर गतिविधि पर निर्भर हो सकते हैं, चलने में कुछ समय ले सकते हैं, और समय के साथ बदल सकते हैं, इसलिए यदि आप अपने सबसे धीमे प्रश्नों की वास्तविक निष्पादन योजना देखना चाहते हैं, तो auto_explain वह टूल है जिसकी आपको आवश्यकता है। इस पोस्ट में, हम देखेंगे कि यह क्या करता है, इसे कैसे कॉन्फ़िगर करें, और अपने प्रश्नों को तेज करने के लिए उन लॉग का उपयोग कैसे करें।

auto_explain क्या है?

auto_explain एक PostgreSQL एक्सटेंशन है जो आपको (कॉन्फ़िगर करने योग्य) थ्रेशोल्ड से धीमी क्वेरी के लिए क्वेरी प्लान लॉग करने की अनुमति देता है। यह धीमी क्वेरी डीबग करने के लिए अविश्वसनीय रूप से उपयोगी है, विशेष रूप से वे जो केवल कभी-कभी समस्याग्रस्त होते हैं। यह योगदान मॉड्यूल में से एक है, इसलिए इसे नियमित PostgreSQL पर आसानी से स्थापित और कॉन्फ़िगर किया जा सकता है, और यह इतना उपयोगी है कि हमारे पास इसे स्केलग्रिड पर डिफ़ॉल्ट रूप से है।

ऑटो_एक्सप्लेन (कमिट, थ्रेड) के पहले संस्करण के मुख्य लेखक ताकाहिरो इतागाकी को बहुत-बहुत धन्यवाद, डीन रशीद, जिनके शुरुआती पैच और सुझाव पर यह आधारित था, और कई तब से इसमें योगदानकर्ता और समीक्षक हैं।

मुझे कौन से auto_explain पैरामीटर का उपयोग करना चाहिए?

नीचे हम सबसे महत्वपूर्ण मापदंडों पर चर्चा करेंगे, लेकिन कृपया नीचे दी गई तालिका, या आधिकारिक दस्तावेज की समीक्षा करें, ताकि आप ट्रैक की जा सकने वाली चीजों की पूरी श्रृंखला के बारे में अधिक जानकारी प्राप्त कर सकें।

auto_explain के लिए सबसे महत्वपूर्ण पैरामीटर log_min_duration है . डिफ़ॉल्ट रूप से यह -1 . पर सेट होता है , जिसका अर्थ है कि कुछ भी लॉग नहीं किया जाएगा - इसलिए यदि हम कुछ लॉग चाहते हैं तो हमें इसे बदलने की आवश्यकता है! डिफ़ॉल्ट इकाई एमएस है, इसलिए 100 . की एक सेटिंग 100ms से अधिक के सभी प्रश्नों के लिए क्वेरी प्लान लॉग करेगा। इसे हमने स्केलग्रिड में डिफ़ॉल्ट के रूप में चुना है, लेकिन इसे Admin -> Config के तहत कॉन्फ़िगर किया जा सकता है। यदि, किसी कारण से, आप प्रत्येक क्वेरी के लिए क्वेरी प्लान लॉग करना चाहते हैं, तो आप इसे 0 पर सेट कर सकते हैं - लेकिन सावधान रहें, इससे प्रदर्शन पर गंभीर प्रभाव पड़ सकते हैं।

चूंकि क्वेरी पहले से ही सर्वर पर निष्पादित की जा रही हैं, आप शायद auto_explain.log_analyze को भी सक्षम करना चाहते हैं . यह आउटपुट को EXPLAIN ANALYZE running चलाने के बराबर बनाता है . डिफ़ॉल्ट रूप से, इसका अर्थ यह भी है कि प्रति-ऑपरेशन समय ट्रैक किए जाते हैं। यह कुछ अतिरिक्त ओवरहेड के साथ आता है, जिसे auto_explain.log_timeing को बंद करके कम किया जा सकता है (डिफ़ॉल्ट रूप से log_analyze . के साथ चालू होता है ) स्वाभाविक रूप से, धीमी क्वेरी डीबग करते समय प्रति-ऑपरेशन समय बहुत उपयोगी होते हैं! हमारे आंतरिक परीक्षण ने इसके लिए स्वीकार्य ओवरहेड दिखाया, इसलिए यह स्केलग्रिड में डिफ़ॉल्ट रूप से चालू है, लेकिन हमेशा की तरह कृपया अपने कार्यभार का परीक्षण करके देखें कि क्या आपके मामले में ओवरहेड स्वीकार्य है। वर्तमान में इस विषय पर सार्वजनिक रूप से उपलब्ध जानकारी सीमित है, लेकिन पीजी मस्टर्ड टीम की एक हालिया पोस्ट से पता चला है कि, कम से कम एक छोटे से लेन-देन के कार्यभार पर, ओवरहेड 2% जितना कम हो सकता है। जैसा कि उन्होंने बताया, इसे auto_explain.sample_rate . से कम किया जा सकता है पैरामीटर, केवल आपकी क्वेरी के एक सबसेट को ट्रैक करने की कीमत पर।

जिस अंतिम पैरामीटर पर हम थोड़ा विस्तार से चर्चा करेंगे, वह है auto_explain.log_format . डिफ़ॉल्ट आउटपुट टेक्स्ट है, जो संभवत:EXPLAIN के उपयोग से आप सबसे अधिक परिचित हैं। ।

यहां एक सरल उदाहरण दिया गया है कि टेक्स्ट प्रारूप में auto_explain आउटपुट कैसा दिख सकता है:

2021-09-10 15:32:04.606 BST [22770] LOG:  duration: 3184.383 ms  plan:
	Query Text: select * from table1 order by column1;
	Sort  (cost=12875.92..13125.92 rows=100000 width=37) (actual time=2703.799..3055.401 rows=100000 loops=1)
	  Sort Key: column1
	  Sort Method: external merge  Disk: 4696kB
	  Buffers: shared hit=837, temp read=587 written=589
	  ->  Seq Scan on table  (cost=0.00..1834.01 rows=100000 width=37) (actual time=0.033..27.795 rows=100000 loops=1)
	        Buffers: shared hit=834

आप यहां देख सकते हैं कि आपको शुरुआत में क्वेरी अवधि मिलती है, जिसे आप आमतौर पर क्वेरी प्लान के अंत में देखने के आदी हो सकते हैं। आप किसी भी पैरामीटर सहित क्वेरी टेक्स्ट भी देखेंगे।

लोकप्रिय विज़ुअलाइज़ेशन टूल व्याख्या करते हैं। depesz और व्याख्या करते हैं। dalibo दोनों टेक्स्ट प्रारूप में क्वेरी योजनाओं को स्वीकार करते हैं, लेकिन वे दोनों JSON प्रारूप का भी समर्थन करते हैं। यदि आपकी कुछ टीम पीईवी और पीजी मस्टर्ड जैसे टूल का उपयोग करना पसंद करती है, जो केवल जेएसओएन प्रारूप का समर्थन करते हैं, तो आप इसे प्रारूप के रूप में सेट करना चाहेंगे। स्केलग्रिड पर ग्राहकों के लिए हमने JSON प्रारूप का विकल्प चुना, आंशिक रूप से क्योंकि हम इसे अपनी धीमी क्वेरी विश्लेषण सुविधा के लिए अधिक आसानी से पार्स करना चाहते थे।

यहां auto_explain पैरामीटर और उनके डिफ़ॉल्ट की पूरी सूची है:

auto_explain इंस्टॉल करना

स्केलग्रिड पर, auto_explain डिफ़ॉल्ट रूप से 100ms की सीमा के साथ चालू होता है। आप इसे Admin -> Config के अंतर्गत कॉन्फ़िगर कर सकते हैं।

vanilla PostgreSQL पर, आप auto_explain को केवल session_preload_libraries में से किसी एक में जोड़कर इंस्टॉल कर सकते हैं। या shared_preload_libraries . पहले वाले के फायदे हैं a) पुनरारंभ की आवश्यकता नहीं है (लेकिन इसे केवल नए सत्रों में लोड किया जाएगा) और b) इसे केवल कुछ उपयोगकर्ताओं के लिए सक्षम करना संभव बनाता है (इस पैरामीटर को ALTER ROLE SET<के साथ सेट करके) /कोड> )।

session_preload_libraries = auto_explain
auto_explain.log_min_duration = 100
auto_explain.log_analyze = true
auto_explain.log_buffers = true
auto_explain.log_format = JSON

LOAD 'auto_explain';