Open Package Detection with Deep Learning Algorithms Using Thermal Camera in Heat Sealed Packages

Abstract

In the food industry, packaging is as important as the product inside, for reasons such as protecting the product in the package, ensuring the safety of its content in terms of health, and gaining the appeal of the consumer. Packages that are not properly closed cannot protect the product from external factors such as humidity and temperature, and they also pose a risk to health as they will cause the product to deteriorate earlier than expected. Packages that remain open reduce the consumer's perception of brand and product quality and cause customer complaints. There are different technologies to control proper closing and sealing of the packages. Some of these are vacuum-based systems, ultrasonic control systems, machine vision systems using X-ray and camera images. In this study, open package detection in heat-sealed packages with transparent packaging is studied. The defects in the transparent packaging could not be seen in the images taken with standard industrial cameras. The shape of the packaging machine jaw temperature on the package where the jaw presses can be seen with a thermal camera. This shape, similar to the letter 'T', was tried to be classified in open and closed packages by using blob analysis, geometric matching and support vector machine in preliminary studies, but low success rates were obtained. In order to achieve a high success rate, firstly 'Convolutional Neural Network Models' were tried and an accuracy rate of around 95% was obtained. Then, MobileNet and ResNet networks were used with the 'Transfer Learning' method to increase the success rate, and a success rate of over 99% was achieved.

Keywords

• seal inspection
• convolutional neural network
• transfer learning
• thermal camera

Isıyla Mühürlenmiş Paketlerde Termal Kamera Kullanılarak Derin Öğrenme Algoritmaları İle Açık Paket Tespiti

Abstract

Gıda endüstrisinde paketleme, paket içerisindeki ürünü korumak, içeriğinin sağlık açısından güvenliğini sağlamak ve tüketicinin albenisini kazanmak gibi sebeplerden ötürü içerisindeki ürün kadar önemlidir. Düzgün kapatılamamış paketler, ürünü nem, sıcaklık vb. dış etmenlerden koruyamayacağı gibi ürünün beklenenden erken bozulmasına sebep olacağından sağlık açısından da risk teşkil etmektedirler. Açık kalan paketler tüketicinin markaya ve ürüne olan kalite algısını azaltmakta ve müşteri şikayetlerine sebep olmaktadır. Paketlerin uygun şekilde kapatılması, mühürlenmesi işlemini kontrol edebilmek adına farklı teknolojiler mevcuttur. Bunlardan bazıları vakum bazlı sistemler, ultrasonik kontrol yapan sistemler, X-ray ve kamera görüntüsü kullanan makine görüsü sistemleridir. Bu çalışmada transparan ambalaja sahip ısıyla mühürlenen paketlerde açık paket tespiti üzerine çalışılmıştır. Standart endüstriyel kameralar ile alınan görüntülerde transparan ambalajın kusurları görülememiştir. Paketleme makinesi çene ısısının paket üzerinde çenenin bastığı yerlerde oluşturduğu şekil termal kamera ile görülebilmektedir. ‘T’ harfine benzer bu şekil, ön çalışmalarda blob analiz, geometrik eşleme ve destek vektör makinesi kullanılarak açık ve kapalı paketlerde sınıflandırılmaya çalışılmış ancak düşük başarı oranları elde edilmiştir. Yüksek başarı oranı elde edebilmek için öncelikle ‘Evrişimsel Sinir Ağ Modelleri’ denenmiş ve %95 civarında bir doğruluk oranı elde edilmiştir. Daha sonra başarı oranını artırmak için ‘Öğrenme Aktarımı’ yöntemi ile MobileNet ve ResNet ağları kullanılmış, %99 üzerinde bir başarı oranı elde edilmiştir.

Keywords

• mühür denetleme
• evrişimsel sinir ağı
• öğrenme aktarımı
• termal kamera

References

1. Referans1 Medus L. D., Saban M., Francés-Víllora J. V., Bataller-Mompeán M. & Rosado-Muñoz A., “Hyperspectral image classification using cnn: Application to industrial food packaging”, Food Control, 2021, 125:107962. https://doi.org/10.1016/j.foodcont.2021.107962.
2. Referans2 Banús N. , Boada I. , Xiberta P. , Toldrà P. & Bustins N., “Deep learning for the quality control of thermoforming food packages”, Scientific Reports, 2021, 11:21887.
3. Referans3 Barnes, M., Dudbridge, M. & Duckett, T., “Polarised light stress analysis and laser scatter imaging for non-contact inspection of heat seals in food trays”, J. Food Eng., 2012, 112:183–190. https://doi.org/10.1016/j.jfoodeng.2012.02.040.
4. Referans4 D’Huys, K., Saeys, W. & De Ketelaere, B., “Active infrared thermography for seal conta-mination detection in heat-sealed food packaging”, J. Imaging, 2016, 2:33. https://doi.org/10.3390/jimaging2040033.
5. Referans5 Ozguler A., Morris S.A. & O'Brien W. D. Jr., “Evaluation of Defects in the Seal Region of Food Packages Using the Ultrasonic Contrast Descriptor”, DBAI , Packaging Technology and Science ,1999, 12:161-171.
6. Referans6 Frazier C. H., Tian Q., Ozguler A., Morris S. A., and O’Brien W. D., Jr., “High Contrast Ultrasound Images of Defects in Food Package Seals”, IEEE Transactions on Ultrasonics, Ferroelectrics, and Frequency Control, 1999, 47
7. Referans7 Pascall M.A., Richtsmeier J., Riemer J., Farahbakhsh B., “Non-destructive Packaging Seal Strength Analysis and Leak Detection Using Ultrasonic Imaging”, Packaging Technology and Science, 2002, 15(6):275 - 285
8. Referans8 Morita Y., Dobroiu A. , Kawase K. , Otani C., “Terahertz technique for detection of microleaks in the seal of flexible plastic packages”, Optical Engineering, 2005, 44

9. Referans9 Innospexion, 03.03.2022 – 14:48 https://innospexion.dk/wp-content/uploads/2019/03/seal-inspection-bornholms.pdf
10. 10 Dudbridge, M. “Handbook of Seal Integrity in the Food Industry”, 1st ed.; John Wiley & Sons: West Sussex, UK, 2016.
11. Referans11 ASTM F2338, “Standard Test Method for Nondestructive Detection of Leaks in Packages by Vacuum Decay Method, (2020).
12. Referans12 ASTM F2391-05,” Standard Test Method for Measuring Package and Seal Integrity Using Helium as the Tracer Gas”, (2016).